Jimmy Clanton est né à Minden, en Louisiane, en 1938, mais a déménagé très jeune à Shreveport, en Louisiane. À l'âge de 16 ans, il décide de déménager en Alabama pour poursuivre sa carrière musicale. Clanton a vécu en Alabama pendant 15 ans et a enregistré plusieurs de ses chansons à succès alors qu'il vivait dans l'État.