Il est né le 10 juin 1952 à Jacksonville, en Floride, et a commencé à jouer de la guitare dès son plus jeune âge. En 1971, il rejoint le groupe Molly Hatchet, basé à Jacksonville, et tourne avec eux jusqu'en 1980.
Après avoir quitté Molly Hatchet, McKinney a formé le groupe Andy McKinney and the Road Hawgs, qui a sorti deux albums dans les années 1980.
Il a également travaillé comme musicien de session et est apparu sur des albums d'artistes tels que Gregg Allman et Dickey Betts.
Ces dernières années, McKinney a vécu à Jacksonville, en Floride, et continue de jouer de la musique de temps en temps.