Johnson est né à Indianapolis, Indiana. Il a commencé à jouer du trombone à l'âge de 11 ans. Il a étudié au Conservatoire de musique Arthur Jordan et à l'École de musique de l'Université d'Indiana.
Johnson a déménagé à New York en 1942 et est rapidement devenu l'un des trombonistes les plus recherchés de la ville. Il a joué avec Charlie Parker, Dizzy Gillespie, Bud Powell et d'autres légendes du bebop.
Dans les années 1950, Johnson a commencé à explorer le hard bop, un style de jazz plus récent et plus agressif. Il a enregistré plusieurs albums influents avec ses propres groupes, dont « The Eminent Jay Jay Johnson Volume 1 » (1954) et « Jay Jay Johnson with Clifford Brown » (1955).
Johnson a continué à tourner et à enregistrer tout au long des années 1960 et 1970. Il a également enseigné au Berklee College of Music et à la Manhattan School of Music.
Johnson est décédé d'une crise cardiaque à Indianapolis en 2001. Il avait 77 ans.
Johnson était un maître du trombone. Il avait un son unique immédiatement reconnaissable. Il était également un improvisateur et compositeur doué. Sa musique a influencé d’innombrables trombonistes du monde entier.
Voici quelques-unes des compositions les plus célèbres de Johnson :
* "Lamentation"
* "Ezz-thétique"
* "Enigme"
* "Poussière d'étoile"
* "Bleu funk"