Costello est né à Paterson, New Jersey, d'immigrants italiens. Il a commencé sa carrière dans le show business à l'adolescence, se produisant dans le vaudeville et le burlesque. Il rencontra Bud Abbott en 1936 et les deux formèrent une équipe de comédie. Ils sont rapidement devenus l’un des groupes comiques les plus populaires au monde, se produisant dans les boîtes de nuit, à la radio et au cinéma.
La comédie d'Abbott et Costello était caractérisée par leurs routines burlesques, la voix aiguë et les expressions faciales exagérées de Costello. Ils sont apparus ensemble dans un total de 36 films, dont « Une nuit sous les tropiques » (1940), « Buck Privates » (1941) et « Abbott et Costello rencontrent Frankenstein » (1948).
La santé de Costello a commencé à se détériorer au début des années 1950 et il a subi plusieurs opérations cardiaques. Il meurt d'une crise cardiaque en 1959 à l'âge de 52 ans.
Malgré sa mort prématurée, Costello est considéré comme l'un des comédiens les plus influents du XXe siècle. Son travail avec Bud Abbott a contribué à définir le genre de la comédie et a inspiré d'innombrables autres comédiens.