Terrell est née à Philadelphie, en Pennsylvanie, et a commencé sa carrière à l'adolescence en chantant dans divers groupes locaux. En 1961, elle signe avec Motown Records et sort son premier single solo, "I Can't Believe You Love Me". La chanson a été un succès mineur, mais elle a aidé Terrell à gagner en reconnaissance au sein de l'organisation Motown.
En 1964, Terrell enregistre le duo "Ain't No Mountain High Enough" avec Marvin Gaye. La chanson est devenue un succès majeur, atteignant la première place du classement Billboard Hot 100 et remportant deux Grammy Awards. Terrell et Gaye ont continué à collaborer et ils ont sorti plusieurs autres duos à succès, dont "Your Precious Love", "You're All I Need to Get By" et "If I Could Build My Whole World Around You".
En 1967, Terrell reçut un diagnostic de cancer du cerveau. Elle a subi une intervention chirurgicale et un traitement, mais le cancer est réapparu en 1969. Terrell est décédée à Philadelphie le 16 mars 1970, à l'âge de 24 ans.