Nat King Cole a épousé Maria Ellington le 25 décembre 1936 à Chicago, au plus fort de sa première résurgence de carrière. Ils ont été mariés pendant 20 ans et ont adopté cinq enfants; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (avril 1941) et deux filles Carol "Cookie" Cole (1944) et Maria Cole (1947). Leur fils Nat Kelly Cole est devenu un célèbre chanteur, auteur-compositeur et acteur.
Le 28 décembre 1956, Maria Cole décède subitement d'un cancer du poumon à l'âge de 45 ans, laissant Nat profondément dévasté et le cœur brisé. Il était veuf jusqu'à ce qu'il épouse la chanteuse Maria Hawkins le 8 juillet 1965. Ils restèrent ensemble jusqu'au décès prématuré de Nat King Cole en 1965.
Controverse sur la paternité
Dans les années 1990, une femme nommée Lorna Coles s'est manifestée, affirmant être la fille de Nat King Cole issue d'une brève liaison qu'il a eue avec sa mère en 1947. Les tests ADN ont confirmé que Lorna Coles était bien l'enfant biologique de Nat King Cole.