Dickens a rencontré Ellen Ternan en 1857, alors qu'elle n'avait que 18 ans et lui 45 ans. Ternan était une actrice de théâtre et Dickens fut immédiatement séduit par elle. Ils entamèrent une liaison secrète qui dura plusieurs années.
Dickens et Ternan étaient très amoureux et ils prévoyaient de se marier après que Dickens ait divorcé de sa femme, Catherine. Cependant, la femme de Dickens a refusé de lui accorder le divorce et lui et Ternan n'ont donc jamais pu être ensemble ouvertement.
En 1865, Dickens et Ternan eurent un enfant ensemble, un fils nommé Charles. Dickens était ravi d’être à nouveau père et il adorait son fils. Cependant, sa femme a découvert l’existence de l’enfant et elle était furieuse. Elle a menacé de révéler l'affaire au public et Dickens a été contraint de rompre avec Ternan.
Dickens et Ternan ne se sont jamais revus après 1865. Dickens est décédé en 1870 et Ternan a vécu jusqu'en 1914. Elle ne s'est jamais mariée et n'a jamais eu d'autres enfants.