Il ne fait aucun doute que Dickens était épris de Ternan. Il lui a écrit des lettres passionnées contenant des références sexuelles explicites. Dans une lettre, il écrivait qu'il avait envie de « goûter cette bouche rouge et mûre… dévorer [son] corps succulent ».
Cependant, l’étendue de leur relation physique est inconnue. Certains biographes pensent qu’ils n’ont jamais eu de relations sexuelles, tandis que d’autres pensent qu’ils l’ont fait.
Ce qui est clair, c’est que cette relation est finalement devenue un fardeau pour Dickens. Il se sentait coupable d’avoir trompé sa femme et s’inquiétait du scandale public.
En 1858, Dickens mit fin à l'affaire et envoya Ternan en France. Elle retourna en Angleterre quelques années plus tard mais ne revit jamais Dickens.
Ternan elle-même n'a jamais parlé publiquement de sa relation avec Dickens. Selon l'un de ses proches, elle "l'a emporté dans sa tombe".
Même si les détails précis de leur relation ne seront peut-être jamais connus, il ne fait aucun doute que la romance entre Charles Dickens et Ellen Ternan était importante et finalement tragique.