Les paroles de la chanson mettent en évidence la tourmente émotionnelle et le conflit intérieur que vit l’homme. Il avoue qu'il pense encore à son ex "chaque nuit et chaque jour" et qu'il "ne peut s'empêcher de se demander" si elle pense à lui aussi. Il reconnaît qu'il devrait passer à autre chose, mais se trouve incapable de le faire, car son cœur est toujours lié à elle.
Le refrain souligne l'incapacité de l'homme à rendre l'amour que quelqu'un d'autre lui offre. Il chante :« Je ne peux pas t'aimer en retour, même si tu fais de gros efforts » et « Je m'accroche toujours au fantôme de ce que nous avions ». Cela suggère qu’il n’est pas disponible émotionnellement pour une nouvelle relation et qu’il est toujours rongé par ses sentiments pour son ex-partenaire.
Tout au long de la chanson, l'homme exprime son désir du passé et son désir de retrouver son ex. Il chante :« J'aimerais pouvoir revenir en arrière et défaire tout ce que nous avons fait » et « J'aimerais pouvoir te tenir à nouveau dans mes bras ». Cela suggère qu'il regrette la rupture et a du mal à accepter la réalité de leur séparation.
Dans l'ensemble, "I Can't Love You Back" est une chanson poignante sur le chagrin, la perte et les défis liés à la sortie d'une relation passée. Il capture la tourmente émotionnelle et la vulnérabilité de quelqu'un qui est toujours aux prises avec les conséquences d'une rupture et qui est incapable de retrouver l'amour.