Le refrain de la chanson répète la phrase "Je ne veux pas de tes restes", exprimant le rejet du chanteur des vestiges de la relation passée et sa détermination à se créer un avenir nouveau et épanouissant.
Les paroles dressent également un tableau du voyage émotionnel du chanteur alors qu’il accepte la fin de la relation. Ils décrivent se sentir comme un « fantôme » dans leur vie, luttant pour trouver leur place dans le monde sans leur ancien partenaire.
Malgré la douleur et l’incertitude, la chanson suggère un sentiment de résilience et d’espoir. Le chanteur reconnaît qu'il est peut-être encore hanté par le passé mais exprime sa détermination à continuer d'avancer.
Dans l’ensemble, « Your Leftovers » est une chanson poignante sur l’amour, la perte et la recherche d’un nouveau départ. Il capture les émotions brutes et les défis qui accompagnent la fin d’une relation significative.