La chanson commence avec le narrateur décrivant l'apparence du vieil homme :« Vieil homme, regarde ma vie, je suis un peu comme toi. Le narrateur continue en racontant qu'il a vécu beaucoup de choses dans sa vie et qu'il a beaucoup appris de ses expériences. Il reconnaît qu’il n’est pas parfait, mais il essaie de faire de son mieux.
Le narrateur demande alors au vieil homme des conseils sur la façon de vivre sa vie. Le vieil homme lui dit de « soyez gentil » et de « y aller doucement ». Il lui dit également d'« aller doucement » et de « profiter de la balade ». Les conseils du vieil homme sont simples mais profonds et reflètent sa propre sagesse et son expérience.
La chanson se termine avec le narrateur remerciant le vieil homme pour ses conseils. Il lui dit qu'il se souviendra toujours de ses paroles et qu'il essaiera de vivre sa vie selon les enseignements du vieil homme.
« Old Man » est une chanson magnifique et poignante sur le vieillissement et la mortalité. Cela nous rappelle que nous sommes tous en voyage et que nous pouvons apprendre beaucoup de ceux qui nous ont précédés. La chanson est aussi une célébration de la vie et elle nous encourage à profiter de notre temps sur Terre autant que nous le pouvons.