Le refrain répète la phrase "Smoke on the water" pour créer une image vivante de la fumée s'élevant au-dessus du lac, qui est le lac Léman. La chanson évoque également la salle de jeux du Casino de Montreux et comment elle « a brûlé comme un chien ». D'autres phrases notables incluent "Nous sommes tous venus à Montreux, sur les rives du lac Léman", "Funky Claude entra et sortait en courant, tirant les enfants par terre", faisant référence au propriétaire du lieu, Claude Nobs, qui participait au sauvetage, et "Quand dans silence, nous nous souvenons de tout, d'une époque révolue que nous considérions comme notre chez-soi", en réfléchissant aux conséquences et aux souvenirs de cette nuit.
La chanson est devenue l'un des succès les plus réussis et les plus connus de Deep Purple et a été reprise par de nombreux autres artistes au fil des ans.