Il est né sur l'île de Bequia, à Saint-Vincent, et a reçu une éducation primaire coloniale. En 1930, Palmer reçut une bourse pour fréquenter une école secondaire à Londres. Grâce à des bourses supplémentaires, il étudie la médecine à l’Université de Birmingham et obtient son diplôme en 1941.
Il retourne aux Antilles et travaille en Jamaïque, à Trinité-et-Tobago et à Sainte-Lucie. En 1950, Palmer retourne à Saint Vincent pour pratiquer. En 1954, Palmer a cofondé le Parti politique populaire (PPP) et a été élu législateur au Conseil législatif. Il a été élu ministre en chef en 1967.
En 1979, Palmer a conduit Saint-Vincent-et-les Grenadines à l'indépendance du Royaume-Uni. Il a été fait chevalier par la reine Elizabeth II la même année.
En 1984, Palmer se retire de la politique et est remplacé comme Premier ministre par James Fitz-Allen Mitchell. Il est décédé le jour de son 92e anniversaire.