Son travail le plus remarquable a été avec le Cannonball Adderley Quintet dans les années 1970, mais il a également travaillé avec de nombreux autres musiciens de jazz notables, notamment Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon et Herbie Hancock.
En plus de son travail de sideman, Poole a également sorti plusieurs albums solo, dont « The Essence of John Poole » (1977), « Sweet Lucy » (1978) et « Blue Planet Man » (1980).
Poole est également compositeur et arrangeur et a écrit de la musique pour le cinéma et la télévision. Il a également enseigné le jazz et les percussions latines à l'Université de Californie du Sud et au California Institute of the Arts.
Poole a reçu le prix du « Batteur de l'année » de la Jazz Journalists Association en 2004 et 2005, et il est également membre de la National Academy of Recording Arts and Sciences (NARAS).