Joachim était un enfant prodige et a fait ses débuts à l'âge de sept ans. Il a étudié avec Stanisław Serwaczyński, puis avec Ferdinand David au Conservatoire de Leipzig. Il étudie également la composition avec Moritz Hauptmann.
La carrière de soliste de Joachim l'a conduit dans toute l'Europe et il s'est produit avec plusieurs des plus grands orchestres de l'époque. Il était également chambriste et a joué avec plusieurs des plus grands musiciens de son époque, dont Clara Schumann, Johannes Brahms et Joseph Hellmesberger, Sr.
Joachim était également un professeur dévoué et enseigna au Conservatoire de Vienne de 1869 à 1907. Il fut également le fondateur du Quatuor Joachim, l'un des quatuors à cordes les plus renommés de l'époque.
Joachim a eu une influence majeure sur le développement du violon et ses enseignements ont eu un profond impact sur les violonistes du monde entier. Il est considéré comme l’un des plus grands violonistes de tous les temps et son héritage continue d’inspirer et d’éduquer les musiciens encore aujourd’hui.