Johnson est né à Canton, dans le Dakota du Sud, et a grandi dans une ferme. Il est diplômé de l'Université du Dakota du Sud en 1982 avec un diplôme en sciences politiques. Après avoir travaillé plusieurs années comme assistant législatif, il a été élu à la Chambre des représentants du Dakota du Sud en 1986. Il a siégé à la Chambre pendant six ans, dont deux ans en tant que président.
En 1996, Johnson a été élu au Sénat des États-Unis, battant le républicain sortant Larry Pressler. Il a été réélu pour un deuxième mandat en 2002 et un troisième en 2008.
Johnson était connu pour ses opinions politiques modérées et sa volonté de travailler avec les républicains et les démocrates. Il était également un fervent défenseur de l'agriculture et du développement rural.
En 2014, Johnson a annoncé qu’il ne briguerait pas un quatrième mandat au Sénat. Il a invoqué des problèmes de santé, notamment un accident vasculaire cérébral dont il avait été victime en 2006, pour justifier sa décision.
Johnson a quitté le Sénat en 2015. Il est maintenant à la retraite et vit à Vermillion, dans le Dakota du Sud.