Gerd Grochowski intègre la troupe de l'Opéra de Cologne en 1986. Reconnu d'abord pour ses prestations en récital, notamment de Lieder, il doit attendre 2001 pour se voir confier un nouveau rôle important, à l'Opéra de Bonn. Toutefois, il est dès lors reconnu rapidement, multipliant les invitations à l'Opéra de Wuppertal, de Francfort et au Festival de Bruckner à Linz, notamment dans les rôles de méchant (Pizarro dans Fidelio de Beethoven, Scarpia dans Tosca de Puccini). En même temps, il est déjà repéré comme un chanteur wagnérien assuré.

La reconnaissance internationale de premier plan vient en 2005 avec le rôle-titre de Docteur Faustus par Ferruccio Busoni à l'Opéra de Stuttgart. Grâce à cet événement, il est invité en 2007 à faire ses débuts à La Scala de Milan (en Kurwenal puis Gunther dans Le Crépuscule des dieux) et la même année à l'Opéra d'État de Bavière à Munich (comme Scarpia et Pizarro). En 2008, il débute au Metropolitan Opera de New York (comme Kurwenal, écuyer de Tristan).

À l'été 2016, Grochowski accomplit le rêve de tout wagnérien : chanter dans le temple de Bayreuth (construit grâce à Lohengrin), pour le rôle du magicien Klingsor. Le public français a également l'occasion de l'entendre en octobre à Montpellier, en Telramund (l'ennemi juré de Lohengrin).

Indispensable dans ce répertoire, il était engagé jusqu'en avril 2017 avec le Théâtre de la Hesse de Wiesbaden, en Wotan dans trois des épisodes de la Tétralogie (L'Or du Rhin, La Walkyrie et Siegfried). Preuve de sa reconnaissance, il devait ensuite reprendre Klingsor à Bayreuth, des projets interrompus suite à son décès le 16 janvier.