Zubin Mehta naît à Bombay le 29 avril 1936 dans une famille de grands musiciens (son père est violoniste, fondateur et chef de l'Orchestre symphonique de Bombay). Il abandonne des études de médecine pour se consacrer à la musique à Vienne, ville dans laquelle il fait ses débuts de chef d'orchestre en 1958.

Sa carrière est ensuite fulgurante : à 24 ans, Zubin Mehta est nommé directeur musical de l'Orchestre symphonique de Montréal, et deux ans plus tard aux mêmes fonctions prestigieuses à Los Angeles (1962-1978). Dès 1961, alors seulement âgé de 25 ans, Zubin Mehta remplace au pied levé le chef de l'Orchestre Philharmonique d'Israël, Eugene Ormandy, victime d'une maladie.

Zubin Mehta fait ses débuts de chef à l'opéra avec Tosca (Puccini) à Montréal en 1963. Cette collaboration réussie et son prestige l'amènent à diriger son premier opéra au Met en 1965, un Aïda de Verdi (avec des interprètes de tout premier plan, tels que Gabriella Tucci, Franco Corelli mais aussi Rita Gorr). Les plus grands théâtres font dès lors appel à ses services. Ce jeune au talent fou impressionne au point que l'Orchestre Philharmonique d'Israël le nomme Conseiller musical en 1969, puis directeur artistique en 1977 (un poste qu'il se voit réserver à vie, dès 1981). En 1979, il dirige à Florence le Ring de Wagner (une Tétralogie qu'il reprend à Munich en 1999, puis entre 2007 et 2009 avec le Festival annuel del Mediterrani à Valence qu'il préside de 2006 à 2014).

Ses tournées mondiales sont remarquées, notamment les voyages qui lui tiennent à cœur dans son pays indien natal avec l'Orchestre philharmonique de New York en 1984, et 10 ans plus tard avec l'Orchestre philharmonique d'Israël. En 1990, Zubin Mehta dirige aussi le traditionnel concert du Nouvel An de Vienne (il y revient en 1995, 1998, 2007 et 2015). Toujours en 1990, il dirige à Rome le premier concert des trois ténors (Plácido Domingo, José Carreras et Luciano Pavarotti) avec l'Orchestre del Maggio Musicale de Florence et l'Orchestre de l'Opéra de Rome. Il retrouve ces chanteurs au succès planétaire qui pulvérisent tous les records, jusqu’à jouer dans le stade des Dodgers de Los Angeles en 1994. Reconnu aux sommets des chefs d'orchestre de sa génération, il entre dans la légende en occupant le plus long mandat à la tête de l'Orchestre philharmonique de New York de toute l'histoire (pendant treize saisons et plus de 1000 concerts entre 1978 et 1991 ; c'est également pendant 13 saisons qu'il dirige l'Opéra d'État de Bavière à Munich, entre 1993 et 2006).

Le chef participe aux principaux événements de l'histoire musicale : en juin 1994, il dirige le Requiem de Mozart avec l'Orchestre symphonique et le chœur de Sarajevo dans les ruines de la Bibliothèque nationale de cette Bosnie-Herzégovine, un concert au profit des victimes de la guerre yougoslave. Le 29 août 1999, c’est près du camp de concentration de Buchenwald qu'il dirige la Deuxième Symphonie Résurrection de Gustav Mahler, dans un geste pacifiste qui réunit l'Orchestre de l'Opéra de Bavière et l'Orchestre philharmonique d'Israël. Insigne honneur, c'est lui qui dirige un événement rare : l'ouverture d’un nouvel opéra, le Palais des Arts Reina Sofía de Valence, inauguré avec Fidelio de Beethoven le 25 octobre 2006.

En 2018, il doit annuler tous ses concerts jusqu’à la fin de la saison 2017/2018 pour des raisons de santé. Le chef d’orchestre dirigera toutefois de nouveau l’Orchestre Philharmonique d’Israël en octobre 2018, avant de le quitter l’année suivante après un demi-siècle de collaboration. Lahav Shani le remplacera alors.