Raymond Duffaut naît le 26 juillet 1941 à Avignon. Il y suit ses études secondaires avant d’intégrer l’Université d’Aix-en-Provence où il étudie les sciences économiques. Dans un premier temps, il exerce le métier de conseiller juridique tout en vouant une passion à l’art lyrique, le cabinet dans lequel il travaille se situant tout près de l’Opéra Grand Avignon. Pour se rapprocher de ce monde, il devient chroniqueur au Provençal, ce qui lui ouvre les portes de l’institution avignonnaise.

En 1972, le curieux Raymond Duffaut est repéré par Paul Puaux qui vient tout juste de succéder à Jean Vilar à la tête du Festival d’Avignon et qui l’engage comme Administrateur général du Festival pour ses talents en comptabilité et gestion. Cette aventure dure deux ans et lui permet d’approfondir ses connaissances en gestion de la culture. En 1974, alors que Michel Leduc quitte le poste de Directeur de l’Opéra d’Avignon, le secrétaire général de la mairie, Jacques Gazulle, propose alors à Raymond Duffaut de prendre la suite. Seulement, le maire d’Avignon n’est autre qu’Henri Duffaut, son père : bien qu'il craigne que le public n’associe cette nomination à son seul nom, Il accepte l'offre et assume cette fonction de 1974 à 1985, puis de 1989 à 2002.

En 1981, son talent de gestionnaire l’amène à prendre les rênes des Chorégies d’Orange, festival d’opéra et de musique classique qui rassemble chaque année les plus grands noms du monde lyrique au Théâtre antique d’Orange. Il est ensuite élu, en 1996, Président du Centre français de promotion lyrique (CFPL) qui a pour mission de faciliter la promotion et l’insertion en milieu professionnel des jeunes artistes. Il devient également Vice-Président de la Réunion des Opéras de France. Son âge avançant, il décide en 2002 de quitter pour de bon son poste de Directeur de l’Opéra d’Avignon mais il y reste néanmoins en qualité de conseiller artistique, fonction qu’il exerce également à l’Opéra de Massy à partir de 2005.

À la suite de tension avec la municipalité d’extrême-droite d’Orange, Raymond Duffaut annonce en 2016, qu’il démissionne de son poste de Président des Chorégies, deux ans avant la date prévue. Après 35 ans de services, il est relayé par Jean-Louis Grinda. Il quitte ses fonctions à l'Opéra d'Avignon au mois de juin 2017, à l'issue d'un concert exceptionnel rassemblant de nombreux artistes dont il a marqué la carrière. Il s'investit alors dans les concours qu’il préside notamment Voix nouvelles, organisé par le CFPL, le Concours Opéra Raymond Duffaut Jeunes Espoirs à Avignon et le Concours international de chant de Marseille. Il dirige également Les Saisons de la Voix à Gordes et Musique baroque en Avignon. Il pilote en 2020 la tournée du Voyage dans la Lune, coproduit par le CFPL et 15 maisons d'opéra.