Gustave Fayet apprit le métier de peintre auprès de son père, Gabriel Fayet, et de son oncle, Léon Fayet, tous deux admirateurs de Daubigny, Adolphe Monticelli et Camille Corot. Le style de Gustave Fayet est très personnel, loin des préoccupations impressionnistes et académiques, plus proche du symbolisme. Gustave Fayet était également collectionneur, possédant des ouvres de Degas, Manet, Monet, Pissarro et surtout Odilon Redon et Paul Gauguin, dont il fut l'un des premiers collectionneurs (avec George-Daniel de Monfreid) et l'un des principaux prêteurs pour les rétrospectives de ce dernier à Weimar en 1905 et à Paris en 1906. Il possédait en particulier près d'une centaine d'ouvres de Gauguin. En 1901, il devint conservateur du musée de Béziers. Il s'installa à Paris en 1905. En 1908, il acquiert, avec sa femme Madeleine, l'Abbaye de Fontfroide (au sud de Narbonne), qu'il s'attache à restaurer et y installe des ouvres commandées à ses amis peintres, notamment Odilon Redon qui peint deux grands panneaux pour la bibliothèque, Le Jour et La Nuit (ce dernier comporte les portraits de la famille du mécène) ainsi que des vitraux qu'il réalise en collaboration avec le maître verrier Richard Burgsthal.