Joseph de Baye était archéologue .

Il effectua de nombreuses recherches archéologiques dans le Sud-Ouest marnais, dans la vallée du petit Morin et dans les marais de Saint Gond.

Il créa un musée préhistorique dans le château de Baye.

Il légua les pièces de sa collection à l'Etat qui les a installées dans la salle " baron Joseph Berthelot de Baye" du château de Saint Germain en Laye.

Il obtint en 1923 que la chapelle du château soit classée "Monument Historique"

Il publia de nombreuses revues sur la préhistoire ou sur l'histoire du château de Baye.

Il fit de nombreux voyages en Russie , où il fréquenta la cour du Tsar.

Il fut inhumé dans la chapelle Saint Roch non loin de son château.

Il repose désormais dans l'église de Baye.