Le château au début du XVII ème siècle vu par Claude CHASTILLON

Au XI ème siècle, le domaine de Baye est passé dans les mains de la seigneurie de Broyes.
Hugues, de retour de la croisade,l construit une forteresse, dotée de murs de 1m40 à 2 m d'épaisseur.
Le système de défense comportait des fortifications extérieures.
Vers le milieu du XVIIIe siècle, le corps de logis central est transformé.
En état de délabrement après la seconde guerre mondiale, le château est cédé par Yolande de Baye
à une association créée par le père Georges Blard.qui va procéder à sa restauration.

Une brochure publiée par le Baron Joseph de Baye permet de suivre l'évolution du château pendant 8 siècles.