Au 15e siècle, le manoir de Montgazon appartenait à la famille Ivette qui possédait également le manoir du Boishamon. Aux 17e et 18e siècles, il était la propriété de la famille de Derval. Au milieu du 18e siècle, le manoir appartient à Claude Alexandre de Guerry également propriétaire du Boishamon. Le manoir fut affermé en 1730 à Vincent Avignon et à François Roullier pendant la Révolution. A cette époque, il semble que la maison était divisée en trois parties. Le bâtiment actuel date du 18e siècle, il porte d'ailleurs la date de 1771 en façade postérieure. Cependant, il existe, sur ce bâtiment, des vestiges plus anciens, c'est le cas de la cheminée de la salle totalement en pierre qui pourrait remonter au 16e siècle. Les autres bâtiments de la ferme actuelle datent de la limite du 19e et du 20e siècle, il s'agit du fournil, de l'étable, du cellier et de la grange. La tradition orale rapporte que l'ancienne grange se trouvait près du cellier ; elle est d'ailleurs figurée sur le cadastre de 1849.