Le château de Grillemont appartient depuis la fin du 16e siècle jusqu'au milieu du 19e siècle à la famille Serisay. « Honorable damoiselle Hardouinne Serizé Dame de Grillemont » apparaît dans un acte de baptême du 7 février 1616. De cette période subsiste une partie du corps de logis englobé dans la restructuration de la fin du 18e siècle et du 19e siècle.
Un relevé daté vers 1635 (avec incertitude) mis en ligne sur le site de Lanvallay par Jean-Pierre Fournier indique un plan d'ensemble un peu différent de la propriété actuelle. Le logis et les jardins réguliers de part et d'autre de la cour carrée forment une composition savante, cependant le logis initial semble prolongé vers le nord d'une aile simple en profondeur qui pourrait correspondre à celle élevée vers le sud . S'agit-il d'une erreur du géomètre qui mentionne par contre le logis du jardinier et son débord sur la rue.
La façade sur cour telle qu'elle se présente actuellement possède huit travées irrégulières ponctuées par des lucarnes de comble dont deux sont assemblées et couronnées par un large fronton aux armes des familles le Fer de la Gervinais : un échiqueté d'or et de gueules et d'une autre famille : d'azur à 7 molettes ou 7 étoiles posées 4 et 3. Des travaux importants seront réalisés en plusieurs campagnes au 19e siècle, modification de la distribution, installation de nouveaux escaliers, surélévation de l'étage de comble et création de nouvelles lucarnes.
La date de 1678 inscrite sur le portail secondaire de l'enclos pourrait correspondre à la construction des communs et du logis du jardinier qui ont été eux aussi transformés en plusieurs étapes.
Photographe à l'Inventaire