Cette maison située en face de l’église attire les regards notamment à cause de sa porte en anse de panier surmontée d'une archivolte, qui se termine par un pinacle en application avec accompagnement de choux frisés. Des deux côtés on lit l’inscription suivante, ainsi disposée : I. H. S. MARIE G. D. MVe P XXX.

Un calice sculpté sur le granite de la muraille peut faire supposer que cette maison avait été élevée par un prêtre. Cet édifice porte la date 1530, l'ensemble, très remanié et privé d'une aile, est organisé en étages distribués par un escalier à vis sans jour, placé dans une tour extérieure à toit conique.

En 1540, Julien de la Magnanne, seigneur dudit lieu et de Rimou, rendant aveu pour « le manoir de Rimou, sis audit bourg, avec colombier, grange dîmeresse, garenne et pescherie », déclara, en effet, avoir en l'église de Rimou « enfeu, ceinture et lisière, banc en la nef, au costé de l'évangile, tombes tant en ladite église qu'en sa chapelle, et escussons des armes de la seigneurie de Rimou tant en pourtraicture que ès vitres ». Le seigneur de Montmoron devint plus tard possesseur du manoir de Rimou, et en 1679 il fut reconnu que le roi était seigneur supérieur de Rimou en qualité de baron de Fougères, mais que les droits de fondation appartenaient au seigneur de Rimou, c'est-à-dire à M. de Sévigné-Montmoron, dont les armoiries apparaissaient alors dans la vitre placée derrière le maître-autel.