La construction du manoir de la Brousse semble remonter au milieu du 16e siècle. Une cheminée monumentale datée de cette époque orne la salle. Elle est décorée d'un écusson banneret qui permet, selon Henri Frotier de la Messelière, d'attribuer la construction de l'édifice à Jean de Saint-Méloir et Jeanne de Goyon, mariés vers 1515, vivant à Saint-Cast en 1541. A la Révolution, le manoir est la propriété d'Emilie Marguerite de la Moussaye. Il est confisqué et vendu le 17 thermidor de l'an 6 (1798) à Guillaume Nicolas, greffier de paix à Dinan. Le procès-verbal indique que l'édifice, alors inhabité et abandonné, est en mauvais état. Les façades antérieure et postérieure, notamment les ouvertures, ont subi de nombreux remaniements pendant la 2e moitié du 20e siècle. Les granges datent du 17e siècle. La porcherie date de la deuxième moitié du 19e siècle. Le logis de droite a été construit dans la 2e moitié du 20e siècle.