La demeure actuelle est reconstruite au début du 17e siècle sur l'emprise d'un précédent édifice du 15e siècle, comme en témoignent quelques vestiges : le portail en arc brisé surmonté d'une archivolte et d'un blason muet ; le pignon Ouest avec blason martelé inclus dans la maçonnerie ; une partie du mur nord. Il s'agit d'une demeure des Trogoff, famille implantée dans le secteur de Tréguier dès le 13e siècle, branche cadette des vicomtes de Rohan et des Lanvaux d'Hennebont. Cette demeure imposante est probablement celle de Pierre de Trogoff, sieur de Kerharan, sénéchal des Régaires de Tréguier mentionné en 1668 dans les registres de Réformation de la noblesse du duché de Bretagne, inhumé dans la chapelle du couvent des Augustines. Nicolas Le Braz, père d'Anatole Le Braz, a également habité ce lieu au 19e siècle.

A la fin du 17e siècle, la maison est agrandie vers l'Est comme l'atteste la reprise sur le mur Nord en limite du pan de bois. Les différents systèmes de charpente indiquent également deux périodes de construction : la partie Ouest la plus ancienne possède une charpente sans sous-faitière, renforcée par des jambettes ; la partie Est plus récente comprend une charpente à sous-faitière contreventée par des croix de Saint-André. La façade sur cour a vraisemblablement toujours été en pierre, cependant lors de l'agrandissement de la maison, elle est en partie remontée en sous oeuvre pour réordonnancer les ouvertures en travées. A ce titre, le mur montre une saignée très nette à gauche de la porte d'entrée avec remontage en petit appareil. Des pierres sont remployées, ce qui expliquerait, notamment, les différences de gabarit dans les linteaux.

Il semblerait que la Chantrerie voisine ait été construite sur les terres de cette maison noble comme semble l'indiquer la forme du parcellaire sur le cadastre ancien. L'appui filant sur le pignon Est en pan de bois, induit qu'une fenêtre à l'étage permettait d'avoir une vue sur le Jaudy. Celle-ci a dû être condamnée lorsque la construction de l'aile Ouest de la Chantrerie a bouché la vue sur la rivière.

Le remontage de la façade sud a des répercussions sur le plan, remodelé à cette occasion : avec ses trois pièces en enfilade au rez-de-chaussée et à l'étage, la distribution intérieure est conforme au goût de l'époque avec des boiseries intérieures très sobres (lambris d'appui, cheminées, portes à double battant). Au début du 19e siècle, l'escalier est refait tandis qu'un corridor est aménagé le long de la façade nord pour desservir les chambres sans avoir à passer de l'une à l'autre.

Un logis-porche, probablement en pan de bois, était aménagé au-dessus du portail, perpendiculairement à la demeure (figuré sur le cadastre ancien). Il communiquait avec la chambre Ouest par une porte haute aujourd'hui bouchée dont on observe le renfoncement dans la chambre et les contours sur la façade sud. Ce logis-porche devait donner à l'édifice une allure de manoir qui convenait à une maison noble.

La remise et le bûcher construits dans la cour datent de la seconde moitié du 19e siècle, la buanderie située à l'Est de la demeure, derrière le mur du jardin date du début du 20e siècle.