Le manoir est mentionné en 1357 appartenant à Yvonnet de Kerambartz, écuyer. Il passe ensuite à la famille Guillemin au 15e siècle (enquête sur les exempts du fouage en 1448 : "Jean Guillemin se disant noble en son manoir de Kerambarz"). Lors de la réformation de 1536, le manoir appartient à Guyon de Kerambartz : s'agit-il de la famille Guyon ? Par la suite, Kerambartz devient propriété des Chohan, des Gouyon de Vaudurand dans la 2e moitié du 17e siècle, puis par mariage d'une branche des Robien. Un acte de 1747 mentionne un grand corps de logis, écuries, granges, étables entourant la cour où se trouvait un puits. Dans la cour se trouvait également le colombier, une chapelle et le four à pain. Le moulin Guillemin dépendait de Kerambarh, ainsi que deux métairies (la métairie de Kerambarh et Kervadec) et 25 tenues à domaine congéable. En 1783, le grand logis est déclaré en ruines et seul est encore debout un logis construit pour Sébastien de Robien et Louise Gouyon. A la même date, un autre acte décrit "Une vieille maison ruinée sans bois ni couverture anciennement maison principale avec emplacement de chapelle au levant. Un grand corps de logis couvert d'ardoise nommé le pavillon. Ecurie et remise." La famille de Robien était encore en possession de Kerambarh après la première guerre mondiale. Sur le plan cadastral de 1840, les bâtiments du manoir se développent autour d'une cour. Une douve occupe l'angle nord-ouest sur deux côtés. Le logis au nord de la cour, avec tour d'escalier postérieure est en ruines, de même que le colombier à l'angle sud-ouest. Le bâtiment avec tour au sud, à droite de l'accès est aussi en grande partie ruinée. Seuls subsistent le pavillon décrit en 1783 et les bâtiments de communs en vis-àvis occupant les côtés est et ouest. Le pavillon avec grand commun à l'est est le seul encore en place mais il a été enduit et complété d'une échauguette à la fin du 19e siècle, sans doute lors d'un changement de propriété. Les communs isolés à l'est datent de la même époque.