En 1426 et 1536, Kerlavarec ne figure pas parmi les lieux nobles de la paroisse. Le logis, sans doute construit pour la famille Denizo, de Quimperlé, remonte en grande partie au milieu du 16e siècle. La partie ouest a été partiellement reconstruite à la fin du 17e siècle. Formant un ensemble à cour fermée, logis et communs figurent sur le cadastre de 1823. Le portail, avec porte cochère et porte piétonne, a disparu. Les combles étaient percés de deux lucarnes du 17e siècle (disparues). Le pignon ouest s´écroule vers 1960, entraînant la chute de deux cheminées du 17e siècle. La partie supérieure de la tour d´escalier, abaissée, aurait enfermé un pigeonnier. Au nord, une porte actuellement bouchée donnait accès à un dispositif disparu, soit une coursière en bois, soit des latrines. Les cloisons en bois divisant l´espace de l´étage n´existent plus.