La maison de Kerzo est construite au 16e siècle, peut-être pour un officier seigneurial : la structure du logis est celle d'un manoir, avec 4 pièces à feu, un étage carré distribué par un escalier hors-oeuvre ; cependant, ses dimensions (hauteur, longueur) sont trop petites pour être celles d'un manoir, d'autant que le lieu ne figure pas comme exempt dans les réformations.
L'organisation de l'espace est également inhabituelle, puisque la cour devant le logis est exigüe, les chemins parcourant le hameau au 19e siècle enserrant l'espace dévolu à cette maison. L'absence de dépendance autre que le corps plus bas en léger retrait pose aussi question. Ces observations aboutissent à la question la plus importante : quel personnage peut au 16e siècle, être à l'origine d'une telle construction ? En l'absence de dépendances agricoles, il faut écarter l'hypothèse d'un laboureur. Une maison de prêtre ? Aucun calice n'est aujourd'hui visible, même si la fenêtre gauche du rez-de-chaussée semble avoir eu une inscription buchée et que le linteau de la cheminée du rez-de-chaussée, disparu, montrait peut-être un calice. Le chef-lieu paroissial n'est pas très éloigné, mais le presbytère du bourg est ancien. Pourquoi pas un officier seigneurial : le château (ou seigneurie) de Plouhinec dépendait des Rohan au 14e siècle, puis fut cédée au duc de Bretagne en 1371. Cependant, au 17e siècle, la seigneurie était retourné en possession des Rohan. La toponymie communale conserve le souvenir de la vicomté de Rohan : étang et moulin du Bisconte (ou Vicomte).
Les souches de cheminée, très épaisses qui révèlent les double conduits, sont ornées d'un larmier à la base, preuve que la maison devait être couverte en chaume à l'origine.
Les matrices cadastrales de 1840 établissent la pleine propriété de Jacques Peissel qui possède les parcelles autour. Il s'agit alors d'une grande ferme comme le montre la dénomination des bâtiments environants. Outre la grande maison (B 898), sont mentionnés au nord la maison neuve (B 897), à l'ouest, l'écurie à plan en équerre (sur la parcelle 1024), le hangar et l'aire à battre (B 1022), hangar et four (B 895). Le Liorh bras (1022) ou grand jardin, le liorh bihan (1023) ou petit jardin, un grand verger au nord des constructions (B894), trois parcelles de marais, des pâtures et terres diverses.
Chargée d'études à l'Inventaire