Bien que Kergarff ne soit pas signalé comme siège d'une seigneurie, des vestiges architecturaux témoignent de l'existence d'un ancien manoir du 15e siècle. De ce dernier ne subsistent que les cheminées du rez-de-chaussée et du comble, réutilisées dans la ferme construite au 19e siècle à l'emplacement du manoir : un premier logis est édifié vers le milieu du 19e siècle, probablement en prolongement du manoir, suivi d'un second logis construit dix à vingt ans plus tard à l'emplacement du manoir proprement dit. Les remaniements apportés aux façades au cours du 20e siècle ont détruits l'ordonnance des élévations. La grange est édifiée en 1850, date portée sur l'élévation antérieure, accompagnée de l'inscription suivante : "FAITE PAR FRANCOIS LE GALLOUDEC DE K (ER) GARFF". La disparition des lucarnes et du comble à surcroît est liée à la tempête de 1987.