Le domaine de Quinipily appartenait à la plus importante seigneurie de Baud : dès 1425, il dépendait des Langueouez qui font bâtir un premier château. Vers 1550, il passe par alliance à René d'Arradon, gouverneur de Vannes et d'Auray, avant d'échoir en 1620 à la famille de Lannion. C'est elle qui fait construire le grand logis au 17e siècle sur une terrasse située en dessous de l'emplacement de l'ancien château. Ce dernier aurait servi de carrière pour la nouvelle construction. C'est grâce aux dessins de Louis-Ferdinand Cassas que l'on peut restituer le nouveau château, aujourd'hui disparu. De plan en équerre, le corps principal était desservi par une tour d'escalier postérieure. Isolée, la chapelle fait suite à un corps de communs qui, avec l'enceinte, est le seul vestige actuel. Une photographie ancienne conservée aux Archives départementales montre les communs tels qu'ils étaient au 17e siècle, avant la restauration actuelle : sur la façade ouest, le rez-de-chaussée à trois portes est surmonté d'un comble à surcroît avec fenêtre et lucarne. Le dernier seigneur de Quinipily, le duc de La Rochefoucault-Liancourt, émigre en Amérique en 1792. Ses biens sont vendus comme bien national en 1795, achetés par un nommé Giraldon qui monte une entreprise de travaux publics et utilise les pierres du château pour ses chantiers : il ne figure déjà plus sur le cadastre de 1829. Parmi les trois moulins à farine de Quinipily, le moulin à retenue, figurant sous le numéro 1559 sur le cadastre ancien, a disparu.