La chapelle est située dans un secteur qui faisait partie du domaine concédé par le comte de Cornouaille à l´abbaye Sainte-Croix de Quimperlé au milieu du 11e siècle. Le vocable, Ivy, correspondant à la toponymie de l´écart, fut ensuite identifié à saint Diboan, invoqué pour venir en aide aux moribonds. La chapelle remonte vraisemblablement à la seconde moitié du 17e siècle. Vendue comme bien national à la Révolution, elle est cédée à la paroisse en 1806. La petite sacristie qui ne figure pas sur le cadastre de 1823, a sans doute été rajoutée dans la seconde moitié du 19e siècle. La chambre des cloches et la flèche datent du 19e siècle. La fontaine de dévotion porte la date de 1715. Un lavoir lui a été associé au 19e siècle.