Construite au 16e siècle, la chapelle Sainte-Anne a été inscrite à l'inventaire supplémentaire des Monuments historiques en 1925. Elle est cependant progressivement tombée en ruine après la Seconde Guerre mondiale. Sur les contreforts figuraient un certain nombre de blasons, dont la famille de Langle, un blason mi-parti Thuomelin et Ploeuc (seigneurs de Talvern), ce qui donne probablement la date de la construction de la chapelle, vers 1520-1530, donc contemporaine de sa voisine la chapelle Saint-Nicodème. La porte ouest portait les armes de la famille de Rimaison, importante seigneurie de la paroisse voisine de Bieuzy. La chapelle était homogène à l'exception du clocher, refait au 19e siècle. La mise en place d'un retable dans le choeur avait provoqué l'obturation partielle de la baie axiale ainsi que l'ouverture d'une petite lucarne dans le versant sud du toit pour éclairer le choeur. La commune de Pluméliau a cédé les ruines de la chapelle à l'abbé Berto de Pontcallec : la dépose des pierres eut lieu en 1961, la chapelle fut remontée et bénie en 1967, ainsi que l'indique la date portée sur le mur nord. Sur l'ancien emplacement, au Cloître, sur une croix est apposée une plaque portant l'inscription suivante : "Edifiée au 16e siècle et tombée en ruine la chapelle Sainte-Anne du Cloître a été relevée à Pontcallec l'an 1967 en l'honneur de Notre-Dame de Joie. SANTEZ ANNA PEDET AVEID OMB".