La première chapelle date au moins du début du 17ème siècle, elle était dédiée à la Vierge Marie. Des écrits de 1650 la décrivent, elle était alors en mauvais état. Rebâtie en 1664, elle tombe à nouveau en ruines après la Révolution. Les murs, menaçant de s'écrouler, un habitant de Plouër acheta un champ tout proche puis en fit don afin qu'une nouvelle chapelle soit érigée. La première pierre du nouvel édifice fut posée en décembre 1868. La population s'empressa d'aider à sa construction pour la rendre moins coûteuse.
Avant la Révolution, la chapelle était desservie par un prêtre de la paroisse, et c'est au pied de son autel que les marins ou leurs proches, venaient demander le succès de leurs périples en mer à Notre-Dame des Souhaits. À cette époque, les fidèles venaient en grand nombre à l'occasion de processions.
En creusant les fondations, les ouvriers trouvèrent une grande quantité d'ossements humains. Tout le terre-plein de l'enclos actuel en est encore rempli. En effet entre 1582 et 1586, Plouër connut une grande épidémie. L'église et le cimetière ne suffisant plus aux inhumations, on enterra partout, notamment autour de Notre-Dame de la Souhaitier. En 1868, Mgr David, évêque de Saint-Brieuc, vint bénir la nouvelle chapelle. D'après les écrits retrouvés, « la procession n'avait pas moins d'un kilomètre de long. Derrière la croix paroissiale, se déroulaient au vent les 80 drapeaux des villages, suivis de 200 oriflammes ». De même que la chapelle toute entière a été financée grâce à la générosité de la population, tout l'intérieur provient de dons ou d'offrandes. La cloche est tout ce qui reste de l'ancienne chapelle et sur le mouton se lit la date de 1400.
Le mur de clôture de la chapelle remploie un vestige de l'ancienne chapelle ornée d'une inscription : M. P . THOR . DE. PLO signifiant Maître Pierre Thoreau recteur de Plouêr
