Dédié à la Vierge, l´édifice date, pour l´essentiel, de 1527 (date inscrite sur la façade ouest). Quelques éléments plus anciens (deux arcades nord de la nef, peut-être le chevet), pourraient correspondre aux vestiges d´une construction antérieure. La dénomination « Rocamadour » et son lien avec le lieu de pèlerinage du Lot restent controversés ; la signification « roc », semble plus plausible, puisque la chapelle, très vénérée par les marins, est bâtie sur un affleurement rocheux. Avant la construction de la digue qui renforce un sillon naturel formé de galets, elle n´était accessible qu´à marée basse. Les dates de 1610, 1647 et 1648 marquées respectivement au sud et au nord de la nef correspondent à des restaurations, sans doute mineures, réalisées par le recteur Alain Keraudren et le fabricien Hervé Torrec. Sur l´élévation sud de la tour, on lit des dates allant de 1657 à 1685 ainsi que les noms de Keraudren, Daniel et Palud, respectivement recteurs et fabriciens, ce qui donne une date précise de la construction ou reconstruction de la tour et de la flèche dont la partie supérieure aurait disparue lors de la bataille de Camaret en 1694. La baie du chevet, peut-être à l´origine pourvue d´un réseau enfermant une verrière, a été bouchée à une époque indéterminée, puis repercée d´une petite baie jumelée elle-même murée. Au début du 19e siècle, la chapelle servait d´entrepôt pour l´artillerie. A cause du mauvais état de l´église paroissiale, elle sert de lieu de culte paroissial en 1814. Après un incendie intervenu en 1910, seuls les murs subsistent. L´édifice a été entièrement restauré en 1911. Inscrite à l´inventaire supplémentaire des monuments historiques depuis 1935, elle a fait l´objet d´une campagne de restauration en 1994 (parements intérieurs et extérieurs) et en 1998 (restauration des fenestrages et mise en place de vitraux réalisés par l'atelier Le Bihan, Quimper).