La présence d’une tour cylindrique à Lervily est attestée dès 1744 par un plan d’élévation d’un « fare de signaux projeté à refaire à la pointe de Lervily près d’Audierne » dessiné par DUBREUIL-DUMARCHAIS. Selon ce plan, la tour était haute de 30 pieds (environ 9m) et d’un diamètre de 2 toises (environ 3,70m). Elle possédait un logement pour un gardien au rez-de-chaussée et un escalier à vis pour atteindre le sommet. Une carte marine de 1776 donne un nom à cette tour : le Fanal du Pharillon.

En 1793, le Génie et l’Artillerie construisent au sud de la tour, au plus près du littoral, une batterie côtière pour protéger le port d’Audierne et les plages de Sainte-Evette et Trescadec. Equipée d’un corps de garde avec logement, d’une poudrière, d’une guérite et de deux canons de 18, elle croisait ses feux avec les batteries de Cremenec en Plouhinec et du Raoulic à Audierne. Il est probable que la tour soit à cette époque équipée d’un mât à signaux.

L’ensemble tour / batterie est toujours signalé sur le cadastre de 1837. Il s’agit alors du « fort de Lervily ». L’emprise au sol de cette batterie aujourd’hui disparue est signalée par la présence d’une borne toujours visible sur laquelle est gravée une ancre de marine.

En 1862, un sémaphore est bâti à la proximité ouest de la tour, plus en retrait de la côte que ne l’était la batterie. Il faisait partie d’un réseau de nouveaux postes électrosémaphorique, tous bâtis entre 1860 et 1862. Ce dernier présente une architecture répondant aux modèles adoptés par l'Amirauté de Brest en 1860 : Il comporte deux bâtiments en forme de T qui accueillent les logements pour les guetteurs et une chambre de veille. Une gravure de 1871 montre qu’à cette date la tour, la batterie et le sémaphore ont cohabité. Toujours en élévation aujourd’hui, le sémaphore a été restauré et remanié en hébergement touristique.

La tour est cédée aux Phares et Balises autour des années 1960 qui y créeront un phare.