Au 17e siècle, Camaret est un site stratégique dans l´approche du port de Brest. Le Sillon de Camaret protège une anse qui permet un mouillage d´attente, en cas de mauvais temps, pour tous les navires faisant route vers le fond de la Rade. Un projet de fortification est décidé dès 1683 et la tour est tracée par Sébastien Le Prestre de Vauban en 1689, non loin de la Chapelle Notre-Dame-de-Rocamadour dont la construction s´est achevée 6 ans auparavant. Elle sera bâtie sous les ordres de l'ingénieur Traverse entre 1693 et 1696. Elle est équipée de 11 pièces d'artillerie et participe au dispositif militaire de protection de la rade de Brest avec les batteries des pointes du Gouin et de Ste-Barbe. Lors de la bataille de Camaret du 18 juin 1694 contre les troupes anglo-hollandaises, la batterie et les deux corps de garde ne sont pas achevés. L´assaut est néanmoins repoussé par les troupes royales et les miliciens gardes-côtes, aidés par la population camarétoise. Cette tour est également dénommée "tour dorée". Vauban utilisa le premier cette expression, sans doute pour demander des crédits supplémentaires destinés à l´achèvement de l´édifice. Georges-Gustave Toudouze, découvreur des carnets de notes et de la correspondance de Vauban au début du 20e siècle, reprend ce nom. Il est à nouveau utilisé pour le dossier de candidature au patrimoine mondial de l´UNESCO dans les années 2000. Il s´agit d´un des ouvrages majeurs de Vauban. Cette tour fait en effet partie, avec le château de Brest, des seuls édifices de défense côtière de la rade de Brest classés au titre des Monuments Historiques (classement en 1907). En juillet 2008, la Tour de Camaret a été classée au patrimoine mondial de l'Unesco.