Ortographié Pons-Scorvi au 13e siècle, le nom de Pont-Scorff désigne le pont, le passage sur la décharge de l'étang. A cet endroit, un petit ruisseau venant de Trévarguen, formait un marécage avant de s'écouler dans la mer. Dès le 16e siècle, la Marine choisit la grève de Pont-Scorff pour débarquer vivres et matériels destinés aux troupes stationnant à Roscanvel. Au 17e siècle, un ensemble de bâtiments militaires est construit au dessus de la grève : deux maisons d'habitations, une écurie et des entrepôts pour les vivres. Au 18e siècle, les locaux sont partagés avec le représentant de l'administration fiscale. Les commandants de la garnison de Quélern y prennent logement aussi. En 1882, le Génie civil ouvre la route du bourg vers la pointe des Espagnols. Les bâtiments de Pont-Scorff abritent les soldats employés aux travaux de terrassement dans les forts. En 1872, deux chambres sont louées pour installer la première classe de filles de Roscanvel. En 1890, au rez-de-chaussée, s'installe un bureau de poste qui est relié au réseau téléphonique en 1905. Et, en 1936, l'auberge de jeunesse s'installe dans ces locaux. Les anciens bâtiment de la Marine sont divisés en logements individuels, plus ou moins remaniés. Les cheminées témoignent de l'activité de magasins militaires. Une partie des bâtiments a été détruite pendant la dernière guerre mondiale. L'écurie, déjà en partie en ruines au début du 20e siècle, est actuellement un petit logement très fortement rénové.