Anastase Thomassin décrit l'île d'Er dans son 'Pilote côtier' de 1875 : 'Il y a sur l'île une ferme à toit rouge, et à 200 mètres, au Sud de Men Noblance, un magasin appartenant aux Ponts-et-Chaussées'. Les bâtiments de la ferme de l'île sont datés au moins du 1er quart du 19ème siècle (cadastrés en 1834, A3ème feuille 1936-37). Le four de la ferme, construit à la fin du 19ème siècle, a disparu ou est caché par la végétation. Il était aménagé dans une cavité dans la roche où, jadis, on cuisait le pain (tradition orale). L'île a été successivement occupée par les moines avant la Révolution, par différents fermiers et goémoniers, dont les familles Le Roux et Rannou à la fin du 19ème siècle, la famille Pelé au cours du 20ème siècle et Robert Peuch en dernier (tradition orale). Les bâtiments agricoles de l'Île d'Er, désaffectés, appartiennent aujourd'hui à la famille Le Bitoux. La famille Le Bitoux entretient l'île, sans faire pâturer des animaux, mais avec un travail constant de débroussaillage. Elle a entrepris de nombreuses plantations afin d'éviter la friche.