La maison est signalée en 1577 dans un acte des régaires de Vannes. Il s'agit sans doute d'une ancienne maison de marchand, au vu du cellier qui occupe le rez-de-chaussée côté est et est mentionné dans le même acte comme "deux maisons jointes ensemble (...) appelées les selliers de Thobiec". Le Présidial vend en 1720 la maison à Olivier Delourme (maitre-architecte) qui fait agrandir les fenêtres en y ajoutant des balcons en ferronnerie, enduire la façade avec faux-bandeaux limitant les étages et simulation de travées par fausses fenêtres à volets. Il est également à l'origine de la tour d'escalier en demi-hors-oeuvre couverte en pavillon ainsi que des deux ailes en retour postérieur à l'est et à l'ouest, cette dernière à toiture brisée. Cependant, l'escalier ne semble pas antérieur à la Révolution.

Il existe aux Archives départementales en B 647 les scellés et inventaires (à partir du 28 février 1730) de meubles chez Olivier Delourme dit négociant à Vannes et où il est signalé " dans le magazin du port de la grande maison sur la douve et celuy de la maison ou est décédé le feu Sr Delourme (porte Saint-Salomon)" des quantités de bois de toutes sortes en provenance de la forêt de Mollac.

Vendue à la Révolution, la maison était alors un relais de poste, faisant pendant à "La Tête Noire", relais situé près de l'étang au Duc. La maison est vendue en 1920 à la famille Audic qui ôte les enduits de façade. La maison a fait l'objet en 1969 d'importantes restaurations : création de nouvelles ouvertures en travées sur les façades ouest et sud, réaménagement intérieur. Sur le plan cadastral de 1844 est figuré un puits dans la cour nord, qu'elle partage avec le 3 rue Thiers.