Situé en mitoyenneté du côté ouest avec l'hôpital Saint-Nicolas, le couvent des Dominicains est fondé par Nicolas Raoul, maître général de l'ordre des Prêcheurs, en 1631. Les frères prêcheurs s'installent sur des terres appartenant au Roi qu'ils obtiennent par dons ou fondations complétées par celles de l'hôpital qu'ils négocient avec les administrateurs. Les terres données par le Roi sont les terres vaines et marécageuses de la Garenne décrites dans la Réformation de 1677 et comprises de chaque côté du canal qui conduit les eaux du moulin ducal à celui des Lices et que les religieux ont fait faire à leurs frais. Pour constituer une entrée au couvent depuis l'église et le faubourg Saint-Patern, ils font l'acquisition de trois immeubles dont un qu'ils démolissent pour libérer le passage.
Sébastien de Rosmadec, seigneur de plessis-Josso et neveu de l'évêque, participe financièrement à la construction du couvent qui débute dès 1634 avec la pose de la première pierre de la chapelle en octobre par l'évêque Sébastien de Rosmadec et avec un corps de logis au sud du cloitre, en face du jardin. Les travaux sont signalés en 1637 par Dubuisson-Aubenay qui note la petitesse des bâtiments et la construction en cours d'une église.
En 1640, les religieuses de l'hôpital Saint-Nicolas et les frères prêcheurs négocient leur voisinage lorsque celles-ci envisagent d'agrandir leurs bâtiments.
En 1669, les religieux entreprennent la construction d'un pavillon supplémentaire vers l'est commandé à l'architecte François Cosnier mentionné sur les plans et acquièrent en même temps jardins et maisons situées rue du Four. Entre 1669 et 1776, l'église est agrandie sur le pavillon ouest d'origine et la galerie claustrale qui desservait la chapelle primitive.
Pour faciliter l'entrée ou la sortie de Vannes contrariée par l'ascension de la colline Saint-Patern, il est décidé la création au milieu du 18e siècle d'un nouveau tracé de rue qui passe à travers l'enclos des religieux et qui leur demande de démolir une de leurs maisons située à l'est du pavillon. Avec les matériaux issus de cette démolition, ils reconstruisent la maison située près de leur église. Pendant la période révolutionnaire, les religieux sont expulsés en 1791 et leurs biens vendus. Le couvent est adjugé à la Gendarmerie nationale jusqu'en 1860 et démoli les années suivantes ainsi que l'église conventuelle pour la construction d'une nouvelle préfecture. Concernant l'installation de la Gendarmerie nationale, on relève les noms des architectes suivants : Laumailler en 1792 pour un premier projet et Brunet-Debaines, architecte de la ville, pour un second projet en 1809.
Louis-Philippe Brunet-Debaines, architecte voyer de la ville dans la première moitié du 19e siècle, est l'auteur de l'escalier en fer à cheval extérieur visible sur les anciennes cartes postales.