L´hôtel ne porte pas le nom de son commanditaire mais celui d'un de ses propriétaires du 19e siècle, Charles de Limur dont la famille qui y demeure jusqu'en 1947 va donner son nom d'usage à l'édifice. L'hôtel est construit dans les années 1680, pour le chanoine bordelais Raymond Le Doux, issu d'une longue lignée de dignitaires ecclésiastiques de Bordeaux qui s´installe dans la région en 1650. Nommé chanoine à Vannes en 1663, après avoir été successivement recteur de Plescop et de Brech, il devient recteur de Saint-Patern, puis grand vicaire de l'évêque. Licencié en droit canon et droit civil, docteur en théologie, il cumule deux autres bénéfices : le prieuré de Saint-Goual et celui des Saints en Grandchamp.
Formant l´emplacement du futur hôtel, le chanoine acquiert, à partir de 1666, les terrains nécessaires ainsi que les maisons et les jardins alentour pour y construire sa demeure.
Nulle trace dans les archives du nom de l´architecte, par contre, la documentation existante permet de dater approximativement la fin des travaux, en 1687. Après le décès de Raymond Le Doux en 1693, l´hôtel échoit à son neveu le chanoine Antoine Verdoye, puis, devient la propriété de monsieur de Penhoêt et, en 1779, de monsieur de Gouvello, propriétaire du château de Kerlévénan, près de Sarzeau. C'est à cette époque que les baies du premier étage sont transformées en portes-fenêtres et que le décor intérieur de l'édifice est repensé. Saisi ensuite à la Révolution, l'hôtel est vendu au comte Charles de Limur qui entreprend la surélévation des anciennes écuries en 1912 sur les plans de l'entrepreneur Auguste Richard et en 1925 la réalisation d'un garage et d'un bureau.
Vendu par les Limur à la ville en 1947, l´hôtel abrite pendant quelques années les collections du musée municipal. Il est cédé en 1980 par cette dernière à l'Etat pour un franc symbolique qui le lui rétrocède au même prix 11 ans plus tard. Après son classement au titre des Monuments historiques en 1993, la ville envisage, après sa restauration, d´en faire un lieu de réception et d´activité culturelle.
L´escalier en fer à cheval, qui fait communiquer la cour principale avec celle, décaissée, du petit hôtel de Limur, édifié au XVIIIe siècle à l´ouest, a été déplacé de l'ancien Hôtel de ville, situé place Lucien Laroche : il est l´oeuvre dans la première moitié du 19e siècle, de l´architecte Brunet-Debaines.
Chargée d'études à l'Inventaire