Le manoir de la Ville Moisan n'est pas cité dans les réformations et montres du 15e siècle et du début du 16e siècle. Première mention en 1568, Sébastien Boscher étant sieur de la Ville Moisan. Les armes des Boscher figurent au centre du linteau remployé dans une dépendance près de la chapelle du manoir. Sculpté de deux anges tenant le blason et de deux têtes (homme et femme), ce linteau provient sans doute d'un premier manoir construit au cours de la 2e moitié du 16e siècle.

En 1602, Jean de Caradreux est sieur de la Ville Moisan. En 1618, Jean de Caradreux et Florimonde Doisseau sont sieur et dame de la Ville Moisan ; en 1647, on trouve Julien de Caradreux et Anne Jocet, qui en 1651 et 1666, dans la chapelle du manoir, baptisent leurs filles Louise et Florimonde. En 1690, Mathurin de Caradreux (Karadreux), seigneur de la Ville Moisan, est trésorier de la fabrique (cf. inscription de l'église paroissiale).

Le manoir n'étant pas cité dans les réformations du début du 16e siècle est sans doute une implantation tardive du 16e siècle. L'édifice est remanié à plusieurs époques ; il comporte deux corps de logis (l'un pouvant dater de la seconde moitié du 16e siècle), remaniés au 18e siècle et au 19e siècle. La chapelle, actuellement désaffectée (pressoir), est du 17e siècle. Le jardin partiellement clos au sud du logis a été amputé par le passage de la voie rapide N. 24 (fin des années 1970).