Le manoir de l'Ermitage ne fait pas partie des maisons nobles signalées sur la commune par Paul Banéat ou Guillotin de Corson. Le logis principal fut construit en 1660 comme l'atteste la date portée sur le mur nord. Sur la même façade, une porte à coussinets conserve les inscriptions IV[?] BOUVIER RECTMER D 6 1674 que l'on peut traduire par YVES BOUVIER RECTEUR MAIRE DE SIXT 1674. L'échauguette contenant les latrines sur le pignon est et la tour carrée construite en 1863 (daté par travaux historiques) confèrent à l'ouvrage un aspect de petit château moderne du 19e siècle. Cette impression est renforcée par une restauration massive des ouvertures au début du 20e siècle. Le manoir de l'Ermitage servit de presbytère jusqu'à la Révolution. Ainsi, le cadastre de 1831, porte-t-il la mention Vieux presbytère. Ce n'est qu'en 1829 que la commune rachète au bourg le bâtiment qui accueillera la cure ; l'édifice était occupé jusque là par un notaire.