Le château de la Ville-Roger comprend une chapelle très restaurée dédiée Saint-Yves, dont la construction remonte à l'année 1601 ainsi qu'un corps de logis construit en 1735 pour Toussaint-Claude des Cognetz. Il a été la propriété du marquis de la Moussaye, paire de France de 1835 à 1848.
Les dispositions intérieures et extérieures de l'édifice sont relativement bien préservées malgré les aménagements des 19e et 20e siècles. Quelques vestiges d'un potager et d'un bassin sont toujours visibles ; l'ancien colombier quant à lui a totalement disparu.
