Château

D'après E. joyeux, la seigneurie de Saint-Rémy appartenait au milieu du XIIe siècle à Philippe d'Achey. Plus tard aux Faucogney, elle était détenue au XVe siècle par la famille de Ville. André de Ville obtient en 1533, l'érection de la terre en baronnie. Passé en 1579 à la famille de Luz, elle est entrée quelque années plus tard dans le patrimoine des Salives-Villersvaudey, par le mariage d'Antoine de Salives avec Marguerite de Luz. Vers 1637, la fille de ces derniers a épousé Claude-Antoine de Vaudrey. Le 24 juillet 1731, Jeanne-Octavie de Vaudrey, deuxième fille héritière de Nicolas-Joseph (mort en 1733), qui a épousé Anne-Armand de Rosen (mort le 28 novembre 1749 à Paris). Il ont eu un fils, Eugène-Octave, mort en 1775. Le château médiéval a été brûlé en 1437, reconstruit puis dévasté par les troupe de Louis XI, assiégé par les Français pendant la guerre de Dix-Ans. Faute de documentation son architecture est inconnue, hormis la mention vague de la tour et de la chapelle (déplacée en 1707). Il abritait en 1733, à la mort de Nicolas-Joseph de Vaudrey une très riche bibliothèque, abondamment pourvue d'ouvrages, dont certains manuscrits, d'histoire et de sciences, mais aussi d'architecture et de fortification. L'ancien château se situait à une centaine de mètres au nord-est du château actuel, dominant le village et la Superbe. Le plan de 1770 en signale l'emplacement (Lettre O) et note qu'il est en cours de démolition. ce document représente aussi les anciennes écuries, plus à l'est, de l'autre côté du chemin d'accès, qui seront transformées en orangerie. Au XIXe siècle, à l'emplacement de l'ancien édifice, avait été aménagé une sorte de belvédère appelé "le point de vue".