Cette annexe fait partie du Domaine du Château et servait vraisemblablement à l'origine de grange.
A l'origine, le bâtiment hébergea des écuries et des locaux de service. Racheté en 1911 par M. Ritzmann, il comprenait des appartements, commerces et ateliers divers.
Il fut racheté par la Commune en 1975 et sauvé de la démolition par référendum.
Castelmont abrite aujourd'hui plusieurs salles de conférences qui peuvent être louées, dont la salle du Conseil communal qui sert également à la célébration des mariages.