Les 2 ailes symétriques constituent les pavillons du 18è siècle. C'est un vestige de l'ancienne forteresse (10è siècle). La forteresse comprend un donjon, un immense corps de bâtiment de 4 étages. Il y a une église paroissiale dès 1230. En 1362, les "écorcheurs" s'emparent de la ville ; pour les faire fuir, la ville va être anéantie. Le roi Henri IV reste 10 jours dans le château. Lors de la guerre de 10 ans, Pesmes est ravagé. Louis XIV conquis Pesmes et y passe la nuit du 15 février 1668. Début 18è, le château est modifié, c'est l'un des plus beaux de la province. C'est sans doute de cette époque que datent les escaliers qui reliaient les écuries. Celles-ci vendues en 1794 ont été détruites.
