La présence d’un château fort est attestée dès le Moyen-Âge. En 1565, François de Vergy, alors seigneur de Champlitte, décide d’ajouter une aile Renaissance au château existant. Les influences flamandes et italiennes marquent le décor de cette façade.
Malheureusement, le château est détruit par un incendie en 1751 ; seule sa façade Ranaissance est épargnée. La reconstruction, confiée à l’architecte comtois Colombot, débute en 1765 sous l’égide de Jean François de Toulongeon, avec la réédification de l’aile sud. Les travaux se poursuivent jusqu’en 1782 avec l’architecte Bertrand, donnant naissance à l’édifice que nous admirons aujourd’hui.
En 1804, le château s’enrichit d’un aménagement intérieur exceptionnel : des papiers peints panoramiques intitulés « Les Sauvages de la mer Pacifique » ornent les murs du salon ovale au rez-de-chaussée, offrant encore aujourd’hui un spectacle saisissant aux visiteurs.
Une autre originalité du château : le salon d’été, surnommé « la grotte », accessible par un escalier en colimaçon. L’entrée cette pièce singulière a été conçue d’après les dessins du sculpteur Luc Breton et se distingue par ses faux rochers et deux colonnes, créant une atmosphère unique.