Le bâtiment est construit en 1632 pour abriter le couvent des Carmélites. Sa chapelle, qui date du XVIIème siècle est ornée de fresques de style rococo.
En 1792, un décret de la révolution française ordonne aux religieuses d’évacuer le couvent (vente des biens nationaux). Il est reconstruit en 1857 et devient un lycée.
Le 8 novembre 1811, le collège communal est inauguré dans ce bâtiment, avant de devenir, en 1843, collège royal puis lycée impérial en 1858.
En 1893, le lycée prend le nom de Joseph Chaumié (personnage important dans la vie politique française du XXème siècle. Remarqué pour avoir défendu la République) et devient un établissement pour filles.
En 1921, un incendie détruit la partie nord du bâtiment, reconstruite en 1954.
En 1973, le lycée redevient un collège et les classes de seconde, première, et terminale sont transférées au lycée Palissy.
Les bâtiments furent rénovés de 1996 à 1997.
