La construction du Château de Cassagne remonte au 14e siècle.
Nommé dans un premier temps la Bastide « St Lazare » en référence à l’établissement religieux et hospitalier de St Lazare, propriétaire du domaine au 13e siècle, ce château devient la bastide de Cassagne en 1380 lorsque Jean de Cassagne en fait l’acquisition.
En 1711, Henry Roussel, négociant en soie, devient le nouveau propriétaire et entreprend des constructions supplémentaires comportant plusieurs logements ainsi qu’une chapelle.