A l'époque du Moyen-Âge, Ussel était était le fief de la célèbre famille des Ussel et des Ventadour. Ces derniers étaient propriétaire de cette maison, fleuron de l'architecture usselloise, construite à la suite de l'effondrement du château au XVIe siècle.