Dès le XVIème siècle les seigneurs de Ventadour ne résident plus au château préférant d'autres demeures plus confortables. Suite à la révolution, en 1793, le comité de salut public ordonne sa destruction effaçant ainsi des siècles de régime féodale. Face à l'ampleur de la tche, la commune vend Ventadour à un démolisseur qui va exploiter le site pendant 95 ans. Ainsi, corbeaux, moellons, linteaux, chapiteaux€¦ vont être réemployés dans bon nombre de construction dans les villages et villes alentours.