La fin de l’empire romain marqua une période de tensions. Les frontières du village furent sans cesse discutées, disputées. Le château, construit en pierre par les seigneurs de Baffie, au XI° s., et son bourg, furent assiégés, en 1361, probablement par Armand IX de Polignac et livrés au pillage.

Vers 1380, le vicomte de Polignac poursuit ses exactions : la château et l’église majeure de St-Barthélémy sont à nouveau saccagés, le mobilier détruit, tout comme les archives dont nous sommes si démunis aujourd’hui.

Se succédèrent alors comme seigneurs d’Usson, les Rochebaron, les de La Roue, les familles Hérail et Pierrefort, sans toutefois, semble-t-il, beaucoup se préoccuper de leur domaine.

La vie, aux 17° et 18° s., fut rythmée par les pestes et les famines, les guerres, pour le plus grand malheur du peuple. La Révolution creusa de profondes scissions dans la population, divisant également le clergé. Les bandes contre-révolutionnaires établies aux limites des 3 départements, Loire, Haute-Loire, Puy-de-Dôme, connues sous le nom de « Compagnons de la Ganse Blanche », furent sans doute aussi meurtrières que la Révolution elle-même.