Longtemps, Causses dépendait de la châtellenie de Cessenon dont il reste la tour castrale. Les hameaux de la rive gauche de l’Orb sont aujourd’hui sur le territoire de le Cessenon.