Casteljaloux et ses environs étaient la propriété des seigneurs d'Albret. Ils y possédaient un château dont le futur Henri IV fit un rendez-vous de chasse. Agrippa d'Aubigné y fut notamment blessé.
Casteljaloux fut chef-lieu de district de 1790 à 1795.
La ville a également une tradition industrielle, avec ses papeteries et ses moulins sur la rivière Avance, ses fonderies et ses fabriques de bougies et cires.