Cette légende trouve ses origines dans le fait que Charles Martel vainquit, en 732, les Sarrazins à Poitiers et les aurait poursuivis jusqu'à Rosières, où un camp se forma. On sait que Charlemagne guerroya dans le même sens et pour la même cause que Charles Martel. Dans l'une de ses cinquante-deux expéditions, le célèbre conquérant vint en ces lieux et planta son épée surnommée "la Joyeuse" au milieu d'un petit bois de pins qui existait à l'époque à l'emplacement du château, et comme pour en marquer le centre. Selon d'autres, il aurait perdu son épée, qui lui avait été offerte par le pape, promit de faire seigneur des lieux celui de ses soldats qui la lui rapporterait, et ce fut un simple guerrier qui eut la chance de la trouver. Il tint sa promesse et anoblit le soldat, le proclama seigneur de Joyeuse, en récompense de sa fidélité. Ce soldat ne serait autre que Bernard de Châteauneuf de Randon.