Le 30 janvier 1574, l'évêque Paparin de CHAUMONT, évêque de Gap, se plaint au roi dans une longue lettre que le sire des Diguières, qui n'avait au village des Diguières qu'une maison fort commune, l'a fait bâtir en forteresse imprenable et cela en faisant faire force corvée aux sujets dudit évêque. La légende locale rapporte que les femmes du village des Diguières furent obligées de monter des pierres sur la tête; à la fin, le dessus de leur crâne était pelé.