La tradición cuenta que la imagen de la Virgen, que originariamente se llamabaNuestra Señora del Rosario, fue destrozada en el siglo XVII por los piratas y, puesto que se tardó mucho tiempo en restaurarla, cambió su nombre por el que lleva en la actualidad. A partir de esta leyenda, el municipio de Oropesa vive con gran intensidad sus fiestas.