Esta ermita del Siglo XVII debe su nombre por el lugar donde está construida. En una gran explanada sobre el Alto de los Moros donde antiguamente existió un castillo, como atestigua un gran torreón.
La cúpula, restaurada a principios del Siglo XX, fue construida por Pedro de Arrase, arquitecto que también construyó la Ermita de la Virgen del Yugo en Arguedas.
Según cuenta la leyenda está construida sobre los restos de otra ermita del Siglo XI, que se construyó en honor a la victoria sobre los sarracenos.
Existen dos imágenes de la Virgen del Castillo, la más antigua del Siglo XI muy restaurada y que se venera en la parroquia. Otra imagen, que es la que se conserva en la ermita, es barroca y del Siglo XVIII y está ligada a la gesta guerrera de un caballero mirandés.