En el Siglo XI ya se tenía noticias de la existencia de una torre de vigilancia en el lugar, posteriormente se fueron construyendo edificaciones que dieron lugar a un castillo.
Por una deuda no pagada pasó a manos de Sancho el Fuerte. Después de sucesivas herencias y transmisiones pasa a manos de Doña Maria de Azpilcueta que se casó con Juan de Jaso, padres de San Francisco Javier.
El Castillo original fue derribado por el Cardenal Cisneros. Después en el Siglo XIX, el castillo ya propiedad de la Duquesa de Villahermosa, fue donado a la Compañía de Jesús. Además la Duquesa reconstruyó el castillo edificando la Basílica actual.
Destacan la "Torre del Santo Cristo", donde se encuentra un interesante crucifijo tardogótico y las de pinturas murales de la danza de la muerte, únicas en España y la "Torre del Homenaje", en el centro del castillo, llamada de San Miguel que es la parte más antigua de la fortaleza.