Según se cuenta en el libro de Castillos y Palacios de Navarra, en la Peña de Unzué existió el castillo de Guerga, posiblemente destruido hacia 1516 por orden de Cisneros.
Utilizado como residencia y como prisión. Se cuenta como hecho más notable el motín de 1335 donde varios presos mataron a su alcaide.
La Peña, está separada de la Sierra de Alaiz y tiene muy buenas vistas. Nos puede engañar su aspecto infranqueable. Pero es es de fácil acceso después de una excursión de unos tres kilómetros desde el pueblo de Unzué.