El Castillo-Palacio ocupa la cota más alta de la Villa, asentado sobre un espolón rocoso. Allí transcurrió la niñez del Papa Luna, y allí volvieron sus restos, cuando muerto, pero según la tradición y las crónicas de la época, por avatares de la Guerra de la Independencia,los restos de Benedicto XIII, fueron a parar al Río Aranda, y sólo se pudo recuperar el cráneo.

         

El edificio aúna elementos arquitectónicos que van del siglo XIV al XVII, y aunque la estructura originaria se mantiene en lo fundamental, desde el exterior parece prevalecer la reforma renancentista.

El Castillo comenza a construirse en el siglo XIV, es de planta cuadrada y la fachada principal destaca por ser una de las más largas que existen entre los palacios aragoneses