Fou construïda a principis del segle XI, ocupant l'extrem d'aquest recinte emmurallat que protegia la ciutat i que va ser considerat com una de les construccions militars més importants d'Espanya de l'època. L'accés a aquesta fortalesa és per el Carrer Alcazabilla el qual puja fent zig-zag entre elevades muralles i per una sèrie de portes obertes en arcs sustentats per columnes genuïnament romanes, extretes de les ruïnes del veí Teatre Romà.