La época de edificación de la Alcazaba original es actualmente incierta. Dicha alcazaba debía haber sido mas pequeña que la actual, sin torre del homenaje pero si con baños y edificios en su zona central. El castillo tal y como se conserva en la actualidad procede de la época en que los caballeros santiaguistas poseían la encomienda de Segura y posiblemente fue levantado entre los siglos XIII y XIV, aprovechando los baños existentes y parte de los antiguos muros, y edificando una fortaleza al estilo "cristiano" con su torre del homenaje y muros exteriores.

     El castillo se compone de un recinto exterior con muralla, en el que se distinguen 2 aljibes excavados en la roca, y una barbacana superior que da acceso a la puerta principal. La entrada original estaría situada por un angosto sendero que entra por una pequeña torre en codo y da acceso a la barbacana superior, desde donde se accede por la entrada principal situada en una torre en codo con bóveda. esta estructura impedía el acceso con montura y obligaba a entrar casi en fila a los visitantes, lo que unido a los 2 ordenes de muros, tanto para la pequeña entrada como para la principal, hacían de un ataque directo algo impensable.

     El alcázar, de planta casi pentagonal, se compone de un patio de armas con aljibe, torre del homenaje de planta cuadrangular y tres pisos, baños árabes y cocinas que actualmente se encuentran en ruinas, una especie de tribuna de la que no se tiene mucha seguridad de su antigüedad, la capilla de santa Ana y los restos de lo que pudiera ser un almacén o un refectorio, además de tres torres de planta cuadrangular y una semi-redonda, que se cree fue una mazmorra o un almacén. Todo el castillo esta construido en piedra siguiendo la técnica de la mampostería, destacando el trabajo realizado en las esquinas de las torres que son redondeadas en contraposición de los típicos ángulos rectos.

     La composición actual del castillo se encuentra influenciada por la reconstrucción que la Dirección General de Arquitectura realizó del mismo durante los años 60, debido a su deterioro. Hay que recordar que en 1810, durante la ocupación francesa, el castillo fue incendiado y sufrió grandes desperfectos. Además en la actualidad se han realizado obras de acondicionamiento para convertir el recinto en espacio escénico y centro de interpretación turística.

     El Castillo de Segura de la Sierra esta declarado Monumento Nacional desde 1965 y se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español. En el año 1993 la Junta de Andalucía otorgó reconocimiento especial a los castillos de la Comunidad Autónoma de Andalucía.