La construcción de la primitiva fortificación data de los siglos XIII y XIV, con estructura y detalles de torres y puertas característicos del reino de Granada. Aunque algunos elementos fueron añadidos más tarde. En la época cristiana (siglos XV al XVII), ya contaba con la muralla, torres y el alcázar-palacio. El recinto está en parte almenado y protegido con torreones cuadrangulares en los ángulos que forman los lienzos, protegidos por el norte y suroeste con barbacanas. La puerta de acceso a la barbacana del norte se abre en una torre albarrana, existiendo otra torre en la que se abre la puerta con un arco apuntado de ladrillo. Entrando por el arco de la Villa, se encuentra el Alcázar o palacio del marqués de Moscoso, formando parte de la fortaleza y muy transformado. Los materiales empleados en este conjunto de fortificaciones son de mampostería con piedras más o menos labradas y regulares, y ladrillos en los arcos. A partir del recinto fortificado, la población se desarrolla en su interior, incorporando algunos elementos a la muralla, con la intención de comunicar las casas adosadas a ella, que son las que primero se desarrollan. La acumulación del caserío intramurosa través del tiempo se corresponde con sus orígenes tardomedievales.
Las cubiertas de las casas son de teja árabe a una o dos aguas. Las fachadas no poseen salientes ni retranqueos y están encaladas, con guardapolvos o molduras en algunas de ellas. Las ventanas y puertas son de madera, con portillos en vez de cristales. La mayoría son de carater unifamiliar, compuestas de una sala con cocina incluida, alcoba contigua y una o dos alcobas en la planta alta. Algunas poseen una cuadra. Las ventanas de la planta baja se protegen con rejas sencillas de hierro. En general la tipología corresponde a una arquitectura popular de carácter rural. Entre los edificios singulares, merece destacarse la Iglesia Parroquial del Salvador y el Ayuntamiento, con entradas desde la plaza mayor. La iglesia, de una sola nave, muy posiblemente se emplaza en el lugar de la antigua mezquita. Se sabe que su capilla mayor fue ejecutada por Juan Arias de Saavedra a principios del siglo XVII. En el siglo XVIII fue ampliada, desapareciendo la primitiva estructura bajo pesadas yeserías y bóvedas de cañón. En el camino de Castellar y junto a la muralla, al pie del castillo se construye en 1603 el convento de Mercedarios de la Almoraima, del que se conserva el gran claustro con arquerías de piedra y de orden toscano, junto a la Ermita de Nuestra Señora de los Reyes de 1562. El desarrollo de la historia en este núcleo poblacional es un elemento decisivo que contribuye a valorarlo, pues parte de la historia ha quedado inmortalizada en su imagen y conformación singular.
En Castellar podemos diferenciar varios monumentos:
Castillo de Castellar, fortaleza nazarí construida entre los siglos XII y XV.
Palacio de los Condes de Castellar, residencia de los Condes de Castellar.
Iglesia del Divino Salvador , que se construyó en el siglo XVII.
Convento de San Miguel de La Almoraima, contruido en el siglo XVII en estilo barroco.
Molino del Conde, es un restaurante contruido sobre un antiguo convento,a parte de ser precioso, tiene una carta muy sofisticada.
