A Igreja da Misericórdia, construída por volta do século XVIII, é a obra barroca mais importante da cidade, o que influenciou a construção de vários templos barrocos na diocese. O portal está enquadrado por duas torres sineiras e suporta uma imagem da Senhora da Misericórdia.
A história da presença judaica no concelho está agora inventariada e documentada neste centro interpretativo, apelidado em honra de Ephraim Bueno, um judeu nascido e Castelo Rodrigo, que foi médico, físico e escritor com grande relevância na corte dos Países Baixos.
A Torre dos Ferreiros, uma das mais emblemáticas estruturas pertencentes à muralha da cidade, deverá datar de finais do século XVIII e inícios do século XIV. No interior existem três portas, uma das quais em guilhotina (uma das poucas existentes em Portugal) que garantiam a segurança da povoação pois tornavam a torre inexpugnável.
Com a forma de um polígono, a área abrangida pela vila limita-se ao núcleo urbano e à zona envolvente das muralhas, onde existem baluartes, revelins, portas, casamatas e fossos. Este enorme complexo militar foi construído nos séculos XVII e XVIII.