O castelo medieval, situado dentro das muralhas da fortaleza de Almeida, foi destruído durante as terceiras invasões francesas, em 1810, em consequência da violenta explosão do paiol de pólvora. Subsistem apenas as ruínas dos alicerces.
Com a forma de um polígono, a área abrangida pela vila limita-se ao núcleo urbano e à zona envolvente das muralhas, onde existem baluartes, revelins, portas, casamatas e fossos. Este enorme complexo militar foi construído nos séculos XVII e XVIII.
A Torre dos Ferreiros, uma das mais emblemáticas estruturas pertencentes à muralha da cidade, deverá datar de finais do século XVIII e inícios do século XIV. No interior existem três portas, uma das quais em guilhotina (uma das poucas existentes em Portugal) que garantiam a segurança da povoação pois tornavam a torre inexpugnável.