O castelo medieval, situado dentro das muralhas da fortaleza de Almeida, foi destruído durante as terceiras invasões francesas, em 1810, em consequência da violenta explosão do paiol de pólvora. Subsistem apenas as ruínas dos alicerces.
Com a forma de um polígono, a área abrangida pela vila limita-se ao núcleo urbano e à zona envolvente das muralhas, onde existem baluartes, revelins, portas, casamatas e fossos. Este enorme complexo militar foi construído nos séculos XVII e XVIII.
Povoado fortificado desde a Idade do Ferro até ao período visigótico. Apresenta muralhas com três níveis concêntricos e uma estrutura defensiva feita pela topografia natural e artificial. No interior encontravam-se casas circulares ou quadrangulares de alvenaria de pedra.
É um dos espaços mais emblemáticos da cidade delimitado por um magnífico enquadramento de edifícios de diversas épocas e estilos: a Sé gótica da Guarda, o Edifício dos Balcões, o antigo Paços do Conselho, o Solar dos Póvoas e o Solar de Alarcão.
O nome Almofala tem origem árabe, significando “acampamento”. Inserida num vale e com o Rio Águeda a separá-la de Espanha, Almofala foi atrativo para vários povos. A presença romana é bem visível na torre .