Este castelo terá sido anteriormente uma fortificação lusitana. No entanto, foram os romanos que o fizeram crescer militarmente. No reinado de D. Dinis foram efetuados trabalho de fortificação e ampliação tendo subsistido até aos dias de hoje apenas a muralhada com adarve, cubelos, cinco portas medievais e duas torres quadrangulares robustas.

A Casa da Torre foi construída no início do século XIV e na altura servia de residência aos bispos da Guarda. Eleva-se com grande esplendor na paisagem urbana da vila, demonstrando assim o grande poderio das instituições políticas e religiosas desde o tempo dos romanos até hoje. Hoje é um Centro de Estudos Arqueológicos. Nos três pisos encontramos peças arqueológicas recolhidas de vários lugares do concelho de Belmonte: no piso térreo estão em exposição achados dos períodos medieval e romano, com muitas moedas, objetos decorativos, aras, utensílios pessoais, decorativos, de caça e de guerra; no primeiro piso a exposição vai do século XV a XIX; no último piso existe uma oficina de restauro.

Permite subir à Torre dos Ferreiros e fruir de uma visão de 360 graus da cidade e arredores.

Templo católico do estilo românico, pensa-se que foi construída entre os séculos XIII e XIV e remodelada no século XVI de forma a adaptá-la às funções exigidas pela Santa Casa da Misericórdia. Construída com uma planta retangular, nave única e capela-mor mais baixa e estreita, destaque para uma janela de lintel reto e para um arco pleno no seu interior.