A Casa da Torre foi construída no início do século XIV e na altura servia de residência aos bispos da Guarda. Eleva-se com grande esplendor na paisagem urbana da vila, demonstrando assim o grande poderio das instituições políticas e religiosas desde o tempo dos romanos até hoje. Hoje é um Centro de Estudos Arqueológicos. Nos três pisos encontramos peças arqueológicas recolhidas de vários lugares do concelho de Belmonte: no piso térreo estão em exposição achados dos períodos medieval e romano, com muitas moedas, objetos decorativos, aras, utensílios pessoais, decorativos, de caça e de guerra; no primeiro piso a exposição vai do século XV a XIX; no último piso existe uma oficina de restauro.

Este castelo terá sido anteriormente uma fortificação lusitana. No entanto, foram os romanos que o fizeram crescer militarmente. No reinado de D. Dinis foram efetuados trabalho de fortificação e ampliação tendo subsistido até aos dias de hoje apenas a muralhada com adarve, cubelos, cinco portas medievais e duas torres quadrangulares robustas.

É um curioso e singular monumento lítico construído por volta do ano I d.C. Esta torre tem 12 metros de altura e três andares parciais, cuja função ainda não é bem clara. Algumas das hipóteses avançadas é que pode ter sido um templo, um prisão, um patretorium (tenda do general ou zona central de acampamento romano), uma mansio (hospedaria) ou mesmo uma vila romana.

O nome Almofala tem origem árabe, significando “acampamento”. Inserida num vale e com o Rio Águeda a separá-la de Espanha, Almofala foi atrativo para vários povos. A presença romana é bem visível na torre .