No edifício de dois andares, painéis explicativos demonstram a relação desta região fronteiriça com os judeus e cripto-judeus (supostamente cristãos porque batizados, mas que professavam a fé judaica em segredo). A Casa dispõe ainda de alguns conteúdos gráficos acompanhados de textos que fazem uma evocação da presença das comunidades judaicas nesta antiga vila.

Localizado dentro das muralhas da cidade, o antigo bairro judeu é considerado um dos mais antigos do país e ainda hoje é possível ver marcas do judaísmo nas casas e calçada, assim como marcas feitas depois da cristianização - cruzes nas ombreiras portas, para dissuadir os inquisidores.

As ruínas da ponte deixam transparecer o quão imponente esta deveria ser para a altura.

De estilo românico e gótico com algumas adições manuelinas, acede-se pela Porta do Castelo onde estão representadas as armas reais de D. Manuel l e esfera armilar. É composto por uma Torre de Menagem, com varanda e mata-cães, a Torre do Facho, a Cisterna, e ainda uma porta falsa e a pequena Porta da Traição.

O Museu da Guarda abriu ao público em 1985 e apresenta um acervo constituído por coleções de arqueologia, numismática, escultura sacra dos séculos XIII a XVIII, pintura sacra dos séculos XVI a XVIII e armaria dos séculos XVII a XX. E, ainda cerâmica, fotografia, etnografia regional, pintura e desenho de finais do século XIX e 1ª metade do século XX.

De localização privilegiada, em pleno coração da cidade da Guarda, trata–se pois de um edifício emblemático, com forte identidade simbólica na ordenação da envolvente urbana, assumindo preponderância numa vasta área comercial, cultual e de lazer.