Data do século XVI e constituiu o convento das Freiras Terceiras Regulares de São Francisco, dedicado a Nossa Senhora do Loreto, tendo também desempenhado funções de quartel e hospital militar, até assumir o papel de Igreja Matriz em 1810.
De influência Vaubaniana, é considerado um dos baluartes mais perfeito construído no século XVIII. Em 1658 foi aqui criado o Hospital de Sangue devido ao elevado número de feridos que ocupavam a cadeia e a casa da câmara.
Este museu conta com um vasto espólio de objetos litúrgicos, olaria e da vida do campo. Assim, como serve de espaço para exposições de pintura ou outro.