Localizado dentro das muralhas da cidade, o antigo bairro judeu é considerado um dos mais antigos do país e ainda hoje é possível ver marcas do judaísmo nas casas e calçada, assim como marcas feitas depois da cristianização - cruzes nas ombreiras portas, para dissuadir os inquisidores.

Também referido como Castelo das Cinco Quinas, devido à invulgar forma da sua torre de menagem pentagonal, acredita-se que foi mandado construir por D. Dinis ao mesmo tempo que este lhe conferiu a carta de foral em finais do século XIII. Serviu a sua função militar uma vez por outra, mas também de presídio, tendo sido abandonado e as suas muralhas desmanteladas para a construção de várias casas na vila e a praça de armas do castelo começou a servir de cemitério, tudo isto no século XIX, e só na década de 40 do século XX se conseguiu travar essas degradação.

É um curioso e singular monumento lítico construído por volta do ano I d.C. Esta torre tem 12 metros de altura e três andares parciais, cuja função ainda não é bem clara. Algumas das hipóteses avançadas é que pode ter sido um templo, um prisão, um patretorium (tenda do general ou zona central de acampamento romano), uma mansio (hospedaria) ou mesmo uma vila romana.