Antiga fortificação dos templários que segundo estudos deverá ter sido uma das primeiras a ser edificadas em Portugal. Porém, no século XIX, face ao seu abandono o castelo passou a servir como fornecimento de pedra para construção e o interior foi transformado num cemitério.
É um autêntico espaço monumental onde é importante destacar as velhas muralhas, as ruínas do Palácio de Cristóvão de Moura, o pelourinho quinhentista, a igreja matriz, a cisterna medieval e os vestígios que confirmam a existência de cristãos-novos.
Este castelo terá sido anteriormente uma fortificação lusitana. No entanto, foram os romanos que o fizeram crescer militarmente. No reinado de D. Dinis foram efetuados trabalho de fortificação e ampliação tendo subsistido até aos dias de hoje apenas a muralhada com adarve, cubelos, cinco portas medievais e duas torres quadrangulares robustas.