Este castelo terá sido anteriormente uma fortificação lusitana. No entanto, foram os romanos que o fizeram crescer militarmente. No reinado de D. Dinis foram efetuados trabalho de fortificação e ampliação tendo subsistido até aos dias de hoje apenas a muralhada com adarve, cubelos, cinco portas medievais e duas torres quadrangulares robustas.