O castelo medieval, situado dentro das muralhas da fortaleza de Almeida, foi destruído durante as terceiras invasões francesas, em 1810, em consequência da violenta explosão do paiol de pólvora. Subsistem apenas as ruínas dos alicerces.
Tem no seu interior um São Sebastião patusco, referido por Saramago. No exterior, protegido pelo alpendre da capela, encontra-se uma pintura maneirista provincial representando o calvário.
Reconstruída em 1717 sobre um antigo templo romano, ostenta uma fachada de grande escala, duas torres sineiras e um interior barroco. Possui um pórtico com elaborado trabalho de cantaria e um altar-mor em talha barroca.