A Igreja de Santa Maria do Castelo, edificada por D. Afonso II em 1215, é um dos elementos de origem medieval ainda presentes no Castelo de Abrantes. A construção atualmente existente é uma igreja dos séculos XV-XVI em estilo gótico. Nela esteve instalado o Museu Dom Lopo de Almeida entre 1921 e 2021. Neste ano, as coleções que se encontravam expostas no extinto Museu Dom Lopo de Almeida foram integradas no MIAA - Museu Ibérico de Arqueologia e Arte de Abrantes. Na Igreja mantém-se os túmulos de D. Diogo de Almeida, D. Lopo de Almeida, D. João de Almeida e outros, do Panteão dos Almeida.
Nos séculos XV e XVI, o Castelo de Abrantes foi adaptado a residência senhorial dos Almeidas. Esta linhagem foi iniciada por Fernão Álvares de Almeida, um apoiante do Mestre de Avis durante a revolução de 1383-85, recompensado com vários bens e privilégios, nomeadamente em Abrantes e seu termo. O seu filho, D. Diogo de Almeida, viu confirmados esses privilégios e recebeu a alcaidaria do Castelo de Abrantes. O filho deste, D. Lopo de Almeida, obteve o senhorio de Abrantes, o título de Conde de Abrantes e o senhorio do Castelo em 1471-76.
A construção do palácio, cujas ruínas se encontram na muralha Oeste, incluindo a atual entrada do Castelo, terá sido iniciada pelo segundo destes Almeidas, D. Diogo, em 1432-33, que também reedificou a Igreja de Nossa Senhora do Castelo, após o sismo de 1429 e a adaptou a Panteão da família. Este palácio foi profundamente modificado pelo 1.º Marquês de Abrantes, D. Rodrigo de Almeida e Meneses, entre 1718 e 1733. D. Rodrigo já não era um descendente direto de Fernão Álvares de Almeida, cuja linhagem foi interrompida, sem herdeiros diretos, em 1633.
- R. Dom Francisco de Almeida, 2200-242 Abrantes.