O Convento de Santo António de Serém foi mandado edificar em 1634, por Diogo Soares, valido do Conde Duque de Olivares, para aí albergar doze religiosos da ordem de S. Francisco, da província de Santo António. Em 16 de Abril de 1635, foi lançada a primeira pedra, decorrendo as obras, até 1 de Dezembro de 1640, a bom ritmo, à custa das rendas de Diogo Soares. Por esta altura faltava ainda concluir o coro, o claustro, a cerca do convento e “outras oficinas do mosteiro”, a que não chegavam para isso as rendas do respetivo padroeiro, cujos bens tinham entretanto sido confiscados.
A partir de 1641, por provisão real, as obras são retomadas, por partes, sendo concluídas cerca de 1658/59.
Pese embora os apoios dados à conclusão das obras, a vida dos religiosos capuchos decorria com inúmeros sobressaltos dadas as dificuldades na arrecadação das rendas a que tinham direito, por desentendimentos vários entre os herdeiros de Diogo Soares.
Com a abolição das ordens religiosas em 1834, convento e cerca passam para as mãos particulares: primeiro de José Henriques Ferreira e, à morte deste, para a posse de Augusto Gomes, a quem se devem as grandes obras de beneficiação no espaço da cerca mas, em contrapartida, o desmantelamento parcial do convento – colunas e arcarias do claustro conventual são aplicadas no palacete que construiu para si.
“[…] o convento de Serém não tem a ilustrá-lo pergaminhos de nobre ou heroica tradição. Nem se prende a nenhum passo da história nem é fruto da piedade sincera de nenhum grande vulto nacional. Ao contrário, o tredo nome do seu fundador e padroeiro só terá sido incentivo às orações caridosas e indulgentes dos pobres frades capuchinhos…” LUCENA E VALE, A. 1941: 60.