XLMR-large-qa-council-pt is a fine-tuned deepset/xlm-roberta-large-squad2 model for extractive Question Answering (QA), designed to identify and extract the opening and closing sections from Municipal meeting minutes.
The model was developed as part of a study on automated document segmentation and metadata extraction in local government administrative records.

Key Features

🏛️ Specialized for Municipal Minutes: Fine-tuned on authentic Portuguese council meeting minutes
🧩 Extractive QA: Predicts start and end spans for opening and closing segments
⚙️ Transformer-based Architecture: Robust performance on long, unstructured documents
📈 Strong QA Performance: Achieves F1 above 80 on Portuguese test set

Model Details

Base Model: deepset/xlm-roberta-large-squad2
Architecture: Transformer encoder with span prediction head (QA)
Parameters: 550M
Max Sequence Length: 512 tokens
Fine-tuning Dataset: 120 Portuguese meeting minutes (6 municipalities)
Answer Types: opening, closing, and unknown (for no-answer cases)
Training Framework: PyTorch + Hugging Face Transformers
Evaluation Metrics: F1 and Exact Match (SQuAD v2 protocol)

How It Works

The model tokenizes the input, context and question, processes it through the pre-trained model, and extracts the most relevant span to generate the answer.

python

from transformers import AutoTokenizer, AutoModelForQuestionAnswering
import torch
import numpy as np

MODEL_NAME = "anonymous13542/XLMR-large-qa-council-pt"
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForQuestionAnswering.from_pretrained(MODEL_NAME)
model.eval()

question = "No início da ata há um segmento de abertura. Qual é a última frase desse segmento de abertura?"

#question = "No final da ata há um segmento de encerramento. Qual é a primeira frase desse segmento de encerramento?"

context = "ATA N.º 01 \nREUNIÃO ORDINÁRIA 03/01/2024 \nCÂMARA MUNICIPAL DE ALANDROAL \nPresidiu o Senhor João Maria Aranha Grilo, Presidente da Câmara Municipal de Alandroal.\nVereadores João Carlos Camões Roma Balsante\nPaulo Jorge da Silva Gonçalves\nFernanda Manuela Brites Romão\nElisabete de Jesus dos Passos Galhardas\nSecretariou a Reunião ************************************************\nNo Edifício Sede do Município de Alandroal, o Senhor Presidente da Câmara Municipal, João Maria Aranha Grilo, declarou aberta a reunião, eram 10.35 horas. \n\n1.INFORMAÇÕES\nO Sr. Presidente informou no dia 21 participou numa visita promovida pela ARS Alentejo às obras do novo Hospital Central de Évora. Foram convidados os autarcas do distrito, visitaram-se as obras, a evolução dos trabalhos e trata-se de uma obra de uma dimensão considerável, com objetivos muito sérios de vir a servir toda a região. Falou-se também que o novo hospital não vai ser só um hospital de referência no que diz respeito a prestação de cuidados de saúde para toda a região Alentejo, o que significa que algumas especialidades terão que ser reencaminhadas para Lisboa, por serem muito especializadas, a maior parte de toda a prestação de cuidados passará a ser feita na região. Este aspeto é muito importante, mas há que referir também que o hospital vai servir a região de outra forma pois será uma âncora de desenvolvimento porque está prevista a criação de uma escola de medicina -- a Universidade de Évora já está a preparar a candidatura, já tem os terrenos junto ao hospital -- há já um conjunto de empresas ligadas à biotecnologia e de cuidados de saúde a pretenderem instalar-se na envolvência do hospital, tornando-se num centro de desenvolvimento quer para formar e atrair profissionais qualificados para a região, quer para atrair empresas de tecnologia de ponta, por sua vez potenciadoras de criação de emprego qualificado. Portanto, à sua escala é um projeto comparável ao Alqueva ou outros projetos estruturantes, criando uma dinâmica social e económica muito importante, com impacto em toda a região.  \nContinuou por informar que no dia 22 se realizou a cerimónia de inauguração do edifício do ensino Pré-Escolar, integrado na Escola Diogo Lopes de Sequeira. A partir de hoje este edifício já está a ser usado e foi uma grande conquista ao fim de 17 anos em instalações provisórias.  \nInformou ainda que no dia 23 o executivo assistiu ao concerto da Banda na Igreja Matriz.  \nO Sr. Presidente deu conhecimento do despacho sobre as tolerâncias de ponto que se anexa à presente ata.  \n2. ALTERAÇÕES ORÇAMENTAIS PERMUTATIVAS PARA RATIFICAÇÃO\nPelo Sr. Presidente foram presentes a reunião as informações da contabilidade que se anexam\nà presente ata. \nPonderado e analisado o assunto o Executivo Municipal deliberou por maioria, com os votos a favor dos eleitos pelo PS e a abstenção da eleita pelo Nós, Cidadãos, ratificar as alterações orçamentais permutativas.  \n3. ALTERAÇÃO ORÇAMENTAL PERMUTATIVA\nNão houve alteração orçamental a apresentar.  \n4. APROVAÇÃO DE ATAS\nPelo Senhor Presidente foi presente a reunião a ata n.º 28 de 20.12.2023. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade aprovar a ata n.º 28 de 20.12.2023.  \n5. PROCESSOS E REQUERIMENTOS DIVERSOS\nNão houve processos e requerimentos diversos a apresentar.  \n6. ALANDROAL CONVIDA ESPECIAL NATAL 2023- NORMAS DE PARTICIPAÇÃO, SORTEIOS E VALORES DE PRÉMIOS ATRIBUÍDOS -- RATIFICAÇÃO\nPelo Senhor Presidente foi presente a reunião a proposta n.º 13 do Presidente que se anexa à presente ata. \nDe acordo com o Sr. Presidente, trata-se do habitual procedimento de incentivo às compras do comércio local que se faz este ano em colaboração com as Juntas de Freguesia. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar as normas de participação, sorteios e valores de prémios atribuídos no Alandroal ConVida Especial Natal 2023.  \n7. ALANDROAL CONVIDA ESPECIAL NATAL 2023 -- VALE CABAZ IDOSOS E PENSIONISTAS - NORMAS DE PARTICIPAÇÃO, VALOR DO VOUCHER E DA DESPESA A REALIZAR -- RATIFICAÇÃO\nPelo Senhor Presidente foi presente a reunião a proposta n.º 12 do Presidente que se anexa à presente ata. \nSegundo o Sr. Presidente, trata-se da ratificação de um procedimento que foi desenvolvido desde a pandemia e que consistia em oferecer cabazes aos idosos e levá-los a casa. Entretanto, essa metodologia tornou-se muito pesada para a organização do Município em termos de procedimentos internos, de contratação, envolvimento de funcionários e este ano optou-se por um procedimento que correu muito bem e que se traduz na atribuição de um vale que se pode trocar no comércio local. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar as normas de participação, valor do voucher e da despesa a realizar no Alandroal ConVida Especial Natal 2023 -- Vale Cabaz Idosos e Pensionistas.  \n8. RATIFICAÇÃO DA PRORROGAÇÃO DO PRAZO DO CONCURSO PÚBLICO N.º EMP/CP/003-2023 PARA REALIZAÇÃO DA EMPREITADA \"CONSTRUÇÃO DA LOJA DO CIDADÃO DO ALANDROAL\"\nPelo Senhor Presidente foi presente a esta reunião a informação e 21 de dezembro da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nReferiu o Sr. Presidente que já se tinha recebido um pedido de prorrogação de prazo por erros e omissões; tivemos um pedido de uma empresa para prorrogar o prazo uma vez que estava a preparar as candidaturas e considerou-se preferível permitir que haja o máximo de concorrentes. O prazo terminará hoje, pelas 17h00. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a prorrogação do prazo do Concurso Público n.º EMP/CP/003-2023 para realização da empreitada \"Construção da Loja do Cidadão do Alandroal\".  \n9. RATIFICAÇÃO DA 2ª REVISÃO DE PREÇOS DA EMPREITADA \"MELHORIA DA MOBILIDADE URBANA E SEGURANÇA RODOVIÁRIA DO CONCELHO DE ALANDROAL -- 4ª FASE -- ADITAMENTO (FASE II)\"\nPelo Senhor Presidente foi presente a esta reunião a informação n.º 136 da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nO Sr. Presidente referiu que se trata de um valor de 10. 710,55€ acrescidos de IVA. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a 2ª revisão de preços da empreitada \"Melhoria da Mobilidade Urbana e Segurança Rodoviária do concelho de Alandroal -- 4ª Fase -- Aditamento (Fase II)\".  \n10. RATIFICAÇÃO DA 2ª REVISÃO DE PREÇOS DA EMPREITADA \"MELHORIA DA MOBILIDADE URBANA E SEGURANÇA RODOVIÁRIA DO CONCELHO DE ALANDROAL -- 4ª FASE\"\nPelo Senhor Presidente foi presente a esta reunião a informação n.º 174 da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nDe acordo com o Sr. Presidente, trata-se de uma revisão no valor de 31.908,73€ acrescidos de IVA. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a 2ª revisão de preços da empreitada \"Melhoria da Mobilidade Urbana e Segurança Rodoviária do concelho de Alandroal -- 4ª Fase\".  \n11. RATIFICAÇÃO DA 15ª REVISÃO DE PREÇOS DA EMPREITADA \"FORTALEZA DE JUROMENHA -- CONSOLIDAÇÃO E RESTAURO DOS PARAMENTOS DO PERÍMETRO ABALUARTADO EXTERIOR E CERCA ISLÂMICA E MEDIEVAL INTERIOR\"\nPelo Senhor Presidente foi presente a esta reunião a informação n.º 176 da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nSegundo o Sr. Presidente trata-se de um valor de 68.492,02€ acrescidos de IVA. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a 15ª revisão de preços da empreitada \"Fortaleza de Juromenha -- Consolidação e restauro dos paramentos do perímetro abaluartado exterior e cerca islâmica e medieval interior\".  \n12. RATIFICAÇÃO DA 1ª REVISÃO DE PREÇOS DA EMPREITADA \"REMODELAÇÃO E AMPLIAÇÃO DO EDIFÍCIO DA CASA DO CASTELO E ARRANJOS EXTERIORES\"\nPelo Senhor Presidente foi presente a esta reunião a informação n.º 177 da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nAfirmou o Sr. Presidente que o valor em causa é de 4.512,36€ acrescidos de IVA. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a 1ª revisão de preços da empreitada \"Remodelação e ampliação do edifício da Casa do Castelo e arranjos exteriores\".  \n13. RATIFICAÇÃO DA 2ª REVISÃO DE PREÇOS DA EMPREITADA \"CONCLUSÃO DA ESCOLA BÁSICA INTEGRADA, COM EDIFÍCIO PRÉ-ESCOLAR, DIOGO LOPES DE SEQUEIRA DE ALANDROAL\"\nPelo Senhor Presidente foi presente a esta reunião a informação n.º 178 da Divisão de Obras, Ambiente e Serviços Urbanos -- Secção de Ordenamento e Obras Municipais que se anexa à presente ata. \nDe acordo com o Sr. Presidente, trata-se de um valor de 150.211,20€ acrescidos de IVA. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade ratificar a 2ª revisão de preços da empreitada \"Conclusão da Escola Básica Integrada, com edifício Pré-Escolar, Diogo Lopes de Sequeira de Alandroal\".  \n14. ATRIBUIÇÃO DE BOLSAS DE ESTUDO PARA O ENSINO SUPERIOR -- ANO LETIVO 2023/2024\nPelo Senhor Presidente foi presente a esta reunião a informação de 22 de dezembro do Serviço de Ação Social - Setor de Educação que se anexa à presente ata. \nO Sr. Vice-Presidente referiu que após a análise das candidaturas recebidas, houve 45 pedidos de renovação e 23 novas candidaturas e o júri decidiu a admissão de 62 candidaturas, sendo 6 excluídas por não cumprirem os critérios previstos no regulamento. Houve apenas um caso, que estando matriculado desde o ano letivo 2020/2021, tem uma incapacidade auditiva importante, pelo que se decidiu aceitar a candidatura para que possa terminar as disciplinas de anos anteriores em falta. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade aprovar a atribuição de bolsas de estudo para o ensino superior -- ano letivo 2023/2024.  \n15. PROCESSO DE OBRAS N.º ****-LEGALIZAÇÃO\nPelo Senhor Presidente foi presente a esta reunião a informação n.º ****** da Secção de Urbanismo e Fiscalização -- Serviço de Obras Particulares. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade aprovar o projeto de arquitetura relativo ao Processo de obras n.º **** -- LEGALIZAÇÃO.  \n15. PROCESSO DE OBRAS N.º *****-EDIFIC\nPelo Senhor Presidente foi presente a esta reunião a informação n.º ****** da Secção de Urbanismo e Fiscalização -- Serviço de Obras Particulares. \nPonderado e analisado o assunto o Executivo Municipal deliberou por unanimidade aprovar o projeto de arquitetura relativo ao Processo de obras n.º ***** -- EDIFIC. \nAPROVAÇÃO EM MINUTA\nA presente ata ficou lavrada, lida e aprovada em minuta, por unanimidade, no final desta reunião, nos termos e para os efeitos previstos no artigo 57.º, do Regime Jurídico das Autarquias, aprovado pela Lei nº 75/2013, de 12 de Setembro.\nE nada mais havendo a apreciar, ponderar ou deliberar, o Senhor Presidente da Câmara Municipal deu por encerrada esta reunião. Eram 10.55 horas. \n"

max_length = 512
doc_stride = 128

# Tokenize
inputs = tokenizer(
    question,
    context,
    return_overflowing_tokens=True,
    return_offsets_mapping=True,
    max_length=max_length,
    stride=doc_stride,
    truncation=True,
    padding=False
)

# Iterate all chunks
all_start_logits = []
all_end_logits = []
for i in range(len(inputs["input_ids"])):
    input_ids = torch.tensor([inputs["input_ids"][i]])
    attention_mask = torch.tensor([inputs["attention_mask"][i]])

    with torch.no_grad():
        outputs = model(input_ids=input_ids, attention_mask=attention_mask)

    all_start_logits.append(outputs.start_logits)
    all_end_logits.append(outputs.end_logits)

# Choose the best answer
best_score = -float("inf")
best_answer = ""
for i, offset_mapping in enumerate(inputs["offset_mapping"]):
    start_idx = torch.argmax(all_start_logits[i])
    end_idx = torch.argmax(all_end_logits[i])
    if end_idx >= start_idx:  # Apenas considerar spans válidos
        score = all_start_logits[i][0, start_idx] + all_end_logits[i][0, end_idx]
        if score > best_score:
            start_char, end_char = offset_mapping[start_idx][0], offset_mapping[end_idx][1]
            best_answer = context[start_char:end_char]
            best_score = score

print("Resposta:", best_answer)

Evaluation Results

Municipal Meeting Minutes Test Set

Metric	Score
F1 score	0.83
Exact Match	0.79

Limitations

Domain Specificity: Best performance on administrative/governmental meeting minutes
Language: Optimized for Portuguese; English performance may vary
Context Window: Limited to 512 tokens

License

This model is released under the cc-by-nc-nd-4.0 license.