Government of Canada finetune of Apertus-70B-Instruct-2509 (gc-llm-apertus-70b-instruct-2509)

Model details / Détails du modèle

[!IMPORTANT] EN — Although the architecture supports 65,536 positions, this fine-tune was trained on 2048-token sequences. Long-context behaviour is entirely inherited from the base model and was not exercised or verified by this training run.

FR — Bien que l'architecture prenne en charge 65 536 positions, ce réglage fin a été effectué sur des séquences de 2048 jetons. Le comportement en contexte long est entièrement hérité du modèle de base; il n'a été ni sollicité ni vérifié par cet entraînement.

Intended uses / Utilisations prévues

• Bilingual question answering and summarisation grounded in Government of Canada public web content.
• A generator inside a retrieval-augmented generation (RAG) system over GC documents, where the retrieved passage is supplied in the prompt.
• Drafting assistance for public-sector text in either official language.
• Research on domain adaptation of open-weight models for Canadian public-sector use, and as a bilingual baseline for further fine-tuning.

• Authoritative statements of Government of Canada policy, programs, benefits, eligibility, deadlines, or legal obligations. Model output is not a government record and carries no official standing. Always verify against canada.ca.
• Automated decision-making that affects individuals — benefits adjudication, immigration, enforcement, hiring, or any other administrative decision.
• Legal, medical, financial, or immigration advice.
• Any use handling classified, protected, or personal information: this model was developed entirely on unclassified public data and has no data-handling accreditation.
• Any use prohibited by the Apertus usage policy, which flows through to this derivative.

• Réponse aux questions et résumé bilingues fondés sur le contenu Web public du gouvernement du Canada.
• Génération au sein d'un système de génération augmentée par récupération (RAG) portant sur des documents du GC, où le passage récupéré est fourni dans l'invite.
• Aide à la rédaction de textes du secteur public dans l'une ou l'autre des langues officielles.
• Recherche sur l'adaptation de domaine de modèles à poids ouverts pour le secteur public canadien, et utilisation comme référence bilingue pour un réglage fin ultérieur.

• Énoncés faisant autorité sur les politiques, programmes, prestations, critères d'admissibilité, échéances ou obligations légales du gouvernement du Canada. Les sorties du modèle ne constituent pas un document gouvernemental et n'ont aucune valeur officielle. Vérifiez toujours l'information auprès de canada.ca.
• Prise de décision automatisée touchant des personnes : décisions relatives aux prestations, à l'immigration, à l'application de la loi, à la dotation ou toute autre décision administrative.
• Conseils juridiques, médicaux, financiers ou en matière d'immigration.
• Tout usage mettant en jeu des renseignements classifiés, protégés ou personnels : ce modèle a été élaboré uniquement à partir de données publiques non classifiées et ne fait l'objet d'aucune accréditation en matière de traitement des données.
• Tout usage interdit par la politique d'utilisation d'Apertus, qui s'applique à ce dérivé.

How to use / Mode d'emploi

transformers

vLLM

Matching the training distribution / Reproduire la distribution d'entraînement

• System message. Every training example carried: "You are a helpful AI assistant with expertise in Canadian government, history, and archives. You provide accurate, informative responses based on Canadian context."
• Retrieval turn shape. Question-answering examples were built as a single user turn shaped Context: {context}\n\nQuestion: {question}. In a RAG setup, supplying the retrieved passage in that exact shape most closely matches how the model was trained.

• Message système. Chaque exemple d'entraînement comportait le message anglais reproduit ci-dessus.
• Forme du tour de récupération. Les exemples de questions-réponses ont été construits comme un tour utilisateur unique de la forme Context: {context}\n\nQuestion: {question}. Dans une configuration RAG, fournir le passage récupéré sous cette forme exacte correspond le mieux à l'entraînement du modèle.

Training data / Données d'entraînement

Government of Canada Web Corpus / Corpus Web du gouvernement du Canada

1. Acquisition — WARC files pulled over the Archive-It WASAPI API onto HPC transfer nodes.
2. Extraction — HTML and PDF records converted to text (warctodb.py, warcpdfreader.py), discarding non-content records.
3. Curation — language identification (English/French retained, everything else dropped), exact deduplication, and heuristic filters removing short lines, JSON/JavaScript fragments, error-page boilerplate ("Error 404", "Not found", "Captcha"), and special-character-dense lines.
4. Synthetic QA generation — a distributed Ray Data + vLLM pipeline prompted a mid-size open instruction model (Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct were both used, per language and pipeline revision) to emit JSON question–answer pairs grounded in each passage, or None when the passage was too low-quality to use.
5. Post-processing — JSON parsing with heuristic repair, a second heuristic filter for degenerate generations, and MinHash near-deduplication (HuggingFace Datatrove) keyed on response plus context text.

1. Acquisition — Fichiers WARC téléchargés au moyen de l'API WASAPI d'Archive-It vers des nœuds de transfert du CHP.
2. Extraction — Enregistrements HTML et PDF convertis en texte (warctodb.py, warcpdfreader.py), en écartant les enregistrements sans contenu.
3. Curation — Identification de la langue (anglais et français conservés, tout le reste écarté), déduplication exacte, et filtres heuristiques supprimant les lignes courtes, les fragments JSON/JavaScript, le texte passe-partout des pages d'erreur (« Error 404 », « Not found », « Captcha ») et les lignes à forte densité de caractères spéciaux.
4. Génération synthétique de questions-réponses — Un pipeline distribué Ray Data + vLLM a sollicité un modèle d'instruction ouvert de taille moyenne (Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct, selon la langue et la révision du pipeline) pour produire des paires question-réponse au format JSON ancrées dans chaque passage, ou la valeur None lorsque le passage était de qualité insuffisante.
5. Post-traitement — Analyse syntaxique JSON avec réparation heuristique, second filtre heuristique visant les générations dégénérées, et quasi-déduplication MinHash (HuggingFace Datatrove) fondée sur la réponse et le texte de contexte.

Instruction mixture / Mélange d'instructions

[!NOTE] EN — Loss was computed over the full sequence. Labels were set to a copy of input_ids with no prompt masking, so system and user tokens contributed to the training objective alongside assistant tokens. This is a deliberate documentation point, not a recommendation — prompt masking is the more usual choice for SFT.

FR — La perte a été calculée sur l'ensemble de la séquence. Les étiquettes étaient une copie de input_ids, sans masquage de l'invite : les jetons système et utilisateur ont donc contribué à l'objectif d'entraînement au même titre que ceux de l'assistant. Il s'agit d'une précision documentaire et non d'une recommandation — le masquage de l'invite est le choix le plus courant pour le réglage fin supervisé (SFT).

Training procedure / Procédure d'entraînement

Evaluation / Évaluation

General benchmarks / Tests de référence généraux

MMLU by category / MMLU par catégorie

What the numbers say / Ce que révèlent les chiffres

[!WARNING] EN — TruthfulQA is the exception: 0.507 against the base's 0.605, a drop of −0.098. That is five times the average regression and the largest movement in the entire evaluation. A model fine-tuned to answer confidently in a specific institutional voice becoming measurably less truthful on adversarial questions is a predictable failure mode, but it needs to be treated as a real finding rather than benchmark noise. Anyone deploying this model where confidently-wrong answers carry a cost should weigh this heavily, and it should be the first thing re-measured after any further training.

FR — TruthfulQA fait exception: 0,507 contre 0,605 pour le modèle de base, soit une baisse de −0,098. C'est cinq fois la régression moyenne et le plus grand écart de toute l'évaluation. Qu'un modèle affiné pour répondre avec assurance dans un registre institutionnel précis devienne mesurablement moins véridique face à des questions adverses est un mode de défaillance prévisible, mais il faut y voir un résultat réel et non du bruit de mesure. Quiconque déploie ce modèle dans un contexte où une réponse fausse énoncée avec assurance a un coût devrait en tenir sérieusement compte; c'est aussi la première mesure à reprendre après tout entraînement additionnel.

Limitations, risks, and biases / Limites, risques et biais

• The web crawl has an effective knowledge cutoff around 2025. Programs, rates, forms, deadlines, and org structures change continuously; the model will confidently state stale information.
• Training answers were synthesised by a 7–8B teacher model, not written or reviewed by subject-matter experts. Teacher hallucinations and misreadings are baked into the corpus, and the fine-tune propagates them.
• The model does not cite sources or express calibrated uncertainty. For anything a user might act on, pair the model with retrieval and show the citation.

• General capability regressed measurably: about −2 points on MMLU, −1.3 on ARC-Challenge and HellaSwag, and 44 of 57 MMLU subjects down. If you do not need Canadian-context grounding, the base model is the better choice.
• Truthfulness regressed sharply. TruthfulQA fell from 0.605 to 0.507 (−0.098), by far the largest movement measured.
• Prompt/completion loss masking was not applied.
• Training sequences were capped at 2048 tokens; longer source passages were truncated rather than chunked.

• English and French only. Other languages were filtered out during curation.
• Content reflects the federal government's own published voice: institutional register, official framing of policy, and the topical distribution of .gc.ca. It is not a neutral account of Canadian public affairs, and it under-represents provincial, territorial, municipal, and Indigenous governments.
• Bilingual coverage is uneven. English .gc.ca content is more plentiful and often more current than its French counterpart.
• Archived pages carry residual navigation chrome and boilerplate that filtering did not fully remove.

• Red-teaming is pending. No safety tuning, red-teaming, or alignment work has been completed beyond what the base model already carried. An exercise is planned but has not yet been run, and this card will be updated when it is. Until then, all of Apertus's safety limitations apply unchanged, and the LoRA update may have shifted safety behaviour in ways that have not been measured. Do not treat the absence of reported safety findings as evidence of safety.
• Source pages are public, but public government pages do incidentally name individuals. Do not use this model to profile, identify, or contact individuals.

• La collecte Web a une limite de connaissances effective autour de 2025. Les programmes, taux, formulaires, échéances et structures organisationnelles changent continuellement : le modèle énoncera avec assurance des renseignements périmés.
• Les réponses d'entraînement ont été synthétisées par un modèle enseignant de 7 à 8 milliards de paramètres, et non rédigées ni révisées par des spécialistes du domaine. Les hallucinations et erreurs de lecture du modèle enseignant sont intégrées au corpus, et le réglage fin les propage.
• Le modèle ne cite pas ses sources et n'exprime pas d'incertitude calibrée. Pour tout contenu sur lequel un utilisateur pourrait agir, associez le modèle à un mécanisme de récupération et affichez la référence.

• Les capacités générales ont régressé de façon mesurable : environ −2 points sur MMLU, −1,3 sur ARC-Challenge et HellaSwag, et 44 des 57 matières MMLU en baisse. Si l'ancrage dans le contexte canadien ne vous est pas nécessaire, le modèle de base est le meilleur choix.
• La véracité a nettement régressé. TruthfulQA passe de 0,605 à 0,507 (−0,098), de loin le plus grand écart mesuré.
• Aucun masquage de l'invite n'a été appliqué au calcul de la perte.
• Les séquences d'entraînement ont été plafonnées à 2048 jetons; les passages plus longs ont été tronqués plutôt que découpés.

• Anglais et français seulement. Les autres langues ont été écartées lors de la curation.
• Le contenu reflète la voix publiée du gouvernement fédéral : registre institutionnel, cadrage officiel des politiques et répartition thématique de .gc.ca. Il ne constitue pas un compte rendu neutre des affaires publiques canadiennes et sous-représente les gouvernements provinciaux, territoriaux, municipaux et autochtones.
• La couverture bilingue est inégale. Le contenu anglais de .gc.ca est plus abondant et souvent plus à jour que son équivalent français.
• Les pages archivées comportent des éléments de navigation et du texte passe-partout résiduels que le filtrage n'a pas entièrement supprimés.

• La simulation d'attaque (red teaming) reste à faire. Aucun travail de sécurisation, de simulation d'attaque ou d'alignement n'a été mené au-delà de ce que portait déjà le modèle de base. Un exercice est prévu mais n'a pas encore eu lieu; la présente carte sera mise à jour à ce moment. D'ici là, toutes les limites de sécurité d'Apertus s'appliquent telles quelles, et la mise à jour LoRA peut avoir modifié le comportement de sécurité d'une manière qui n'a pas été mesurée. L'absence de constats de sécurité rapportés ne doit pas être interprétée comme une preuve d'innocuité.
• Les pages sources sont publiques, mais les pages Web gouvernementales nomment incidemment des personnes. N'utilisez pas ce modèle pour profiler, identifier ou joindre des personnes.

License and attribution / Licence et attribution

• Government of Canada web content / Contenu Web du gouvernement du Canada — Open Government Licence – Canada (EN / FR)
• allenai/tulu-3-sft-mixture — ODC-BY
• CohereForAI/aya_dataset — Apache 2.0
• AI-MO/NuminaMath-TIR — Apache 2.0
• theblackcat102/evol-codealpaca-v1 — Apache 2.0

Citation / Référence bibliographique

Contact / Personne-ressource