Noirci — détection de données personnelles en français
Modèle de reconnaissance d'entités entraîné pour pseudonymiser de la
correspondance professionnelle française avant de l'envoyer à un LLM.
Exporté en ONNX quantifié int8 : 186 Mo, tourne sur CPU.
Le moteur complet et le protocole de mesure sont publiés avec le benchmark :
5000dev/noirci-bench.
La métrique compte autant que le modèle
Une entité n'est protégée que si 100 % de ses caractères significatifs
sont masqués. Masquer « Jean » dans « Jean Dupont » est compté comme une
fuite, pas comme un demi-succès : le nom de famille est parti chez le
fournisseur du LLM. Les scores F1 par token, usuels dans la littérature,
récompensent ces demi-succès et surestiment fortement la protection réelle.
On mesure donc deux choses séparément : le taux de fuite (l'entité
a-t-elle été entièrement masquée) et le taux de sur-masquage (combien de
texte inutile a été masqué au passage).
Résultats
Sur de la correspondance professionnelle française authentique, annotée à la
main. Le modèle n'est qu'une couche du pipeline complet ; les chiffres
ci-dessous sont ceux du pipeline lite2.
| Jeu | Documents | Entités | Fuite | Sur-masquage |
|---|
| Validation (tenu à l'écart) | 72 | 555 | 3,96 % | 17,7 % |
| Entraînement | 407 | 3 576 | 3,30 % | 11,2 % |
| Aveugle (annoté avant exécution) | 7 | 55 | 5,45 % | 8,0 % |
Par type sur le jeu le plus large : PERSON 0,00 %, URL 0,60 %, CITY 1,47 %,
ADDRESS 1,74 %, PHONE 2,59 %, DATE 3,58 %, AMOUNT 4,58 %, COMPANY 5,70 %.
Les identifiants à somme de contrôle (SIREN, SIRET, TVA, IBAN, NIR) sont à
0,00 % : ils sont traités par la couche déterministe, pas par le modèle.
Ce que le modèle a appris, et pourquoi
Le corpus d'entraînement mélange du synthétique métier (juridique, compta,
RH, immobilier, administratif), du WikiNER français, et de la prose réelle
à valeurs substituées : de vrais documents dont chaque entité a été
remplacée par une autre valeur réelle du même type, tirée de sources
publiques (BODACC, INSEE). La structure vient du réel, aucune donnée client
ne subsiste.
Un point non évident : la forme de surface des sociétés a été réalignée
sur la distribution observée. Les pools BODACC et SIRENE stockent les
raisons sociales en capitales, ce qui donnait un corpus à 65 % de
majuscules contre 17 % dans la vraie correspondance. Le modèle apprenait
qu'« une société, c'est un mot en capitales » et ratait 40 % des marques
écrites normalement, en simple capitale initiale. Corriger cette seule
distribution a fait passer les sociétés de 9,7 % à 6,7 % de fuite.
Contenu du dépôt
| Fichier | |
|---|
model.safetensors | les poids en float32, pour réentraîner ou réexporter |
onnx/model_int8.onnx | l'export quantifié, 186 Mo, tourne sur processeur |
tokenizer.json | sans troncature. Le fichier sauvé après entraînement en embarquait une, silencieuse, à 192 tokens : la fin de tout document long n'était jamais analysée. Si vous repartez d'un autre export, vérifiez ce point. |
Utilisation
Le modèle seul n'est pas suffisant. Il est conçu comme une couche d'un
pipeline qui comprend aussi des regex à checksums, des gazetteers (communes
INSEE, dénominations SIRENE) et une passe de propagation document entier.
Voir le dépôt GitHub.
1from bench.detect.run import DETECTORS
2spans = DETECTORS["lite2"]("Bonjour, je suis Claire Baudry de la Verrerie Delaunay.")
Limites
- Français uniquement. Quelques formats anglo-saxons sont couverts parce
qu'ils apparaissent dans de la correspondance française, mais ce n'est pas
un modèle multilingue.
- Le sur-masquage est réel, entre 8 et 15 %. Environ un mot masqué sur
sept l'est inutilement.
- Les benchmarks synthétiques sont saturés (0,04 % de fuite) et ne
discriminent plus rien. Ne jugez pas ce modèle dessus.
- Le périmètre exclut les plateformes grand public (Zoom, Excel, Stripe,
Figma). Ce sont des noms de produits, pas des données personnelles, et les
masquer dégrade la réponse du LLM sans rien protéger.
Licence et attributions
MIT. Modèle de base : almanach/camembert-base (MIT). Données
d'entraînement dérivées de WikiNER (CC-BY), BODACC et INSEE SIRENE (Licence
Ouverte), Wikidata (CC0). Voir NOTICE dans le dépôt.
