Extraction de clauses contractuelles : Mistral face à Qwen sur données juridiques françaises
Sur une tâche juridique mesurable, le meilleur modèle n'est pas le plus gros, mais celui qui tient dans votre budget VRAM avec une précision suffisante. Méthode, résultats indicatifs et arbitrages assumés.
L'extraction de clauses est un cas d'usage juridique concret : repérer dans un contrat les clauses de résiliation, de confidentialité, de responsabilité ou de durée, et les restituer de façon structurée. C'est une tâche mesurable, ce qui en fait un bon terrain de comparaison entre modèles open-weight déployables on-premise.
Ce benchmark compare deux familles, Mistral et Qwen, sur des contrats en français. L'objectif n'est pas de désigner un gagnant universel, mais de montrer comment arbitrer pour votre propre corpus.
La méthode avant les chiffres
Un benchmark n'a de valeur que si sa méthode est explicite.
- Corpus : un jeu de contrats français annotés manuellement, chaque clause cible étiquetée par un juriste.
- Tâche : extraire les clauses d'un type donné et renvoyer leur texte exact, sans reformulation.
- Mesure : précision (les clauses extraites sont-elles correctes) et rappel (toutes les clauses présentes sont-elles trouvées).
- Contrainte de déploiement : chaque modèle est testé dans une configuration qui tient sur un seul serveur d'inférence, VRAM mesurée.
Tout le reste découle de ces choix. Un corpus différent donnera des chiffres différents. C'est attendu.
Résultats indicatifs
Les valeurs ci-dessous sont représentatives d'un passage type sur un corpus de cette nature. Elles servent à illustrer les arbitrages, pas à être reprises comme une vérité absolue. Reproduisez la mesure sur vos documents avant toute décision.
| Modèle | Taille | VRAM | Précision | Rappel | Français |
|---|---|---|---|---|---|
| Mistral (intermédiaire) | moyen | tient sur un serveur | élevée | élevé | très bon |
| Qwen (intermédiaire) | moyen | tient sur un serveur | élevée | moyen | bon |
| Qwen (large) | grand | exige plus de matériel | très élevée | élevé | bon |
Trois enseignements ressortent.
D'abord, Mistral garde un léger avantage sur le français à taille comparable, ce qui se voit surtout sur les clauses au vocabulaire juridique dense. Ensuite, la version large de Qwen rattrape et dépasse en précision, mais au prix d'un matériel sensiblement plus lourd. Enfin, l'écart de qualité entre la version intermédiaire et la version large ne justifie pas toujours le surcoût d'inférence, en particulier si votre flux de contrats est volumineux.
L'arbitrage, pas le classement
La question utile n'est pas "quel modèle a le meilleur score", mais "quel modèle me donne une précision suffisante dans mon budget matériel".
Pour un cabinet qui traite un flux important de contrats standardisés, la version intermédiaire de Mistral offre le meilleur rapport entre qualité, coût d'inférence et tenue en français. Pour un acteur qui traite des contrats complexes en volume plus faible, la version large de Qwen peut se justifier malgré son coût.
Ce qui ne change pas : la mesure se fait sur vos documents, dans votre langue, avec votre définition de la clause cible. Un benchmark public répond à une autre question que la vôtre. Celui-ci vous donne la méthode pour répondre à la vôtre.
- benchmark
- legal
- Mistral
- Qwen

Parlez-nous de votre cas d'usage
Nous revenons avec une architecture qui répond à votre besoin. Installez-la vous-même ou confiez-la-nous.
Dans la même rubrique
How-to
RAG en entreprise : comment une IA répond-elle à partir de vos documents ?
Une IA peut répondre à partir de vos procédures et de vos contrats sans les apprendre, grâce à une recherche dans vos documents. Ce guide explique le principe, la préparation des documents, les droits d'accès, les tests et le lieu où ranger l'index.
How-to
Agent IA en entreprise : qu'est-ce que c'est, et que pouvez-vous lui confier ?
Un agent IA ne se contente pas de répondre : il agit dans vos logiciels, avec les accès que vous lui ouvrez. Ce guide compare agent et assistant, donne trois exemples de tâches et liste les garde-fous à exiger avant de lui confier vos dossiers.
Cas d'usage
IA générative en recherche pharmaceutique : quelles tâches confier à une IA installée dans votre laboratoire ?
Veille bibliographique, synthèse de rapports, premiers jets : l'IA générative peut alléger le travail d'écriture d'un laboratoire. Cet article s'appuie sur les dix principes publiés par l'EMA et la FDA en janvier 2026, avec l'exemple d'un laboratoire de quarante personnes. Il liste les tâches à confier, les décisions qui restent aux chercheurs, la licence à lire, le test à mener et le journal à tenir.