Les chinois copieraient les modèles d’intelligences artificielles américaines ? Dans une note de la Maison Blanche publiée il y a 3 jours, un conseiller du président américain alerte sur le vol de propriété intellectuelle. Afin d’améliorer les modèles, les chinois se baseraient sur les intelligences artificielles (IA) des grands compagnies américaines.
Passons sur le cliché éculé du chinois qui copient à moindre coût son concurrent afin de produire une copie pour moins cher pour comprendre de quoi cela relève. On parle ici de distillation de modèles. Il s’agit en réalité d’entraîner une IA (élève) par une autre IA (maître).
Le maître a été entraîné par des milliards de ressources. Cela a permis de créer un modèle performant mais qui prend beaucoup de place. Dans l’article précédent, je parlais de modèles de 400B (400 milliards de paramètres). Ce modèle est puissant mais coûteux. Afin de le rendre accessible, il va servir à créer une version plus légère.
Pour cela, il va servir de référent. Une IA élève va l’interroger afin d’acquérir son savoir sans nécessairement connaître l’ensemble des détails. L’IA maître va renvoyer des schémas à l’élève. Le maître a lu 10 000 livres et transmis la connaissance sur une dizaine de pages.
Le modèle élève produit nécessite 100 fois moins de paramètres tout en étant capable d’apporter des réponses dignes du maître. Ce modèle de 4B peut tourner sur un téléphone sans Internet. Il lui manque les détails que connaît le maître mais gageons qu’il sache bientôt retrouver l’information dans des bases de connaissances communes.
Il faut des puissances de calcul énormes pour créer un maître. La société qui crée une IA maître engage des sommes qui peuvent la mettre en péril si son modèle ne fonctionne pas. Alors si c’est pour ce faire copier à la sortie … autant prévoir quelques pièges pour empêcher cela.
C’est ainsi que différentes stratégies apparaissent. La clause contractuelle, qui la lit avant d’accéder à un service. Et une fois la frontière franchie, le droit est difficile à faire appliquer. Le filigrane (ou watermark), cela acte le vol, c’est tout. Le coût d’accès au service est la meilleure défense.
D’ailleurs, est-il plus rentable de distiller un modèle concurrent que de créer le sien ? Vu les conditions tarifaires, je n’en suis pas sûr. Et je doute que les développeurs américains laissent des pirates récupérer aussi facilement leurs trésors modèles.
Ce communiqué sonne comme une tentative de détourner l’attention d’une situation géopolitique devenue compliquée ces derniers mois.
De nos jours, lorsqu’on cherche des IA, on a le choix entre 2 camps. Les américains avec Google, Meta, Anthropic, OpenAI … Ou les chinois avec Tencent, Alibaba, Qwen, Moonshot AI, … Un passage dans la bibliothèque de Ollama permet de s’en convaincre.
Nous les européens, nous décidons encore de la couleur du papier peint de la cage des futures IA. On appelle cela l’IA Act. Et lorsqu’une entreprise réussit à sortir une évolution majeure, au lieu de faire rayonner ses créations, nos chers députés vérifient qu’il n’a pas débordé du cadre voulu.
Si on voulait rester dans le cliché, les États-Unis innovent, les chinois distillent … et ce sont les européens qui ont la gueule de bois. Cependant, nous arrivons à nous distinguer malgré tout. Nous n’avons ni les moyens financiers américains, ni les moyens humains chinois. Mais nous sommes mû par notre ingéniosité.
Face aux contraintes, nous trouvons les idées originales. Si Mistral en son temps a remis en cause les paradigmes des championnats, il a été depuis copié aussi bien par les chinois que les américains. Et déjà d’autres acteurs européens émergent en basant leurs modèles sur la spécialisation plutôt que la puissance brute.
DeepL, PhotoRoom, Aleph Alpha, Kyutai. Si ces noms ne vous disent rien, elles sont en train de se faire une place importante dans l’économie européenne en dépit des contraintes administratives.