Mesdames, Messieurs, bonsoir ! Ou bonjour ! Cela dépendra de quand vous lirez cet article. Je souhaitais vous présenter un affrontement d’IA, mais le problème est de trouver le terrain pour les faire s’affronter. Car à écouter chaque fournisseur de modèles d’intelligences artificielles, ils sont imbattables.
Et pour le prouver, ils présentent une série de chiffres, soigneusement marketés, qui montre que leur modèle a de meilleures notes que les modèles concurrents. Ces chiffres sont basés sur des tests nommés ‘benchmarks’ qui évaluent leurs performances suivant des critères scientifiques.
Première épreuve, MMLU : test de connaissances générales et académiques. Le modèle peut-il obtenir le baccalauréat ? Ces tests évaluent la capacité à répondre correctement à des questions scolaires. Facile quand on a une mémoire encyclopédique. Ces tests démontrent la qualité des données d’apprentissage utilisées.
Deuxième épreuve, MATH : le raisonnement mathématique. Trouver une information dans sa mémoire est facile, construire une démonstration nécessite un peu plus de recul. Désolé Lucie mais “5x(3+2)” ne font pas ‘17’. De son aspect abstrait, l’épreuve mathématique permet de montrer cette qualité récursive pour répondre à une question.
Troisième épreuve, SWE-bench : l’épreuve de programmation. Construire une réponse juste, c’est bien. Faire en sorte qu’elle s’intègre dans un cadre plus complexe, c’est mieux. Corriger une erreur de code ou ajouter une nouvelle fonctionnalité implique la maîtrise du langage et la compréhension du code existant.
Quatrième épreuve, TAU : l’agent à la tâche. Les domaines techniques vus dans les épreuves précédentes étaient stricts. Ici, le modèle doit permettre à un agent de réaliser des tâches ‘administratives’. C’est ici une épreuve pratique où le modèle doit construire des réponses adaptées aux domaines métiers.
Cinquième épreuve, IFEval : le respect strict des contraintes. Le modèle respecte-t-il les consignes ? La longueur des réponses est-elle conforme ? Les formules de politesse sont-elles respectées ? Les données sont-elles correctement formatées dans les réponses ?
Sixième épreuve, RULER : la mémoire pleine. Les IA définissent un contexte qui permet de tenir compte des échanges précédents pour des réponses plus pertinentes. Un large contexte peut entraîner des erreurs de logique si le modèle l’exploite mal.
Il existe bien d’autres épreuves sanctionnées par des benchmarks. Les créateurs de modèles ont le choix des tests à présenter dans leurs bulletins scolaires. Si pour une même épreuve de connaissances générales, leur création réussit mieux un autre bench que les autres modèles, ils communiqueront sur ce dernier chiffre.
Imaginez des élèves qui ne conservent dans leur bulletin scolaire que la meilleure note obtenue lors de différents tests d’un même enseignement. C’est ce que font les équipes marketing des IA. Et il est difficile de s’y retrouver dans cette forêt de chiffres et de sigles.
Tous ces tests sont nécessaires. A qui sait les lire, ils permettent de trouver l’IA la plus adaptée au contexte auquel elle est destinée. Maintenant, si vous n’y comprenez rien, vous pouvez utiliser une dernière métrique, le coût à l’usage. Estimé en $ par million de jetons produits, il permet de trouver le modèle le moins cher.
Maintenant si ses réponses sont inadaptées, ne vous plaignez pas. Je reconnais moi-même que je ne tenais pas compte de ces tableaux de nombres obscurs. Mais je suis forcé de constater qu’ils permettent un choix éclairé.