On dit souvent que l’argent est le nerf de la guerre. Dans la guerre des intelligences artificielles (IA), il semble qu’une autre ressource soit au centre des enjeux. A tel point que son accaparement par les principaux acteurs est devenu problématique pour le reste du royaume informatique.
La RAM, souvent appelée “mémoire vive”, est devenue rare. Et tout ce qui est rare devient cher. Ce composant a une place toute désignée sur les cartes mères de nos ordinateurs et de nos équipements intelligents du quotidien. La pénurie provoquée par la demande de l’IA pénalise les secteurs moins rentables, dont l’électronique grand public.
Mais qu’est ce ? La RAM pour Random Access Memory, ou accès aléatoire à la mémoire, est un espace de stockage temporaire des informations avant leur traitement par le microprocesseur. Ce dernier pourrait lire les données directement sur le disque dur. Mais ce serait trop long. 0,05 ms, une éternité pour le boss.
0,05 ms, c’est trop long ? Dit comme cela, c’est surprenant. Pourtant, un processeur moderne est cadencé à 5 Ghz, soit 5 milliards d’actions par seconde. 0,2 nanoseconde par action. S’il doit dire “J’attends !” à chaque timing, avant d’avoir son information, il va répéter cela 250 000 fois avant d’avoir son information.
Et il a mieux à faire que cela. Alors pour éviter qu’il perde son temps, l’information est déplacée dans la RAM, plus rapide d’accès. Le chef n’a le temps de dire que 100 fois “J’attends !” avant de pouvoir continuer son traitement. Le temps de retrouver l’information stockée et de la transmettre.
Afin d’optimiser tout cela, des espaces de stockage encore plus proche existent : les caches de niveau 1, 2 et 3 ou L1, L2 et L3. Pour le plus proche, L1, le processeur n’attend qu’un cycle d’horloge. Pour arriver à ce résultat, ces espaces mémoires sont collés au processeur avec un schéma de fonctionnement optimisé.
Voyons le chef à sa place devant son bureau. Il tient une feuille dans sa main (L1), Quelques dossiers sont étalés sur son bureau (L2/L3). Au fond du grand bureau, une grande bibliothèque contient les sujets du jour (la RAM). Le stockage à long terme, lui, est situé dans la salle des archives, un entrepôt à l’autre bout de l’usine.
Des agents du grand chef, les micro-contrôleurs, font des allers-retours pour mettre à jour la bibliothèque du chef en fonction du programme de ce dernier. Pour vous situer un serveur sur Internet dans cette histoire. Le plus proche serait à 100 ou 200 km du bureau du chef, dans la grande ville voisine.
Alors quand le chef apprend qu’il ne pourra pas agrandir sa bibliothèque parce que le nouveau groupe à la mode a décidé de faire une razzia chez IKEA et consort, il se demande si ce monde est sérieux.
Mais il n’est pas jaloux. Sa bibliothèque a un bandeau de LEDs colorées du plus bel effet. Et elle se montre très performante. Et les modes ne sont pas faits pour durer. En 2020, c’étaient les cartes graphiques qui étaient difficiles à obtenir. Le minage de Bitcoin. Pour autant, le monde ne s’est pas arrêté de tourner.
Parfois il s’interroge de ce que peuvent bien faire ces concurrents de toute cette mémoire. Un modèle se mesure en fonction du nombre de paramètres qui le compose. Plus il y a de paramètres et plus il faut de mémoire proche du processeur pour le stocker et l’interroger. Un modèle de 7B (B pour billion ou milliard en français) a besoin de 7 Go de RAM.
Ce modèle peut tourner en local et rendre beaucoup de services. Mais les entreprises du secteur ne le voient pas ainsi. Plus un modèle contient de paramètres et plus il est performant. C’est donc la guerre à celui qui aura le meilleur modèle.
On se retrouve avec des modèles qui peuvent avoir 700B de paramètres. Pour exécuter une requête d’un utilisateur, il faut alors 700 Go de RAM, une puissance de calcul monstrueuse et une pénurie de mémoire pour les autres secteurs.
Et même si des efforts sont trouvés par les informaticiens pour réduire cette empreinte (Turboquant, …), les milliardaires de l’informatique se battent pour que leur modèle soit en tête des centaines de tests (Benchmark) qui évalue les performances des IA … Après une révolution, on repart dans le même sens.