L'histoire interne de 8 employés de Google qui ont été des pionniers de l'intelligence artificielle moderne.

TL;DR : révolution de l'IA par les transformateurs de Google

- Huit employés de Google révolutionnent l'IA avec le papier "Attention Is All You Need"
- Invention des transformateurs, une architecture d'IA puissante
- Impact significatif sur les produits d'IA comme ChatGPT, Dall-E et Midjourney
- Les auteurs sont devenus des micro-célébrités dans le domaine de l'IA

Qui sont les huit employés de Google qui ont inventé l'IA moderne ?

Huit noms sont listés comme auteurs sur le papier scientifique "Attention Is All You Need", écrit au printemps 2017.
Tous étaient des chercheurs de Google, bien qu'à ce moment-là, l'un d'eux avait déjà quitté l'entreprise.
Noam Shazeer, le contributeur le plus ancien, a été surpris de voir son nom apparaître en premier, suggérant que sa contribution était primordiale.
Les chercheurs ont finalement décidé de "saboter" la convention de classement des contributeurs en ajoutant un astérisque à chaque nom et une note de bas de page indiquant "Contributeur égal. L'ordre d'énumération est aléatoire".
Les huit signataires sont maintenant des micro-célébrités.

Qu'est-ce que le papier "Attention Is All You Need" a apporté à l'IA ?

Le papier "Attention" a atteint un statut légendaire.
Les auteurs ont commencé avec une technologie en plein essor et en amélioration constante - une variété d'IA appelée réseaux neuronaux - et l'ont transformée en quelque chose d'autre : un système numérique si puissant que sa production peut ressembler à celle d'une intelligence extraterrestre.
Cette architecture, appelée "transformateurs", est le secret derrière tous ces produits d'IA à couper le souffle, y compris ChatGPT, et des générateurs graphiques tels que Dall-E et Midjourney.

Comment l'histoire des "transformateurs" a-t-elle commencé ?

L'histoire des transformateurs commence avec le quatrième des huit noms : Jakob Uszkoreit.
Uszkoreit est le fils de Hans Uszkoreit, un linguiste computationnel bien connu.
Il a abandonné ses projets de doctorat et, en 2012, a décidé de rejoindre une équipe chez Google qui travaillait sur un système capable de répondre aux questions des utilisateurs sur la page de recherche elle-même sans les rediriger vers d'autres sites web.
Uszkoreit a pensé qu'un modèle d'auto-attention pourrait potentiellement être plus rapide et plus efficace que les réseaux neuronaux récurrents.

Comment l'idée des transformateurs a-t-elle été développée ?

Uszkoreit a convaincu quelques collègues de mener des expériences sur l'auto-attention.
Leur travail a montré des promesses et en 2016, ils ont publié un article à ce sujet.
Uszkoreit a ressenti que l'auto-attention pourrait prendre en charge des tâches beaucoup plus importantes.
Ensemble, les trois chercheurs ont rédigé un document de conception intitulé "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Quels ont été les défis rencontrés lors du développement des transformateurs ?

Ils ont atteint un plateau jusqu'à ce qu'un jour en 2017, Noam Shazeer ait entendu parler de leur projet, par accident.
Shazeer a décidé d'écrire sa propre version du code de l'équipe des transformateurs.
Shazeer a commencé à travailler sa sorcellerie tout de suite.
"Cela a déclenché un sprint", dit Gomez.
Ils ont testé deux modèles de transformateurs : l'un qui a été produit avec 12 heures de formation et une version plus puissante appelée Big qui a été formée sur trois jours et demi.

Quels ont été les résultats de l'expérimentation des transformateurs ?

Le modèle de base a surpassé tous les concurrents - et Big a obtenu un score BLEU qui a définitivement battu les précédents records tout en étant plus efficace du point de vue informatique.
"Nous l'avions fait en moins de temps que quiconque là-bas", dit Parmar. "Et ce n'était que le début, car le nombre continuait à s'améliorer".

Comment les transformateurs ont-ils été reçus par la communauté scientifique ?

Lorsque l'équipe des transformateurs a reçu des commentaires des examinateurs par les pairs de la conférence, la réponse a été mitigée.
"L'un était positif, l'autre était extrêmement positif, et l'autre était, 'C'est correct'", dit Parmar.

Quel a été l'impact des transformateurs sur le monde de l'IA ?

Les transformateurs n'ont pas immédiatement conquis le monde, ni même Google.
Une startup appelée OpenAI a été beaucoup plus rapide pour sauter sur l'occasion.
À l'intérieur de Google, cependant, le travail était vu comme juste un autre projet d'IA intéressant.

Qu'est-il advenu des huit auteurs du papier "Attention Is All You Need" ?

Tous les huit auteurs du papier ont depuis quitté Google.
Toutes ces entreprises (sauf Near) sont basées sur la technologie des transformateurs.

Quel a été le rôle de Google dans l'innovation des transformateurs ?

Google peut se vanter d'avoir créé un environnement qui a soutenu la poursuite d'idées non conventionnelles.
"Dans bien des aspects, Google a été très en avance - ils ont investi dans les bonnes personnes et créé l'environnement où nous pouvions explorer et repousser les limites", dit Parmar.
Sans cet environnement : pas de transformateur. Non seulement tous les auteurs étaient des employés de Google, mais ils travaillaient également tous dans les mêmes bureaux.