Développement de grands modèles linguistiques

La technologie de développement et d'hébergement de grands modèles linguistiques (LLM) s'est développée et diffusée, ce qui la rend désormais largement accessible.

Notre enquête et nos expériences montrent qu'il est désormais possible pour pratiquement n'importe quelle entreprise d'héberger et de personnaliser des modèles proches de l'état de l'art. Cependant, les coûts sont tels qu'il n'est pas réaliste d'offrir des modèles open-source à grande échelle à des prix compétitifs par rapport aux fournisseurs à grande échelle.

Le présent document démontre ce qu'il est possible de faire avec du matériel de base et examine les implications de l'évolution de la technologie de l'IA qui a permis cette démonstration.

Trois avenirs pour la technologie de l'IA sont décrits :

• un avenir où l'échelle domine,
• un avenir où l'échelle est importante,
• et un avenir où l'échelle n'est pas pertinente.

Les données actuelles indiquent un avenir où l'échelle est importante et non un avenir où l'échelle domine, mais il y a également des indications selon lesquelles l'échelle pourrait être encore moins importante. Téléchargez notre livre blanc pour découvrir comment il est possible pour pratiquement n'importe quelle entreprise d'héberger et de personnaliser des modèles de pointe.