ByteDance développe un modèle IA à 10 000 milliards de paramètres pour rivaliser avec Anthropic

ByteDance entraîne en secret un modèle d'intelligence artificielle dont la taille pourrait atteindre 10 000 milliards de paramètres, un projet visant à rivaliser avec les modèles les plus avancés d'Anthropic.

Le géant chinois, propriétaire de TikTok, mène actuellement la phase de pré-entraînement d'un modèle dont la taille maximale est estimée à 10 000 milliards de paramètres. Selon trois sources proches du dossier, ce modèle dépasserait largement les 3 000 milliards de paramètres du Kimi K3 de Moonshot, jusqu'alors le plus grand modèle chinois publié. Cette phase de pré-entraînement, qui dure généralement entre trois et six mois, précède une étape d'affinage avant une éventuelle mise à disposition. La taille exacte du modèle ne sera déterminée qu'ultérieurement, une fois l'entraînement terminé.

ByteDance s'aligne ainsi sur les estimations disponibles concernant les modèles d'Anthropic : le Mythos 5 compterait environ 8 000 milliards de paramètres, tandis que le Fable 5 en compterait environ 5 000 milliards. Si le nombre de paramètres fixe une limite fondamentale en termes de capacité de stockage d'information, les performances réelles dépendent également de la qualité des données et des méthodes d'entraînement employées. Ce projet illustre l'ambition des laboratoires chinois de combler l'écart avec leurs concurrents américains, voire de les dépasser sur les modèles les plus avancés.

Ces dernières semaines, plusieurs modèles chinois, comme ceux de Moonshot et Alibaba, ont démontré des performances proches de celles du Fable 5 d'Anthropic sur certains benchmarks. Le Mythos 5, modèle le plus avancé d'Anthropic, reste cependant réservé à des organisations agréées après une suspension temporaire en juin pour des raisons de sécurité. Plusieurs laboratoires chinois travailleraient actuellement sur des modèles de taille comparable au Fable 5, mais ByteDance se distingue par son ambition de développer le plus grand modèle.

ByteDance maintient un profil bas dans le développement de ses modèles d'IA, qui restent majoritairement fermés, contrairement à de nombreux concurrents chinois. Son modèle SeeDance figure parmi les plus avancés au monde pour la génération vidéo, tandis que son modèle grand public Doubao compte 324 millions d'utilisateurs mensuels en Chine. Depuis trois ans, ByteDance a intensifié ses investissements dans l'IA, en développant son réseau de centres de données et en recrutant des chercheurs. L'entreprise a également renforcé sa branche cloud, Volcano Engine, qui commercialise des solutions d'IA auprès des entreprises.