ByteDance、最大10兆パラメータのAIモデルを事前学習か　性能を左右する「実稼働規模」は未公表

ByteDanceが、最大10兆パラメータのAIモデルを事前学習していると報じられた。実現すれば中国企業として最大規模になる可能性があるが、最終的なパラメータ数や、実性能と計算量を左右するアクティブパラメータ数は公表されていない。また、同社創業者は、他社モデルの出力を利用する「蒸留」に頼らず独自に開発する方針を示したと報じられている。

■中国最大規模となる可能性、ただし最終仕様は未確定

ByteDanceが最大10兆パラメータの人工知能（AI）モデルを事前学習していると、事情に詳しい関係者の話としてFinancial Timesが7日に報じた。この規模が実現すれば、中国企業が開発したAIモデルとして過去最大となり、Anthropicの「Mythos」システムに近い規模になる可能性がある。

ただし、10兆というのは現時点で報じられている最大規模であり、完成済みモデルの確定仕様ではない。ByteDanceは、1トークンの処理時に実際に使われるアクティブパラメータ数も明らかにしていない。この違いは、モデルの計算量や運用コストを評価するうえで重要になる。

10兆パラメータという規模は、Moonshot AIが公開した「Kimi K3」の2.8兆パラメータを3.5倍以上上回る。Kimi K3の登場以前には、Meituanの「LongCat-2.0」やDeepSeekの「V4-Pro」が、総パラメータ数1.6兆のモデルとして中国のAI業界をリードしていたとReutersは伝えている。

業界推定では、Anthropicの最先端システム「Mythos 5」は約8兆パラメータ、より広く提供されている「Fable 5」は約5兆パラメータとされる。ただし、Anthropicはこれらのモデルのパラメータ数を公式には開示しておらず、OpenAIの「GPT-5.5」についても同様である。そのため、ByteDanceのモデルとの直接比較には限界がある。

ByteDanceの10兆という数字も、プロジェクトに詳しい情報筋に基づく報道であり、Reutersは独自に確認できなかったとしている。ByteDanceはReutersのコメント要請に直ちには応じず、最終的なパラメータ数やアーキテクチャも、学習の進行に伴って変わる可能性がある。

■総パラメータ数だけでは性能を判断できない

この規模のモデルでは、総パラメータ数だけで実際の性能を判断することはできない。大規模モデルで広く利用される設計の一つに「Mixture of Experts（MoE）」がある。MoEでは、入力された各トークンに応じてルーティング機構が一部の専門ネットワークを選択し、総パラメータの一部だけを使って計算する。

Kimi K3はMoEアーキテクチャを採用し、総パラメータ数2.8兆のうち、1トークンあたり1040億パラメータがアクティブになると公表されている。Googleが2021年に発表した「GLaM」もMoEモデルで、64のExpertのうち一部だけをトークンごとに選択する設計だった。

ただし、ByteDanceのモデルがMoEを採用するかどうかは現時点で公表されていない。10兆パラメータ級のモデルを現実的な計算量で運用するには、MoEなどのスパースな構成を採用する可能性が考えられるが、これはあくまで推測である。

仮に10兆パラメータのうち5%が1トークンあたりに使われる設計なら、アクティブパラメータ数は約5000億になる。10%なら約1兆となる。ただし、こうした数字だけで他のモデルと同等の性能になるとは判断できない。性能には、アーキテクチャ、学習データ、学習方法、推論方式なども影響する。

ByteDanceは、アーキテクチャの設計やアクティブパラメータの比率を公表していない。そのため、現段階の「最大10兆パラメータ」という数字が主に示しているのはモデルの総規模であり、実際の性能ではない。

■開発に必要となる膨大なリソース

事前学習は、モデルが大量のデータを処理し、言語や推論などに関する一般的な表現を獲得する工程である。Financial Timesの報道によると、ByteDanceのモデルは初期の事前学習段階にあり、この工程には通常3〜6か月かかるという。その後、追加学習や評価などが必要になるため、公開時期や提供方法は現時点では分からない。

モデルの学習に必要なデータ量を推定する目安の一つとして、Chinchillaのスケーリング則がある。パラメータあたり約20トークンという単純な目安を機械的に当てはめると、10兆パラメータでは約200兆トークンとなる。

ただし、この計算は一定の前提に基づく概算であり、MoEモデルの総パラメータ数にそのまま適用できるとは限らない。実際の必要量は、アクティブパラメータ数、アーキテクチャ、データの再利用方法、学習方式などによって変わる。ByteDanceは目標トークン数を公表していない。

ハードウェアへの投資も大規模になるとみられる。報道によると、ByteDanceは2026年のAI関連設備投資計画を、前年に検討していた1600億元から2000億元以上に引き上げ、その約半分をチップ調達に充てる計画だという。

報道上のドル換算では、1600億元は約240億ドル（約3兆7920億円）、2000億元は約300億ドル（約4兆7400億円）となる。円換算は1ドル＝158円で計算した概算であり、為替変動によって変わる。調達先にはNvidia製ハードウェアのほか、米国の輸出規制に備える目的で中国製チップも含まれると報じられている。

■Seedチームとそのリーダー

このプロジェクトは、ByteDanceのSeed部門が進めていると報じられている。Seedチームは2023年に設立され、大規模言語モデル、音声、画像、世界モデル、AIインフラなどの研究に取り組んでいる。

基盤モデル研究は、Googleに17年間勤務し、2025年2月にByteDanceへ加わった呉永輝（Wu Yonghui）氏が率いているとされる。Financial Timesの報道では、同氏はGoogle DeepMindの研究担当バイスプレジデントやGoogle Fellowを務めていた。

呉氏はCEOの梁汝波（Liang Rubo）氏に直属し、Seedチームは研究者、インフラエンジニア、データ専門家など約2000人で構成されると報じられている。ただし、この人数には研究者以外の職種も含まれるため、「約2000人の研究者」と限定するのは正確ではない。

Seedは2026年2月14日、「Seed2.0」を正式発表した。Seed2.0は、Pro、Lite、Miniの3つの汎用Agentモデルと、専用のCodeモデルで構成される。ByteDanceは、人間の選好に基づく公開ベンチマークなどで高い評価を得たとしているが、個々の評価結果は測定条件と併せて見る必要がある。

■「蒸留」に頼らない開発方針

10兆パラメータのモデルに関する報道とは別に、ByteDance創業者の張一鳴（Zhang Yiming）氏がSeedチームに対し、短期的に中国国内の競合他社に後れを取ることになっても、蒸留を近道として利用しないよう求めたと報じられている。

蒸留とは一般に、大規模な「教師」モデルの出力や振る舞いを利用し、より小規模な「生徒」モデルなどを学習させる手法である。適切に実施されれば、低い計算コストで教師モデルの能力の一部を再現できる。

一方、他社が提供するモデルの出力を大量に取得し、利用規約やアクセス制限を回避して競合モデルを学習させたのではないかという疑惑は、米中間のAI競争における争点になっている。

原文では、米ホワイトハウス科学技術政策局が、Moonshot AIによるAnthropicのFableモデルの大規模な蒸留や、タイへ輸出されたNvidia GB300チップの利用を公に非難したとしている。しかし、この一連の具体的な主張については、原文で示された範囲を超えて信頼できる一次資料を確認できなかった。

Moonshot AIは蒸留に関する疑惑を否定し、Kimi K3の成果は独自のアーキテクチャ開発によるものだと説明しているとされる。また、原文は7月時点で正式な執行措置は発表されていないとしている。

ByteDanceの方針は、大規模な独自事前学習を重視する技術戦略を示すと同時に、他社モデルの不正利用を疑われる法的・評判上のリスクを避ける狙いがあると考えられる。ただし、この方針がByteDance自身のモデルで生成した合成データにも適用されるかどうかは明らかにされていない。

■Doubaoの利用基盤とデータ取り扱い上の注意

ByteDanceは、消費者向けAIアシスタント「豆包（Doubao）」を運営している。原文では、Doubaoの月間アクティブユーザー数が2026年4月までに3億3600万人へ達し、中国で最も利用者の多いAIチャットボットになったとしている。

ただし、別の2026年8月7日付報道では月間アクティブユーザー数を3億2400万人としており、集計時点や測定方法によって数字が異なる可能性がある。そのため、Doubaoが大規模な利用基盤を持つことは示されているものの、特定の時点における厳密な利用者数や世界順位には留保が必要である。

原文では、Doubaoが2025年末時点で1日あたり120兆トークン以上を処理していたともしているが、この数字についてもByteDanceによる公式な公開資料は確認できなかった。

大規模な利用基盤を持つことは、新しいモデルを多数の利用者へ展開できる強みになる。一方で、研究段階のモデルがDoubaoへ搭載されるかどうか、いつ搭載されるか、どの地域で提供されるかは公表されていない。

ByteDanceは北京に本社を置く中国企業であり、中国の国家情報法を含む現地法令の適用を受ける。国家情報法第7条は、組織と公民に対し、法律に基づいて国家情報活動を支持、援助、協力することを求めている。第14条は、国家情報工作機関が関係機関、組織、公民に必要な支持、援助、協力を求められると定めている。

ただし、これらの条文だけから、あらゆる企業データや海外利用者のデータが政府へ常時提供されると結論づけることはできない。具体的な法的義務やデータへのアクセス可能性は、データの種類、保存場所、適用される法令、サービスの運営主体などによって異なり得る。

また、中国のサイバーセキュリティ法やデータセキュリティ法には、一定の事業者や重要データなどを対象とする安全管理、国内保存、越境移転に関する規定があるが、すべてのデータを一律に中国国内へ保存するよう求めるものと単純化するのは適切ではない。

原文は、DoubaoのモデルインフラやSeedの事前学習環境について、独立した欧米のセキュリティ監査が公に確認されていないとしている。一方で、監査が公表されていないことは、監査が実施されていないことを直接意味するものではない。

企業や規制対象業界の利用者は、ByteDanceのAI製品を導入する場合、利用規約、プライバシーポリシー、データの保存場所、越境移転、ログの保持、学習への利用条件などを確認し、自組織のセキュリティおよびコンプライアンス要件と照合する必要がある。

■開発競争の現状と今後の展望

ByteDanceのプロジェクトは、中国の大手テクノロジー企業が、米国企業の基盤モデルを利用するだけでなく、自社で大規模モデルを学習しようとしている動きの一例である。

ただし、「米中間の競争上の遅れが数年から数か月以下へ縮まった」という評価は、比較するモデルやベンチマークによって異なる。パラメータ数だけで技術的な差を測ることはできず、推論性能、コーディング、マルチモーダル処理、Agent機能、学習コスト、推論コストなどを個別に評価する必要がある。

ByteDanceのモデルが完成時にMythosと競争できるかどうかは、パラメータ数だけでは分からない。学習データは量だけでなく質が重要であり、データの構成や重複除去、学習方法も性能に影響する。

さらに、事前学習後には、インストラクションチューニング、強化学習、安全性評価などのポストトレーニング工程がある。原文では、この工程に事前学習と同程度の期間がかかる場合があるとしているが、実際の期間はモデルや開発体制によって異なる。

約2000人規模と報じられるチームで、複雑なプロジェクトの一貫性を維持することも課題になる。原文は、Seedが人材流出に直面し、推論やAgent機能で米国の主要システムに後れを取っているとの内部評価があるとしている。ただし、その評価の出所や具体的な比較方法は示されていないため、未確認情報として扱う必要がある。

現時点で分かっているのは、ByteDanceが最大10兆パラメータを候補とする大規模モデルの事前学習に取り組んでいると報じられたことだ。最終的な規模、アーキテクチャ、性能、公開時期、Doubaoへの搭載計画はいずれも確定していない。

■注目ポイントQ&A

●AIの性能において「10兆パラメータ」は実質的に何を意味しますか？

パラメータとは、モデルが学習を通じて獲得する数値的な設定です。総パラメータ数はモデルの規模を示す一つの指標ですが、それだけで性能を判断することはできません。

大規模なMoEモデルでは、入力された各トークンに対して総パラメータの一部だけを使うことがあります。例えば、Kimi K3は総パラメータ数2.8兆のうち、1トークンあたり1040億パラメータがアクティブになると公表されています。

ByteDanceはモデルのアーキテクチャやアクティブパラメータ数を公表していません。このため、最大10兆という数字だけでは、実際の計算量やAnthropicのMythosなどと比較した性能は分かりません。

●なぜByteDanceはAIの「蒸留」を使わない方針なのですか？

蒸留は、大規模な教師モデルの出力を利用して、別のモデルを効率よく学習させる一般的な手法です。ByteDance創業者の張一鳴氏は、短期的に進歩が遅れることになっても、蒸留を近道として利用しないようSeedチームに求めたと報じられています。

この方針は、独自の大規模事前学習によって基礎的な能力を構築する技術戦略とみられます。また、他社モデルの出力を規約に反して取得したのではないかと疑われる法的・評判上のリスクを避ける意味も考えられます。

ただし、どのようなデータ利用を「蒸留」に含めるのかや、ByteDance自身のモデルが生成した合成データも対象となるのかは明らかにされていません。

●Doubaoを搭載した製品を使う場合、データプライバシーへの影響はどうなりますか？

ByteDanceは中国に本社を置くため、中国の国家情報法、サイバーセキュリティ法、データセキュリティ法などの適用を受けます。

国家情報法第7条は、組織と公民に法律に基づく国家情報活動への支持、援助、協力を求めています。ただし、この規定だけから、Doubaoの全利用者データが政府へ提供されると断定することはできません。具体的な取り扱いは、サービスの運営主体、保存場所、データの種類、適用法令などによって異なります。

企業や規制対象業界の利用者は、導入前に利用規約やプライバシーポリシー、データの保存・越境移転・保持・学習利用に関する条件を確認し、自組織のセキュリティおよびコンプライアンス担当者へ相談してください。

●ByteDanceのモデルは、現在開発されている他の中国のAIモデルと比べてどうですか？

Moonshot AIのKimi K3は、総パラメータ数2.8兆のMoEモデルとして公開されています。報道どおりByteDanceのモデルが最大10兆パラメータで完成すれば、総パラメータ数ではKimi K3の3倍を超える規模になります。

ただし、ByteDanceのモデルは事前学習段階にあり、最終的なパラメータ数、アクティブパラメータ数、ベンチマーク結果、公開時期は決まっていません。すでに公開されているモデルと、初期開発段階のモデルを総パラメータ数だけで直接比較することはできません。

元記事: ByteDance Begins Biggest AI Build in China, Rules Out Rival-Copying Shortcut