Google、手話を直接テキスト化するAI「SL2T」をPixel 11に搭載

Google DeepMindは、アメリカ手話（ASL）を英語テキストに直接翻訳するAIモデル「SL2T」を発表した。2026年8月20日に発売される「Pixel 11」のGboardとLive Transcribeに搭載され、ウェブ検索やメッセージ作成など、通常は文字を入力する場面で手話を利用できるようになる。リリース時点ではASLから英語への翻訳にのみ対応し、高リスクな場面で人間の通訳者を代替するものではない。

■手話AIを一般消費者向け製品に導入

スマートフォンでは以前から、カメラで手話や特定のジェスチャーを認識し、文字に変換するアプリが提供されてきた。一方、Google DeepMindによると、手話AIが研究段階を離れ、一般消費者向け製品に導入されるのは今回が初めてだ。

Google DeepMindの新しい手話からテキストへの翻訳モデル「SL2T」は、Pixel 11のGboardとLive Transcribeに組み込まれる。特定の手話認識アプリの中だけで利用するのではなく、Gboardを通じて、ウェブ検索、文書やメッセージの作成、Geminiへの質問など、通常は文字を入力するさまざまな場面でASLから英語への手話入力を利用できる点が特徴である。

Pixel 11は2026年8月20日に出荷される予定であり、ユーザーは文字を1文字も打つことなく、ウェブ検索、Geminiへの質問、メッセージの作成など、通常は文字を入力する場面でASLを使って英語テキストを入力できるようになる。

■従来の手話AIが抱えていた課題

SL2Tの重要性を理解するには、従来のアプローチがなぜ十分に拡張できなかったのかを知る必要がある。この分野では長年、「グロス（gloss）」ベースの翻訳と呼ばれる手法が追求されてきた。グロスとは、個々の手話表現に対応させた単語単位のラベルである。例えば、「走る」という概念を表すASLには「RUN」という英語の単語がラベル付けされる。AISLACのレポートが従来手法の概要で説明しているように、システムはまず各手話表現をグロスラベルに変換し、それらを英語の文に組み立てようとしていた。

問題は、手話が独自の文法、語彙、構造を持つ独立した自然言語であり、音声言語との間に単語単位の対応関係がないことだ。その文法の一部は、眉の位置、頭の傾き、口の形といった非手指標識（non-manual markers）を通じて伝えられるが、グロスではこうした情報を十分に捉えられない。

また、3次元空間における手話表現の位置関係が意味を持つ空間文法も使用される。さらに、手の形によって対象物の種類や動き、位置関係などを表す類別詞構文もある。こうした文法的特徴は、単語ラベルを中間表現として使用するシステムでは捉えにくい。

SL2Tはこの中間段階を省いている。グロス層を生成するのではなく、モデルは手話者の身体の動きを表すランドマーク座標から、直接、自然な英語テキストを生成する。Google DeepMindによると、ランドマークから直接翻訳することで、人手で定義されたグロス語彙による制限を取り除き、データ量の拡大に応じて翻訳品質を向上させられるという。

■パイプラインアーキテクチャとプライバシー設計

SL2Tは、プライバシーを考慮した2段階のアーキテクチャで動作する。第1段階はPixel 11のデバイス上で実行される。顔、手、体の姿勢のランドマークを追跡するGoogleのフレームワーク「MediaPipe Holistic」を利用したオンデバイス処理により、カメラ映像から顔、体、手をカバーする130個のキーポイントの2次元座標シーケンスを抽出する。

生の動画はデバイス上で直ちに破棄される。翻訳のためにGoogleのサーバーへ送信されるのは、棒人間のワイヤーフレームに似た抽象的な座標シーケンスのみである。

第2段階では、Googleのサーバー上のTransformerベースのニューラルネットワークが座標シーケンスを受け取り、英語のテキスト翻訳を自己回帰的に生成する。ユーザーが手話を続けている間にも、生成されたテキストが順次デバイスへ返される。共同インパクトレポートによると、モデル評価研究にユーザーが明示的に同意した場合を除き、ユーザー入力のログはGoogle側に保持されない。

座標表現を使用することで、生の動画そのものをサーバーに送信せずに済む。ただし、顔を含む詳細なランドマーク座標の取り扱いについては、法域やデータの精度によって生体情報に関する論点が生じる可能性がある。ランドマーク表現は生の動画と比べてプライバシー上のリスクを抑える設計だが、あらゆる状況で個人を識別できないことを保証するものではない。

■50以上の手話にまたがるトレーニングコーパス

SL2Tは、50以上の手話にまたがる10万時間超のデータで訓練され、その約4分の1がASLのデータであった。Google DeepMindによると、複数の手話を横断して訓練することで、モデルが手話間で共有される構造的パターンを学び、ASLのみで訓練したモデルを上回ったという。

その結果、Google DeepMindが示したベンチマークでは、従来の公表済みシステムを上回る性能を記録した。Googleの研究者Garrett Tanzer氏が、5人の認定ろう通訳者による収録データを使って作成したASLから英語への翻訳テスト「FLEURS-ASL」では、ゼロショット評価でBLEURTスコア70を記録した。BLEURTは、生成された翻訳と参照文の意味的な近さを学習モデルで評価する指標である。

また、ろう者の手話者が固定されたタブレットに向かってAIアシスタント向けのフレーズを表現したデータセット「PRESTO-ASL」では、BLEURTスコア85を記録した。指文字認識のFSboardベンチマークでは、完全一致精度64%を達成した。

Googleが公開した翻訳例では、法的・地理的な表現、ラグビーの日程、古生物学的な説明などを含む複数節の文が示されている。一方、GoogleとAISLACが開示した失敗例には、まれな手話表現、高速な指文字、受動態の構文などがある。指文字では、個々の文字列を読み違えて「prey」を「grey」と翻訳する例も報告されている。

■ベンチマークだけでなく、実際の手話のためのエンジニアリング

学術的なベンチマーク性能と、日常的な手話での使いやすさは同じではない。GoogleはSL2Tの開発において、実際の利用環境を想定した対策も行っている。

共同インパクトレポートによると、手話者の約10%は左利きである。そこで、訓練中に映像を左右反転するデータ拡張を適用し、左利きの手話者に対する性能差を抑えた。もう一方の手でスマートフォンを持つ場合を想定した片手での手話については、非利き腕のキーポイントをマスクして訓練することで、視覚入力が減った状態での翻訳をモデルに学習させた。

ストリーミング処理は、手話表現全体の終了を待たず、ユーザーが手話を続けている間に翻訳結果が画面へ表示されるよう設計されている。また、フレーム内の偶発的な動きを手話と誤認してテキストを生成することを抑える仕組みも導入された。

AISLACのインパクトレポートは、MediaPipe Holisticが舌のランドマークを追跡しないことを制約として挙げている。舌はASLで意味を伝えるために使われる調音器官の一つである。また、ランドマーク座標には周囲の環境に関する情報が含まれないため、現実世界の物体や人物を参照する表現を捉えにくい場合がある。これらは文書化された技術的制約である。

■ろう者コミュニティ「のため」だけでなく「とともに」構築

モデルの開発体制も、その技術的アーキテクチャと同様に注目に値する。GoogleはAI手話諮問委員会（AISLAC）を設置し、全米ろう協会、世界ろう連盟、ロチェスター工科大学の国立ろう工科大学、Deaf Professional Arts Networkなどの団体と、独立した専門家を集めた。

AISLACには2026年7月、GboardとLive Transcribeのテストビルドを搭載した発売前のデバイスが提供された。委員は、日常的な自由利用に加え、個人的、事務的、専門的なワークフローを想定したタスクベースのテストを通じてモデルを評価した。そのフィードバックは、GoogleとAISLACの代表者が共同執筆したインパクトレポートにまとめられている。

委員会の全体的な評価は好意的だった。アドバイザーは、この技術を直感的で応答性が高く、日常的なデジタルアクセシビリティを大きく改善する可能性があると評価した。キーワード検索、Googleマップのナビゲーション、Geminiへの質問といった短い入力作業が、特に有用な用途として挙げられている。

Live Transcribeでは、画面上部に相手の発話の字幕を表示し、別の領域に手話から翻訳されたテキストを表示するインターフェースが用意される。これにより、聴者との対面会話をより円滑に進められる可能性がある。

このプロジェクトは、ろう者でGoogle社員のSam Sepah氏がSL2Tの構想を提案したことから始まった。ろう者の視点は、データ収集方法、ユーザー調査の設計、導入前の評価を含む開発プロセス全体に反映された。

■SL2Tが代替できないもの

GoogleとAISLACは共同インパクトレポートで、SL2T 1.0が人間の通訳者を代替するものではないと明確にしている。

SL2T 1.0は、重大な結果を伴う場面で認定された人間の通訳者を代替する目的では設計・評価されていない。対象外とされる場面には、臨床相談や救急サービスなどの医療・ヘルスケア、警察の尋問、法廷手続き、弁護士と依頼人の相談などの司法・法執行、学術評価、幼稚園から高校および高等教育における授業、就職面接や懲戒手続き、行政審理や給付決定などの政府・公共サービスが含まれる。

Google DeepMindとAISLACは、アクセシビリティ法に基づく法的義務を回避する目的で、第三者がこのモデルを利用すべきではないと明記している。共同レポートには次のように記載されている。「SL2T 1.0が、アメリカ障害者法（ADA）、リハビリテーション法第504条・第508条、または人間の通訳者によって満たされる国際的な障害者関連の枠組みに基づく合理的配慮の法的義務を満たすとは考えていない」

AISLACのメンバーは、公的機関、医療提供者、雇用主などが、費用を節約するために認定通訳者を雇わず、このツールで代替しようとするリスクを「Priority Zero（P0）」の懸念として提起した。P0は同委員会の分類における最も重大な優先度である。この懸念を踏まえ、GoogleとAISLACは利用上の境界を共同インパクトレポートに明記した。

■SL2Tが実際に構築された目的

SL2Tが想定しているのは、メッセージング、ウェブ検索、メモ取り、カフェや小売店のカウンターでのカジュアルな対面会話、Geminiへの質問といった、日常的で低リスクなタスクである。これらはAISLACレポートで、想定される利用シナリオとして説明されている。

こうしたタスクでは、手話者自身が翻訳結果を管理できる。GboardとLive Transcribeはいずれも、ユーザーが送信前に確認・編集できるテキストプレビューを表示する。Live Transcribeでは、翻訳されたテキストを会話相手に表示するタイミングも、ろう者のユーザーが制御できる。

■SL2Tのロードマップと今後の開発

ロードマップには、AISLACのレポートに記載された複数の短期的な改善項目が含まれている。

1つ目は、句読点、改行、絵文字、基本的な編集ショートカットの入力サポートである。現行バージョンでは、こうしたコマンドを手話入力から指定できない。

2つ目は、Live Transcribeにおける連続した入力クリップ間の会話コンテキストと、Gboardにおけるより長いコンテキストへの対応である。現在は各クリップが独立して処理され、同じ会話における過去のやり取りの文脈は保持されない。コンテキストを扱えるようになれば、複数ターンの会話や長文の翻訳品質が改善する可能性がある。

3つ目は、Google Cloud APIを介したプログラムによるアクセスや、オープンウェイトモデルに関する検討である。共同インパクトレポートでは、オープンモデル構想に関連して「SignGemma」という名称が記載されているが、APIやオープンウェイトの提供は確定事項ではなく、GoogleとAISLACの間で検討が続いている段階である。

これらが実現すれば、ろう者の研究者や開発者、ろう者が所有する企業などが、SL2Tの技術を基に新たなアプリケーションを開発できる可能性がある。

Google DeepMindは長期的な研究目標として、テキストへの翻訳だけでなく、手話を出力として生成するモデルの開発も挙げている。これが実現すれば、機械を介した双方向の手話コミュニケーションにつながる可能性がある。

Pixel 11は2026年8月20日に出荷され、SL2Tを利用した手話入力機能はGboardとLive Transcribeで追加料金なしで提供される。他のAndroidデバイスへの対応とASL以外の手話への展開も予定されているが、具体的な時期は示されていない。

世界に約7000万人いると推定される、手話を使用するろう者や難聴者にとって、Pixel 11へのSL2T搭載は、音声入力に相当する手話入力機能が一般消費者向け製品に導入される重要な一歩となる。

■注目ポイントQ&A

●SL2Tは動画をGoogleに送信せずにどのようにASLを翻訳するのですか？

Pixel 11上の処理が、MediaPipe Holisticを利用してカメラ映像から顔、手、体にわたる130個のキーポイントの2次元座標を抽出します。生の動画はデバイス上で直ちに破棄されます。棒人間のワイヤーフレームに似た抽象的な座標データのみがGoogleのサーバーに送信され、そこでTransformerベースのニューラルネットワークが英語テキストに翻訳します。

●グロスとは何ですか？なぜグロスベースの手話AIには限界があるのですか？

グロスとは、個々の手話表現に対応させた単語単位のラベルです。例えば、「走る」という概念を表すASLに「RUN」という英語の単語をラベル付けします。従来のシステムは各表現をグロスに変換し、そのラベルを文に組み立てようとしていました。しかし、手話は独自の文法と語彙を持つ自然言語です。表情などの非手指標識、3次元空間における配置、動きや対象物の情報を表す手の形などは、単語ラベルだけでは十分に扱えません。SL2Tはグロス層を省き、手話者の身体のランドマーク座標から直接英語テキストを生成します。

●病院、学校、企業は、認定通訳者を雇う代わりにSL2Tを使用できますか？

いいえ。SL2T 1.0は、高リスクな場面で人間の通訳者を代替する目的では設計・評価されていません。Google DeepMindとAISLACは、SL2T 1.0がADA、リハビリテーション法第504条・第508条、または同等の国際的な枠組みに基づく合理的配慮の法的義務を満たすものではないと明記しています。医療相談、法的手続き、警察とのやり取り、授業や学術評価、就職面接、行政審理などでは、認定された人間の通訳者をSL2Tで置き換えるべきではありません。

●Pixel 11のASL対応以外に、どのスマートフォンや手話をサポートする予定ですか？

リリース時点では、SL2TはASLから英語への翻訳のみをサポートし、Pixel 11で利用できます。Googleは、他のAndroidデバイスと追加の手話への対応を予定していますが、具体的な提供時期や対象言語は示していません。訓練データには50以上の手話が含まれていますが、それだけで各手話への製品対応が保証されるわけではなく、言語ごとの評価や製品化が必要となります。また、手話を出力として生成する技術も長期的な研究ロードマップに含まれています。

元記事: Sign Language Dictation Reaches Smartphones at Last, via Google’s Gloss-Free AI