人工知能は人間を代替しない! AI兵器への赤十字の提言　責任を負うのは誰か

　機械の操作にあたって、人工知能（AI）による制御が利用されるのは、目新しいことではなくなっている。すでに金融業では株式取引やFXにAIによる分析と売買を導入し始めているし、製造業では生産ラインの制御に現場から吸い上げたデータを使い、リアルタイムで工程をコントロールする試みが多数実施されている。医療や自動運転の分野でもAIの話題は花盛りだ。

【こちらも】AIは差別を助長する!? 人工知能に刷り込まれた認知バイアス

　こういった産業レベルでのAI制御と並行して、人工知能の導入が効果的であるとされているのが兵器の分野だ。武器の操作に関する情報の提供や、戦場の状況分析、作戦上の判断サポートなどに、AIを活用することを大国の軍隊が進めていると考えられている。

　このような状況を鑑みて、今回ICRC（International Committee of the Red Cross、赤十字国際委員会）から『武力紛争における人工知能と機械学習;人道的アプローチ』と題するレポートが提出された。その内容は戦争における無用な被害や傷病者の保護に関する取り決めについての記述が中心だが、このレポートは人間とAIの関係について重要な洞察を含んでいる。

　今回は赤十字のレポートを基にして、AIによる判断と人間の責任の関係、そしてAIの信頼性について考えてみたい。

●軍事活動へのAIの活用と制限

　人工知能を軍事用に活用することについては、世界中で厳しい討議がされている。ロボット兵器の開発や、AIを搭載した無人戦闘機による軍事作戦行動をとることについては、全面的な研究禁止を求める声が多い。一方少なくともアメリカ、中国、ロシアでは兵器のAI化が進められているといわれる。

　アメリカ陸軍習得支援センター（USAASC）は、将来のAI化された部隊による作戦行動を3つのステージに分けて構想している。現段階は全ての兵器の使用にあたって人間の承認が必要となっている。第2ステージでは、人間はいつどこで作戦を起こすかを決定し、後は兵器が自動的にターゲットを見つけて攻撃を実行する。さらに第3ステージでは、人間は作戦行動の条件値を設定するのみで、兵器システムが作戦命令を実行するという。

　このような軍事活動が将来、戦場において実現するだろうか。そうであれば、AIによる軍事的な「判断」や「行動」とはどのような意味を持つものなのだろう。AIの「判断」が誤っていたために、非戦闘員が負傷・死亡したり、無関係な社会インフラが破壊されたような時、どのような責任が生じるのだろうか。

　「国境なき医師団」などを派遣して紛争地域での医療活動を行う赤十字は、この問題について法的、倫理的な側面から検討を加え、いくつかの重要な提言をしている。

　1. AIなどの新しい技術の採用によって人間の責任が減殺されることは決してない
　2. AIの技術的な限界を理解してその運用を決定しなければならない
　3. AIの信頼性と意思決定について人間中心のアプローチをとらなければならない

●AIの原則、運用と限界、そして信頼の問題

　赤十字の報告書は、軍事紛争へのAI及び機械学習の使用に関して3つの場面を想定している。

　・武器を含む物理的なシステムがロボット化され自律性が強化される
　・サイバー兵器、情報兵器のAI化が進む
　・武力紛争における意思決定のあり方が本質的に変化する

　現在、戦争地域で人間が死傷する可能性のある状況では、国際人道法による規則が適用されている。これによって、戦争犠牲者の保護や戦闘中立者の権利などについて人道的な判断をすることが求められている。しかし戦闘の決定・行動にAIが投入された場合、「人道的な判断」が適用されることを保証することは難しい。

　これについて赤十字は、AIによるいかなる「判断」も人間の判断による追認を受けなければならない、とする。AI実装についての議論の結果として、各国政府や科学者、テクノロジー企業による一般的な「AIの原則」には、人間的な要素の重要性に関する記述が含まれている。この原則を軍事のような個別の問題にもブレイクダウンすることが必要だ。

　これに加えて、人と機械との関係について意識しておくべき重要な問題として、（1）状況の気付き（機械がどのような状況で判断を下したのかについての認識）、（2）対処時間（人間が効果的に介入できるだけの時間があること）、（3）自動化バイアス（人が機会を信頼し過ぎる危険性）、（4）モラル・バッファー（人が機械に責任を投げてしまう危険性）の4をあげている。

　AIの技術的な限界については4つの点をあげる。1つ目はAIの「判断」は与えられたデータや状況により変化するので事前に予測できないこと（予測不可能性）。2つ目は決定までの処理プロセスの内容を説明することが出来ないこと（不透明性）。3つ目は与えられたデータのばらつきによりアウトプットに偏りが生じること（認知バイアス）。この3点がAIによる「判断」への信頼性を大きく損なう。軍事上の判断のような参照できるデータが少ない状況では、特に重要な問題だ。

　そして4つ目が、機械と人間のタスク処理の方法が全く異なっていること（語義の乖離=翻訳不可能性）。AIのアルゴリズムは意味やコンセプトを理解できないため、同じ状況でAIは人間とは全く違う判断をすることがある。このためAIによるアルゴリズム処理は、敵対的な状況に対して弱いことが指摘されている。

　AIの信頼性が確保されるためには、AIは予測可能性を持ち、プロセスを説明できる透明性を持ち、データのばらつきに依拠しない公平性を持たなければならない。これはなにも戦争における作戦計画の判断や実行に関する特別な問題ではない。AIを信頼することを求められる全ての場面で、頭に置かなければならない視点だ。

　AIの技術上の限界について述べた記述の中で、赤十字はこう書いている。

　「人間が用いる命のない物や道具は『いかに上手に人間のやり方を真似ようと、機械が真に人間的なものに達することはない』ことを、明確にしておかなければならない。」

　AIの「判断」が非人道的なアウトプットを示す時であっても、それを実行する判断をしたのは人間なのである。レポートはAIの判断に人間が対処できるように、AIが人間のスピード以上で作動しないことを求めている。そしてAIはその「判断」に基づいて自動的に「行動」してはならない。AIは人間の能力を拡張するが、人間を代替することは出来ないのだ。

　人間はもう判断するのをやめて、社会の運営を人工知能に任せるべきだと考えている人々がいる。AIが企業を経営し、国家の政治経済を運営する未来が来るのだろうか。人間は自分のした判断の結果に責任を持つことを忌避し始めているのかも知れない。その時、私たちは「国境無き医師団」のようや役割を負うことが出来るだろうか。（記事：詠一郎・記事一覧を見る）