文章が書けるAI登場　米研究機関オープンAI「GPT-3」(1)　進歩なのか? 脅威なのか?

　文章が読める・書ける・自然言語からコーディングが出来る。「AIもここまで来たか」とオープンAI・「GPT-3」に感動するのだが、一番応用してほしいのがグーグルなどの検索エンジンだ。現状では、検索エンジンが良識ある文章を見定めることが出来ないため、歪んだ基準でSEOが行われている。

【こちらも】SEOに警鐘　会話解析できるのに、文章を検索エンジンは判別できないのか?

　これを「社会正義に準じた内容」を検索上位に持ってこられる検索エンジンを作れるチャンスがやってきた。しかし現実には、グーグルがオープンAIとライバル関係であるので遅れることが懸念される。

　2018年に米グーグルが「BERT（バート）」を発表して以降、言語モデルは急速に発展している。「言語モデル」とは、文章の「言語らしさ」を予測する技術だ。AIが「単語や文章を理解」したり、「自然な文章を生成」したりするには言語モデルが必要だ。

　AIが、単語と単語・文章と文章の関係をベクトルに置き換えていくには、「言語らしさを基準」にしなければならない。単語に続くべき単語を予測したりするにも「言語らしさを基準」にしなければ出来ない。この夏、米研究機関のオープンAIが発表した「GPT-3」は、「BERT」よりも数段優れた、「言語らしさ」を予測する「言語モデル」だ。

　しかし、日経XTECHによると、問題は、「GPT-3」が巨大なメモリを必要とすることだ。「Transformer（トランスフォーマー）」というニューラルネットワークを多段に重ねて作られるのが言語モデルである。「GPT-3」は、そのニューラルネットワークを「BERT」よりも超巨大に積み重ねているため、高機能でありメモリを巨大に必要とするのだ。一般に伝えられているように、前モデルであるGPT-2のパラメーター数は15億個。一方、現モデルのGPT-3は、パラメーター数1750億個で100倍を超えている。

　そのため文章読解において人間を上回るようになり、AIが人間の能力を超える場合もあるのだ。これを進歩と捉えるか？脅威と捉えるか？だ。（記事：kenzoogata・記事一覧を見る）

続きは: 文章が書けるAI登場　米研究機関オープンAI「GPT-3」(2)　SEOが不要?