株式会社TIMEWELLの濱本です。
『巨大なAIモデルの時代は終わった』：OpenAI CEO Sam Altman
【要約】
OpenAIのCEOであるSam Altman氏は、OpenAIが開発したChatGPTの研究戦略が限界に達し、新しいアイデアが必要だと警告しました。Altman氏によると、より大きなモデルを作ることだけでは、今後の進歩が生まれないため、別の方法でより優れたものにする必要があるとのことです。
Altman氏は、ChatGPTを拡大することによって、モデルがより一貫性を持つことを発見したと述べました。それにより、OpenAIはGPT-3をさらに1750億のパラメータを備えたGPT-4に発展させました。このモデルには膨大な量のテキストと何千ものコンピュータチップが使用され、トレーニングに1億ドル以上のコストがかかりました。
しかしながら、Altman氏は、OpenAIがGPT-4のサイズや内部の仕組みを秘密にしている一方で、GPT-5の開発を現在行っていないことを明かしました。これは、新しいアルゴリズムを開発・展開するための新しいアイデアが必要だと考えているためです。
専門家たちは、GPT-4の能力に驚嘆しつつも、AIが経済を変革する可能性や、偽情報の拡散や雇用減少など、懸念を示しています。一部の科学者たちは、GPT-4よりも強力なものの開発に対する6か月間の停止を呼びかける公開書簡を発表しています。
したがって、Altman氏の発言は、人工知能技術において新たな方向性を模索する必要性を表しており、AIの進歩には限界があることを示唆しています。
【ポイント】
OpenAIのCEOであるSam Altman氏は、巨大なAIモデルの時代は終わり、ChatGPTの研究戦略が限界に達し、新しいアイデアが必要だと警告しました。
GPT-4は、数兆語のテキストと何千もの強力なコンピュータチップを使用してトレーニングされ、1億ドル以上のコストがかかりました。しかし、Altman氏は、より大きなモデルを作るだけでは、今後の進歩は生まれないと主張しています。
専門家たちは、GPT-4の能力には驚嘆しつつも、AIが経済を変革する可能性や偽情報の拡散や雇用減少などの懸念を示しています。Altman氏の発言は、人工知能技術に新たな方向性を模索する必要性を表しています。
【全文翻訳】
OpenAIのCEOは、巨大なAIモデルの時代は既に終わったと述べています。
Sam Altman氏は、ChatGPTを生み出した研究戦略は限界に達し、人工知能の将来の進歩には新しいアイデアが必要だと述べています。
スタートアップ企業OpenAIのチャットボットChatGPTの驚異的な機能が、人工知能への新たな関心と投資の急増を引き起こしました。しかし、OpenAIのCEOは先週末、ボットを生み出した研究戦略が限界に達していると警告しました。将来の進歩がどこから生まれるかは明確ではありません。
OpenAIは、近年、既存の機械学習アルゴリズムを取り上げ、以前に想像もしなかった規模に拡大させることで、言語に関するAIの印象的な進歩を連続的に実現してきました。そのプロジェクトの最新バージョンであるGPT-4は、おそらく数兆語のテキストと何千もの強力なコンピュータチップを用いてトレーニングされました。このプロセスのコストは1億ドル以上かかりました。
しかし、同社のCEOであるSam Altman氏は、モデルをより大きくすることからは、今後の進歩は生まれないと述べています。「巨大なモデルが作られる時代は、終わりに近づいていると思います」と、先週MITで開催されたイベントの聴衆に語りました。「別の方法でより優れたものにします。」
Altman氏の声明は、新しいAIアルゴリズムを開発・展開するレースに予期せぬ転機が訪れたことを示唆しています。OpenAIがChatGPTを立ち上げて以来、Microsoftはその基盤技術を使ってBing検索エンジンにチャットボットを追加し、GoogleはBardという競合するチャットボットを開発しました。多くの人々が、新しいタイプのチャットボットを仕事や個人的なタスクの手助けに使う実験に熱心に取り組んでいます。
一方、Anthropic、AI21、Cohere、Character.AIなどの多数の資金力のあるスタートアップ企業が、OpenAIの技術に追いつくために、ますます大きなアルゴリズムを構築するために莫大な資源を投入しています。ChatGPTの初期バージョンは、わずかにアップグレードされたGPT-3のバージョンをベースにしていました。
当時、それは以前のシステムに比べて非常に大きく、OpenAIの研究者たちが拡大することでモデルがより一貫性を持つことを発見したことにも一部起因していました。そして、OpenAIは2020年に発表されたGPT-2の後継機であるGPT-3を、さらに1750億のパラメータを備えたより大きなものにしました。このシステムの詩やメールなどを生成する広範な能力は、他の企業や研究機関が自社のAIモデルを同様の、そしてより大きなサイズに押し上げることを促すことにつながりました。
ChatGPTが登場した後、ミームメーカーやテック評論家たちは、その後に登場するGPT-4が、目が回るようなサイズと複雑さのモデルになるだろうと推測しました。しかし、OpenAIが新しい人工知能モデルを発表した際には、そのサイズを明かさなかったため、その推測は当たらなかった可能性があります。MITでのイベントで、Altman氏は、GPT-4のトレーニングに1億ドル以上かかったかどうかと尋ねられたところ、「それ以上です」と答えました。
OpenAIは、GPT-4のサイズや内部の仕組みを秘密にしていますが、大きさだけではなく、規模を超えた観点からインテリジェンスを獲得している可能性があります。その方法の1つは、ChatGPTを強化するために使用された、人間のフィードバックを伴う強化学習です。これは、人間がモデルの回答の品質を判断し、高品質と判断されやすい回答を提供するように誘導する方法です。
GPT-4の驚異的な能力は、一部の専門家を驚かせ、AIが経済を変革する可能性についての議論を引き起こしましたが、同時に偽情報を拡散し、雇用を減らす可能性もあります。一部のAI専門家、テック起業家、イーロン・マスク氏を含む科学者たちは、最近、GPT-4よりも強力なものの開発に6か月間の停止を呼びかける公開書簡を発表しました。
先週のMITで、Altman氏は、自社が現在GPT-5を開発していないことを確認しました。「以前のバージョンの手紙では、OpenAIが現在GPT-5をトレーニングしていると主張していました」と彼は言いました。「私たちはしておらず、しばらくの間行う予定もありません。」
このイベントレポートは、オンラインアシスタントサービス 「TIMEWELL」が制作しています。