株式会社TIMEWELLの濱本です。
人工知能指数レポート（2023年版）②
CHAPTER 1: 研究開発
概要
この章では、AIの研究開発のトレンドを捉えます。ジャーナル記事、会議論文、リポジト リを含むAIの出版物を調べることから始め、次に大規模な言語モデルや多様なモーダルモ デルを含む重要な機械学習システムのデータを検討します。最後に、AIの会議参加やオー プンソースのAI研究を見て、米国と中国がAIの研究開発を支配している一方で、研究活動 は地理的により広がっていることがわかります。
ハイライト
2010年から2021年にかけてのAI出版物における国際協力数では、アメリカと中国が最も多 くの協力を行っていたが、最近は協力のペースが鈍化している。
アメリカと中国のAI研究 の協力数は2010年以来、およそ4倍に増加し、次に多い国ペアであるイギリスと中国の協力 数の2.5倍以上に達した。ただし、2020年から2021年にかけてのアメリカと中国の協力数 の総数はわずか2.1%しか増加せず、2010年以来の最も低い年間成長率となっている。
産業は学界を追い越す。
2014年までは、ほとんどの重要な機械学習モデルは学界によって 公開されていました。しかし、それ以降は産業が主導権を握っています。2022年には、学 界が生み出した3つに対して、産業が生み出した32個の重要な機械学習モデルがありまし た。最先端のAIシステムを構築するには、ますます多くのデータ、コンピューターパ ワー、および資金が必要とされるため、非営利団体や学界と比較して、産業のアクターはこ れらの資源をより多く所有しています。
AIの研究は、あらゆる分野で増加しています。AI関連の出版物の総数は2010年以来、倍以 上に増加しています。引き続き、主要なAIトピックにはパターン認識、機械学習、コン ピュータビジョンが含まれています。
中国は、AIの論文、学会論文、およびリポジトリの総出版物数で引き続きリードしていま す。米国は、AIの学会およびリポジトリの引用数ではまだ先行していますが、そのリードは徐々に縮小しています。ただし、世界の大半の大規模言語およびマルチモーダルモデル( 2022年時点で54%)は、米国の機関によって生産されています。
大型言語モデルは、ますます大きくて高価になっています。2019年にリリースされた GPT-2は、多くの人々にとって最初の大型言語モデルと考えられており、15億のパラメー タを持ち、トレーニングには約50,000米ドルかかりました。2022年にリリースされた主要 な大型言語モデルの1つであるPaLMは、5400億のパラメータを持ち、約800万米ドルのコ ストがかかりました。PaLMはGPT-2の約360倍大きく、160倍のコストがかかりました。
PaLMだけでなく、大型言語モデルやマルチモーダルモデル全体が、大きく、高価になって います。
このセクションは、ジョージタウン大学のセキュリティと新興技術センター(CSET)の データを利用しています。CSETは、Digital ScienceのDimensions、ClarivateのWeb of Science、Microsoft Academic Graph、中国国家知識基盤、arXiv、Papers With Codeを含む 学術文献のマージドコーパスを維持しています。CSETは、2010年以降のAIおよびMLの開 発または応用に関連する英語の出版物を特定するために、分類器を適用しました。今年のレ ポートでは、CSETは中国語のAIキーワードを選択して中国語のAI論文を特定するために 使用しました。ただし、前回のAI Indexレポートでは、この方法を使用していなかったた め、注意が必要です。前回のレポートでは、2021年までの出版傾向が報告されました。た だし、出版物のメタデータの収集にはかなりの遅延があるため、前年度の出版物を完全に収 集するには、その年の中頃までにかかる場合があります。そのため、今年のレポートでは、 AI Indexチームは2021年までの出版傾向のみを調査することを選択しました。CSETとAI Indexチームは、より完全に代表的なレポートが得られると確信しています。
1.1 論文
概要 以下の図は、2010年から2021年までの英語および中国語のAI関連論文の総数を、タイプ、所属、国際的な共同研究、異業種間の共同研究によって捉えたものです。本節では、AIの ジャーナル記事、会議論文、リポジトリ、特許について、地域別の出版物および引用データ を紹介します。
図1.1.1は世界のAI論文の数を示しています。2010年から2021年までの間に、AI論文の総数 は倍以上に増加し、2010年の20万件から2021年には約50万件に増えました。
出版のタイプ別 図1.1.2は、時期によってグローバルにリリースされたAIの出版物の種類を示しています。
2021年に発行されたAI文書の60%がジャーナル記事であり、17%がカンファレンス論文で あり、13%がリポジトリの提出物でした。残りの10%は、書籍、書籍の章、論文、不明な 文書タイプから構成されています。ジャーナルとリポジトリの出版物は過去12年間でそれ ぞれ3倍と26.6倍に成長しましたが、カンファレンス論文の数は2019年以降減少していま す。
学問分野別 図1.1.3は、パターン認識と機械学習の出版物が過去半年間で最も急速に成長したことを示しています。2015年以降、パターン認識論文の数はほぼ倍増し、機械学習論文の数はほぼ4倍に増加しました。これら2つのトピック領域に続いて、2021年に最も出版されたAI分野は、コンピュータビジョン（30,075）、アルゴリズム（21,527）、およびデータマイニング（19,181）でした。
このAIコラムは、オンラインアシスタントサービス 「TIMEWELL」が制作しています。