株式会社TIMEWELLの濱本です。
米OpenAIは12月12日（現地時間）、「ChatGPT」の「高度な音声」モードにビジュアル機能（ビデオ通話/スクリーンシェア機能）とサンタモードを追加することを発表しました。この新機能により、AIがカメラ経由で映像情報をリアルタイムに分析し、音声だけでは得られない文脈や詳細を理解して応答できるようになったのです。この記事では、ChatGPTの新機能について詳しく解説していきます。
ビデオ通話機能で、より自然なコミュニケーションを スクリーンシェア機能で、よりわかりやすい説明が可能に 期間限定で「サンタクロース」とのチャットが可能に まとめ ビデオ通話機能で、より自然なコミュニケーションを
OpenAIは、ChatGPTにビデオ通話機能を追加しました。この機能により、ユーザーはChatGPTとリアルタイムで顔を合わせながら会話することができます。デモンストレーションでは、ChatGPTが映像を通じてコーヒメーカーやユーザーの動作を認識し、ハンドドリップコーヒーの淹れ方をフィルターの準備からブルーミング、お湯の注ぎ方に至るまで、詳細な指導を行い、ユーザーの質問にも的確に応答する様子が紹介されました。またビデオ通話をしながら一人ずつ個人の自己紹介を行い、「サンタの帽子をかぶっていた同僚の名前は？」という問いにも瞬時に回答をしました。
この新機能は、従来のテキストベースのコミュニケーションを超え、より直感的で実践的な学習体験を提供することでしょう。音声だけでなく表情や身振り手振りも伝えられることができるため、より自然で深みのあるコミュニケーションが可能になります。
ビデオ通話機能を利用するには、以下の手順を踏みます。
ChatGPTのチャット画面右下にある「Advanced Voice Mode」ボタンをクリック
「Video」ボタンをクリックして、ビデオ通話を開始
ChatGPTとリアルタイムで会話を楽しむ
この機能は、私たちのネイティブなマルチモーダルFORDモデルを使用しており、音声を直接取り込んで理解し、音声を直接出力します。その結果、会話は50以上の言語で感情やトーンの深さを持った、より自然な会話のペースで対応することが可能になるため、言語の壁を越えたグローバルなコミュニケーションが促進されることが期待されます。
スクリーンシェア機能で、よりわかりやすい説明が可能に
ChatGPTに追加されたもう一つの新機能が、スクリーンシェア機能です。携帯電話のカメラを共有するだけでなく、画面に表示されているものを共有することもできるようになったのです。ユーザーは自分のスクリーンをChatGPTと共有することで、より具体的で分かりやすい説明を受けることができます。デモンストレーションでは、ユーザーがメッセージアプリを共有すると、ChatGPTが画面上のアプリとメッセージを認識して適切な返信案を提案する様子が紹介されました。
スクリーンシェア機能は、ビデオ通話と同様の手順で利用できます。「Advanced Voice Mode」ボタンをクリックし、「Share Screen」ボタンを選択するだけです。スクリーンシェアを活用することで、ChatGPTとのコミュニケーションがより円滑になり、問題解決の効率が上がることが見込まれます。
ビデオと画面共有は、13日から最新のモバイルアプリで提供開始されています。また1週間かけて、すべてのTeamプランとほとんどのPlus、Proプランのユーザーに提供されます。Enterpriseプランをご利用の方は、来年初めにアクセスできるようになる予定です。
期間限定で「サンタクロース」とのチャットが可能に
OpenAIは、2024年12月の期間限定で、ChatGPTで「サンタクロース」とチャットできる機能を提供しています。ユーザーは、ChatGPTのホーム画面に表示される雪の結晶アイコンをクリックすることで、サンタクロースとの会話を楽しむことができます。
例えば以下のようなことをサンタクロースと会話することができます。
北極での生活について質問する
エルフ（サンタクロースと一緒に住んでいるとされる妖精）たちの活動について尋ねる
クリスマスにまつわる楽しい話を聞く
サンタクロースは、ユーザーの質問にリアルタイムかつ、サンタクロース特有の陽気な口調で会話を盛り上げてくれます。この機能は、クリスマスシーズンを楽しく過ごすための素敵な機能となるでしょう。
この機能については、13日中に世界中のChatGPTの音声モードが使える場所で利用可能になります。また初めてサンタと話す機能を利用する際、Advanced voiceの使用制限がリセットされます。つまり、その日または月の制限を使い切っていても、すぐにAdvanced voiceでサンタと話すことができるのです。制限後も、標準の音声モードでサンタとチャットを続けることが可能です。
まとめ
OpenAIは、ChatGPTにビデオ通話とスクリーンシェア機能を追加し、ユーザーとのコミュニケーションをより豊かにしました。これらの新機能により、言語の壁を越えたグローバルな会話や、効率的な問題解決が可能になります。また、期間限定のサンタクロースとのチャット機能は、クリスマスシーズンを楽しく彩ってくれることでしょう。OpenAIは今後も、ChatGPTの機能拡充に努め、ユーザーにより良い体験を提供していくと期待されます。
参考：Open AI公式HP「Day 6 Advanced voice with video & Santa mode」