マルチモーダル

概要

マルチモーダル AI とは、テキスト・画像・音声・動画といった複数の「モダリティ（情報の様式）」をまたいで理解・生成できる AI のことです。スクリーンショットを貼り付けて「このエラーの原因は？」と聞く、写真から料理のレシピを推定させる、音声で話しかけて音声で返事をもらう — こうした体験はすべて、モデルが複数のモダリティを一つの頭の中で扱えるようになったことで実現しています。

かつての AI は「画像認識モデル」「音声認識モデル」「言語モデル」のように、モダリティごとに完全に別のモデルとして作られていました。マルチモーダル AI の本質は、それらを単に連結することではなく、異なるモダリティの情報を共通の表現空間に写像し、「猫の写真」と「猫という単語」を同じ意味として扱えるようにした点にあります。現在の GPT-4o や Gemini、Claude といった主要な LLM はいずれも画像入力を標準で受け付けるマルチモーダルモデルであり、「テキスト専用の言語モデル」はむしろ過去の形態になりつつあります。

なぜ生まれたか

モダリティごとに分業していた時代の最大の問題は、モダリティの境界で意味が失われることでした。画像認識モデルは「犬、95%」というラベルは出せても、「雪の中で子どもと遊ぶ柴犬」という文脈は語れません。音声をテキストに変換してから言語モデルに渡す方式では、声色や抑揚といった情報が変換の時点で捨てられます。人間は目で見たものと言葉を自然に結び付けて考えているのに、AI はモダリティの壁を越えるたびに情報を落としていたのです。

転機になったのが2021年の CLIP（OpenAI）です。ウェブ上の「画像とその説明文」4億ペアを使い、画像の埋め込みとテキストの埋め込みが同じベクトル空間で近くなるように学習することで、「画像と言葉の意味を同じ物差しで測る」ことを可能にしました。さらに Transformer が「どんな系列データでも同じ仕組みで処理できる」汎用アーキテクチャだったことが決定打となり、画像もテキストも音声も同じトークン列としてモデルに流し込む、統合的なマルチモーダルモデルへの道が開けました。

詳細

共有埋め込み空間という考え方

マルチモーダルの中核にあるのは「共有埋め込み空間」という発想です。各モダリティには専用のエンコーダ（画像なら Vision Transformer など）を用意し、その出力がモダリティを問わず同じベクトル空間に並ぶように学習します。空間の中では「犬の写真」と「dog という単語」と「犬の鳴き声」が互いに近い位置に置かれ、以降の処理はモダリティを意識せずに進められます。

CLIP はこの学習を「対照学習（contrastive learning）」で行いました。バッチ内の正しい画像・テキストペアの埋め込みは近く、間違った組み合わせは遠くなるように訓練するのです。学習が終わると、任意のテキストと任意の画像の「意味的な近さ」を計算できるようになり、追加学習なしで未知のカテゴリを分類する（ゼロショット分類）といった芸当が可能になりました。この共有空間の考え方は、テキストで画像を検索する仕組みや、ベクトルDB を使ったクロスモーダル検索の基盤にもなっています。

入力の統合 — Vision-Languageモデル

「画像を理解して言葉で答える」現在の主流構成は、画像エンコーダと LLM の接合です。画像をパッチ（小さなタイル）に分割して Vision Transformer でベクトル列に変換し、それをテキストのトークン列と同じ形式に射影して LLM に流し込みます。LLM から見れば、画像は「外国語の単語列」のようなもので、コンテキストウィンドウの一部を画像由来のトークンが占める形になります。LLaVA や GPT-4V がこの系譜で、モデルは「画像の中の文字を読む」「グラフを解釈する」「UI のスクリーンショットを理解する」といった能力を獲得しました。画面を見て操作する AIエージェントは、この視覚理解能力の直接の応用です。

出力側 — 生成もマルチモーダルに

理解（入力）だけでなく生成（出力）もマルチモーダル化が進んでいます。テキストから画像を生成する Stable Diffusion や DALL-E は、CLIP 系のテキスト埋め込みを条件として拡散モデルを誘導する構成です。音声合成、動画生成（Sora など）も同じく「テキストの意味表現で他モダリティの生成を条件付ける」パターンで発展してきました。さらに GPT-4o のような「ネイティブマルチモーダル」モデルは、テキスト・画像・音声を最初から一つのモデルで入出力両方向に扱い、音声対話では声の抑揚や感情まで含めて処理します。変換を挟むパイプライン方式に比べて、モダリティの境界で情報が失われず、応答も高速になります。

実務での使いどころと注意点

実務では、帳票や領収書の読み取り、図面・グラフの解釈、動画コンテンツの要約、視覚障害者向けの画像説明（アクセシビリティ用途）など、従来 OCR や専用モデルを組み合わせていた処理を1つのモデルで置き換えられる場面が増えています。一方で注意も必要です。画像内の細かい文字や数値の読み取りは誤ることがあり、テキストと同様にハルシネーション（写っていないものを「ある」と答える）も起きます。また、画像の中に指示文を埋め込むプロンプトインジェクションという攻撃経路が新たに生まれており、外部から受け取った画像をモデルに渡すシステムでは入力の扱いに注意が必要です。