多模態大模型：視覺+語言是怎麼一起工作的？

多模態大模型到底在「看」什麼？

如果你用過 GPT-4o 或者 Claude 的圖片功能，有沒有想過：這個模型是怎麼把「圖片」和「文字」關聯起來的？一張截圖裡的報錯，它是怎麼讀懂的？一張設計稿，它又是如何理解佈局關係的？

這篇文章不講論文公式，講清楚「視覺語言對齊」的核心機制——以及為什麼你的提示詞會影響它「看」得準不準。

從 CLIP 說起：跨模態對齊的本質

2021年 OpenAI 發布的 CLIP，是多模態 AI 的重要轉折點。CLIP 的核心想法很簡單：把圖片和文字都映射到同一個「語義空間」裡，讓相互匹配的圖文對在這個空間裡距離更近。

訓練資料是從網路爬取的 4 億張圖片及其對應的 alt text 或標題。訓練目標是：給定一批圖片和一批文字，讓配對的圖文在向量空間裡靠近，不配對的推遠。這就是對比學習（Contrastive Learning）。

# CLIP 的核心思路（虛擬碼）
image_embedding = image_encoder(image)     # 視覺編碼器
text_embedding  = text_encoder(text)       # 文字編碼器
similarity = cosine_similarity(image_embedding, text_embedding)
# 訓練時最大化正樣本對的 similarity，最小化負樣本對

結果是：CLIP 的圖像編碼器「學會了」用語義概念來描述圖片，而不是像素級特徵。

GPT-4o 怎麼把視覺接入語言模型

CLIP 只是視覺理解的第一步，真正讓大語言模型「能看圖說話」的，是 Visual Instruction Tuning。核心架構：

視覺編碼器（通常是 ViT 架構）：把圖片切成 patch，每個 patch 變成一個 token embedding
投影層（Projector）：把視覺 embedding 的維度對齊到語言模型的 embedding 維度
語言模型主體：接收圖片 token + 文字 token 拼接後的序列，統一生成回答

一張 1024×1024 的圖片，經過 ViT 分割後可能變成 256 個 patch token，和你問的文字 token 一起喂給語言模型。注意力機制（Attention）會自動學習文字 token 和哪些圖片 patch 相關。

為什麼有時候模型「看不清」你的圖

1. 截圖裡的小字：解析度不夠，模型會開始「猜」字母。解決：直接貼代碼文字，別用圖片。

2. 複雜表格圖片：表格結構在視覺 token 裡很難保留。改用 PDF 接口或 OCR 轉文字效果更好。

3. 提示詞沒有引導注意力：明確指定區域或問法，能顯著提升準確率。

2026年多模態的現狀

GPT-4o：視覺理解最強，支援語音+視覺即時互動
Claude 3.7/4：代碼截圖理解優秀，長上下文圖文混排處理穩定
Gemini 2.5 Pro：Google 文件生態整合好，長視訊理解是獨家優勢
Qwen-VL：中文文件和截圖理解最強，開源可本地部署

SFD編者注

我們實驗室目前在用的多模態場景：小刺猬🦔負責 QA 時截圖給 Claude 分析，小猎鹰🦅安全稽核時用截圖配合文字描述問題。最有價值的發現是：在截圖裡加上「紅框標注」之後，模型定位問題的準確率提升明顯——這和人類視覺注意力的引導機制一模一樣。