熱門資訊> 正文
2025-10-21 10:38
(來源:CITIC Think Tank)
文|於芳博 辛俠平
UniPixel 是香港理工大學與騰訊 PCG ARC 實驗室聯合研發的多模態 AI 模型,該模型首次實現視頻理解、像素級分割與區域推理的統一,支持點、框、掩碼三類視覺提示交互,核心創新在於 「對象記憶銀行」 機制,可動態存儲目標時空特徵,實現多輪對話的上下文感知。基於 Qwen2.5-VL 構建,通過多模態提示編碼器、SAM 2.1 掩碼解碼器及三階段漸進訓練,3B 參數版本在 ReVOS、MeViS 等 10 個基準測試中刷新 SOTA,性能超越 72B 傳統模型。該模型已開源,在醫療影像分析、教育可視化、內容創作等領域具實用價值,推動多模態 AI 從 「全局通感」 邁向 「細粒度精準交互」 的新範式。
來自香港理工大學和騰訊ARC Lab的研究團隊提出了首個統一的像素級多模態大模型——UniPixel。只需UniPixel一個模型,就能完成目標指代(Referring)、像素級分割(Segmentation)與區域推理(Reasoning)三大任務,兼具靈活性、精確性與可擴展性。該模型首次實現了視頻理解與精確物體標註的統一,通過創新的對象記憶機制和多模態提示編碼,支持用户通過點擊、框選等自然交互方式獲取細粒度視覺信息,並生成時空對齊的分割掩碼與語言回答。
UniPixel 基於 Qwen2.5-VL 模型構建,支持圖像與視頻輸入,並整合三大核心模塊實現端到端多任務處理:
多模態提示編碼器支持點、框、掩碼三種視覺提示的統一編碼,將空間座標、時間位置及提示類型融合爲高維向量,並與視覺 Token 對齊。例如,用户在視頻第 5 秒點擊某物體,系統可自動解析該點的時空信息並生成特徵向量。對象記憶機制(Object Memory Bank)動態存儲用户指定的目標區域,通過 「記憶預填充」 和 「記憶注入」 機制實現多輪交互中的上下文感知。當用户首次框選目標時,系統生成唯一標識符並記錄其時空特徵;后續對話中只需引用該標識符,即可快速激活對應區域的特徵進行推理。SAM 2.1 掩碼解碼器採用 Segment Anything Model 2.1 作為底層分割工具,結合時空信息生成高精度掩碼。在視頻場景中,該模塊可自動處理物體運動與變形,確保多幀標註的一致性。
為實現最大程度的自由交互,UniPixel設計了Prompt Encoder模塊對三類視覺提示進行統一編碼。無論是點、框,還是掩碼,均可被統一編碼為同一空間中的高維向量。這一編碼方式融合了空間座標、時間位置、提示類型等信息,並藉助編碼投影層與視覺Token進行對齊。
在訓練流程上,UniPixel採用了模塊化、分階段的訓練策略。基礎階段:通過 85 萬區域描述數據學習視覺提示理解,如點擊與物體的對應關係;協同階段:利用 8.7 萬指代表達分割數據訓練語言與分割的對齊;綜合階段:在多任務數據上聯合優化,涵蓋物體指代、視頻問答等複雜場景。這些數據為模型提供了統一、多樣的訓練環境,提升了其在不同任務設置下的適應能力。
僅 3B 參數的 UniPixel-3B 在多項任務中超越 72B 傳統模型,基準測試全面領先。分割任務:在 ReVOS(62.1 J&F)、MeViS(68.3 J&F)等數據集上超越現有模型,尤其在視頻動態物體分割中優勢顯著。指代理解:在 Ref-YouTube-VOS(73.5 J&F)、RefCOCOg(85.2% 準確率)等任務中表現最優。綜合推理:在新提出的 PixelQA 任務中,UniPixel-3B 以 58.7% 的準確率超越 72B 模型(41.2%),展現出跨模態推理的深度整合能力。
北美經濟衰退預期逐步增強,宏觀環境存在較大的不確定性,國際環境變化影響供應鏈及海外拓展;芯片緊缺可能影響相關公司的正常生產和交付,公司出貨不及預期;公司生產和交付延期,導致收入及增速不及預期;信息化和數字化方面的需求和資本開支不及預期;市場競爭加劇,導致毛利率快速下滑;主要原材料價格上漲,導致毛利率不及預期;匯率波動影響外向型企業的匯兌收益與毛利率;人工智能技術進步不及預期;汽車與工業智能化進展不及預期。
證券研究報告名稱:《多模態大模型首次實現像素級推理,UniPixel發佈》
對外發布時間:2025年10月20日
報告發布機構:中信建投證券股份有限公司
本報告分析師:
於芳博 SAC 編號:S1440522030001
辛俠平 SAC 編號:S1440524070006