熱門資訊> 正文
2025-10-20 09:16
美團LongCat團隊投稿 發自 凹非寺
量子位 | 公眾號 QbitAI
美團LongCat團隊發佈了當前高度貼近真實生活場景、面向複雜問題的大模型智能體評測基準——VitaBench(Versatile Interactive Tasks Benchmark)。
VitaBench以外賣點餐、餐廳就餐、旅遊出行三大高頻生活場景為典型載體,構建了一個包含66個工具的交互式評測環境,並設計了跨場景綜合任務。
例如,在旅行規劃任務中,要求智能體通過推理、調用工具與用户交互,完整完成從購票到預訂餐廳的全流程。
團隊首次從深度推理、工具使用與用户交互三大維度對智能體任務進行量化拆解,從而實現對複雜問題的可控構建。
評測結果顯示,即便是當前先進的推理模型,在主榜(複雜跨場景任務)上的成功率也僅約30%,揭示了現有智能體與真實生活應用需求之間的顯著差距。
目前,VitaBench已全面開源,旨在為推動智能體在真實生活場景中的研發與落地提供重要基礎設施。
研究背景:智能體評測與現實應用間存在巨大鴻溝
隨着大語言模型在複雜推理與工具調用能力上的快速進步,基於LLM的智能體在真實生活場景中的應用日益廣泛。然而,現有的智能體評測基準與現真實生活場景的應用需求之間依然存在顯著差距,主要體現在以下幾個方面:
工具生態簡單化:早期的工具調用基準主要評估單次API調用的準確率(如:函數選擇、參數填充),忽視了真實工具間的複雜依賴關係與組合調用需求;
信息密度不足:大多數相關基準僅關注單一類型信息,未能反映真實應用場景中多源信息(時空信息、常識信息、多場景服務數據、用户畫像、用户歷史交易數據等)的綜合處理需求;
模型探索性受限:現有基準爲了模擬真實生活場景,通常會將領域知識組裝成宂長的Policy文檔要求模型遵循,但是這種做法會限制模型在複雜環境中探索解空間的自主性。
同時,這種模式下,除了進行深度思考、有效環境交互的能力外,模型的長文本指令遵循能力也對執行結果有很大影響;
交互動態性缺失:用户作為環境的重要組成部分,大多數交互式Agent基準當前沒有充分考慮到用户交互行為的多樣性、用户需求的模糊性、多輪對話中的意圖轉移等真實複雜度;
通過對美團生活服務場景的深入分析,LongCat團隊指出:真實世界的任務複雜性,源於三大維度的交織——
為系統衡量這三重挑戰下的模型表現,團隊構建了VitaBench,一個依託「生活服務」場景、高度仿真的綜合性Agent評測基準。
三維複雜度框架
通過將Agent在環境中與User、Tool交互建模為部分可觀測馬爾可夫決策過程(POMDP),VitaBench進一步將智能體任務複雜度拆解到各個方面進行量化並提升:
推理複雜度
量化智能體需要在部分可觀測環境中整合信息量,具體通過以下指標衡量:
觀測空間大小:環境整體信息量,信息越多,任務越難;
部分可觀測度:智能體需要通過交互才能觀測到的信息佔整體信息的比例,比例越大,任務越難;
推理點數量:任務中需要處理的顯性與隱性推理點數量,推理點越多,任務越難。
基於此,VitaBench構建了大規模真實環境數據庫,其中單個任務可涉及5-20個服務提供商、最多超過100個候選產品,每個任務聚合多個真實用户需求,形成複雜的搜索與推理空間。
工具複雜度
如果將現實中的工具集建模為圖,圖中頂點代表工具,邊代表工具間的依賴關係,那麼工具複雜度可以通過以下指標衡量:
圖大小與密度:反映解決領域問題需要涉及的工具數量與工具間依賴緊密程度,數值越高,模型掌握工具集的難度越大;
工具調用鏈路長度與子圖覆蓋率:解決任務需要完成的工具調用鏈路越長,所形成的子圖佔整張圖的比例越大,任務的需求覆蓋面就越廣,任務就越難。
基於此,VitaBench從三個場景中提煉出66個真實工具並構建有向圖,將領域規則編碼到圖結構中。其中工具通過Python函數實現,確保工具調用結果的穩定性和一致性。
交互複雜度
反映智能體在用户的動態多輪對話中的掌控能力,通過以下機制實現:
用户畫像系統:基於真實平臺數據脱敏構建的多樣化用户畫像,包含人口屬性、飲食偏好、消費歷史等信息;
行為屬性建模:涵蓋情緒表達(急躁、焦慮、冷漠等)、交互模式(細節導向、依賴型、邏輯型等)維度;
動態狀態演化:用户狀態、意圖可能在交互過程中持續變化,要求智能體實時調整對話策略。
基於此,VitaBench為每個任務都配備了一個獨特的用户角色,並通過UserSimulator扮演,逐步向Agent提出需求。
VitaBench基準構建
VitaBench通過兩階段流程構建:
階段一:框架設計
工具定義:從三個領域中抽象核心功能,定義66個簡化但功能完整的API工具;
依賴構建:基於工具間的依賴關係構建有向圖,將領域規則編碼到圖結構中;
用户模擬:實現基於語言模型的用户模擬器,支持模糊化需求生成與個性化響應。
階段二:任務創建
用户畫像:基於真實平臺數據合成差異化用户特徵;
任務指令:融合多個真實用户請求,改寫得到複合目標任務;
環境數據:結合真實數據合成擴展,再由人工覈驗以確保任務可完成;
評估標準:為每個任務制定獨立且細粒度的評測標準。
VitaBench將各領域的規則統一編碼到工具圖結構中,避免了冗余的領域策略文檔(Domain Policy Document)。智能體無需依賴預設規則,而是通過工具描述自行推理領域邏輯。這種設計使VitaBench能夠靈活支持各種場景與工具集的自由組合。團隊基於三個領域共構建了400項評測任務,其中包括:
單場景任務(300項):聚焦於單一領域的複雜需求;
跨場景任務(100項):考察智能體在多場景間的切換執行與信息整合能力。
每個任務均由多名專業標註人員和領域專家進行多次校驗與複覈,既確保任務具備足夠的複雜度,又保證其可以順利完成。數據統計結果如下表所示:
針對長軌跡評估的複雜性,VitaBench團隊還提出了基於Rubric的滑動窗口評估器。
傳統的基於數據庫狀態比對的評估方法難以捕捉商品推薦、行程規劃等不改變最終狀態的行為,無法對Agent完成任務的過程進行有效監督。VitaBench借鑑最新研究,將任務目標拆解為一組原子化評估準則(Rubric),實現了更全面、細粒度的行為覆蓋。
評估器通過帶重疊的滑動窗口掃描完整對話軌跡,在保持上下文連貫性的同時持續跟蹤每個Rubric的狀態,確保跨窗口一致。最終以嚴格的「全有或全無」標準判斷任務完成與否。
這種細粒度的設計不僅顯著提升了評估的可解釋性,也為未來的強化學習工作提供了更密集、更可靠的反饋信號。
實驗結果與分析
團隊在VitaBench上評測了包括GPT-5、Claude-4.1-Opus、Gemini-2.5-Pro、Kimi-K2、GLM-4.5、LongCat-Flash等在內的20余款主流大模型。
實驗設置:
實現基於FunctionCall的智能體架構,所有模型使用官方工具調用格式;
用户模擬器基於GPT-4.1實現,評估器基於Claude-3.7-Sonnet實現;
每個任務運行4次,温度均設置為0.0以促進穩定輸出,計算Avg@4、Pass@4、Pass^4指標;
排行榜分為推理和非推理模型兩類,對於支持在兩種模式之間切換的混合思考模型,團隊在兩類中分別評估其開啟思考和關閉思考的配置。
實驗結果表明:
跨場景任務帶來極大挑戰:即使是測試中表現最佳的o3(high)模型,跨場景Avg@4成功率也僅為30.0%,遠低於單場景任務的48.3%,表明當前模型在跨域工具協調與意圖整合方面存在根本性短板。
多次嘗試(探索)可以提升性能,但同樣穩定性堪憂:儘管Pass@4(至少一次成功)可達60%,但Pass^4(四次全成功)接近0%,説明模型行為高度不穩定,難以滿足生產環境可靠性要求。
「思考型」模型顯著優於「非思考型」:啟用鏈式推理(thinking)的模型普遍提升5–8個百分點,且交互輪次更少,説明深度規劃對複雜任務至關重要。
複雜性消融實驗
團隊進一步通過消融實驗,驗證了VitaBench所提出的三大複雜性維度的有效性:
推理複雜性:任務所需推理點數量與成功率呈強負相關。在線旅行與跨場景任務平均包含9.7–10.3個推理點,搜索空間相比其他兩個領域高出一個量級,成功率也更低。
工具複雜性:工具圖的節點與邊數量越多,任務越難。跨場景任務涉及66個工具、512條依賴邊,是所有任務中最複雜的,成功率也最低。
交互複雜性:在「直接告訴Agent完整指令(無用户交互)」條件下,模型成功率顯著提升;而引入真實用户模擬器(包含完整人物特徵和行為屬性)后,性能下降15–25個百分點,尤其對弱模型影響更大。
用户模擬器與評估器可靠性驗證
為確保評測結果可信,團隊對兩個核心組件進行了嚴格驗證:
用户模擬器:在信息保真度(9.48/10)與人格一致性(9.34/10)兩項指標上均表現優異,能準確模擬不同用户行為和偏好,且不違背任務要求。
滑動窗口評估器:與人工標註相比,Cohen’s κ達0.828,顯著優於無Rubric或無滑動窗口的基線方法。
典型失敗案例分析
在對模型錯誤案例的系統分析中,團隊歸納出代表性三大錯誤類別:推理相關錯誤(61.8%)、工具相關錯誤(21.1%)、交互相關錯誤(7.9%)。
分析發現,當前模型普遍存在以下具有代表性的失誤模式:
模型在涉及時空推理與常識推理的任務中常常忽略細節,反映出其在多維信息整合上的侷限。
即便具備正確的工具與條件,模型仍常因對自身能力、工具能力的不確定而提前放棄任務。
當工具調用失敗或用户需求模糊時,模型往往重複無效操作,而非主動調整策略進行修復。
這些問題表明,當前通用型智能體在推理、策略調度與自我反思等方面仍存在顯著提升空間,為后續研究提供了明確方向。
總結與展望
VitaBench不僅是一個評測基準,更是一套關於「Agentic Task Complexity」的理論框架。
它首次系統量化了推理、工具與交互三大維度對智能體性能的影響,並揭示了當前模型在真實生活場景中的能力邊界。
團隊的目標不僅僅是測量現有模型的智能邊界,更是開啟「AI下半場」,是實現通往實用智能體的最后一公里。
正如其名「Vita」(拉丁語「生命,生活」)所寓意的:智能的終極考場,不在實驗室,而在生活本身。
VitaBench現已全面開源,歡迎訪問項目官網獲取最新信息。
項目主頁:https://vitabench.github.io
論文鏈接:https://arxiv.org/abs/2509.26490
代碼倉庫:https://github.com/meituan-longcat/vitabench
數據集:https://huggingface.co/datasets/meituan-longcat/VitaBench
排行榜:https://vitabench.github.io/#Leaderboard
(聲明:本文僅代表作者觀點,不代表新浪網立場。)