繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

創智&交大發現AI能動性新規律, 78樣本勝GPT5實現軟件+科研自動化

2025-09-26 16:26

(來源:機器之心)

AI 能動性的時代要求系統不僅能思考,更要能干活:包括協同編程(人機協作開發)和自動化科學研究。LIMI 僅用 78 個樣本就超越 GPT-5 達 14.1%,並發現了能動性效率原則: AI 能動性不僅來源於數據豐富性,更來自於戰略性構建。

本文來自於上海創智學院和上海交大劉鵬飛老師團隊,團隊專注於構建最前沿 AI 系統。核心作者來自於香港理工大學,上海交通大學,以及中國科學技術大學。

從 ChatGPT 到 Claude,從 Codex 到 Claude Code,全球科技公司正在 "能動性" 領域展開激烈競爭。這一趨勢反映了產業界的關鍵認知:能動性能力正成為 AI 系統的核心競爭力,決定着 AI 能否從簡單的對話工具演進為真正的工作夥伴。具備能動性的 AI 系統將重新定義人機協作模式,成為推動各行各業智能化轉型的關鍵技術。

什麼是 "能動性"?它是 AI 系統主動發現問題、制定假設,並通過與環境和工具的自主交互執行解決方案的能力。這種能力的重要性在於,它使 AI 從被動響應工具轉變為主動執行的智能助手,能夠獨立完成複雜的知識工作任務。例如,讓模型從零開始開發一個完整的五子棋遊戲需要模型具備需求理解、架構設計、代碼實現、調試優化等完整的自主執行能力。這種協作編程場景代表了現代知識工作的典型需求,而具備這種能力的 AI 系統將能夠承擔大量現實世界的複雜任務。

同樣,在科研工作流程中,模型需要完成從文獻調研到實驗設計,從數據分析到洞察生成的完整鏈路。能動性使 AI 能夠獨立推進科學研究進程,這對於加速科學發現具有重大意義。

能動性能力的培養難度遠超傳統 AI 能力,因為它要求模型具備長期規劃、多步推理、工具協調和自主糾錯等高階認知能力。當前主流方法普遍認為複雜的能動性能力需要大量訓練數據支撐,遵循傳統的規模化定律。這導致了資源密集型的訓練流程:收集數萬甚至數十萬個訓練樣本,消耗大量計算資源,但效果往往不盡如人意。

LIMI 的研究結果表明,僅使用 78 個複雜多輪交互軌跡樣本,模型就能在能動性基準測試 AgencyBench 上達到開源模型的最佳表現,還超越了 GPT-5 的性能。相比使用 10,000 個樣本訓練的模型,LIMI 實現了 53.7% 的性能提升,數據使用量卻僅為其 1/128。

如圖展示了一個模型從頭開發的完整可運行的五子棋遊戲,這種端到端的自主執行能力正是未來 AI 系統的核心價值所在,證明了其在實際工作場景中的巨大應用潛力。

LIMI 的發現挑戰了 "數據規模決定能力上限" 的傳統認知,提出了能動性效率原則:模型能動性的發展更依賴於對能動性本質的理解和高質量數據的精準構造,而非簡單的數據堆疊。這一發現為大規模部署具備真正工作能力的 AI 系統開闢了可行路徑,表明理解能動性的核心機制比盲目擴大數據規模更為重要。

  • 論文標題:LIMI: Less is More for Agency

  • 論文地址:https://arxiv.org/pdf/2509.17567

  • 代碼地址:https://github.com/GAIR-NLP/LIMI

  • 數據集地址:https://huggingface.co/datasets/GAIR/LIMI

  • 模型地址:https://huggingface.co/GAIR/LIMI

  • AgencyBench:https://agencybench.opensii.ai/

  • SII CLI:https://www.opensii.ai/cli/

從被動響應到主動工作:能動性能力時代的到來

能動性大語言模型(Agentic LLMs)的出現,那些能夠推理、行動並自主交互的系統,代表着從被動 AI 助手向具備主動能力模型的範式轉變。研究團隊將能動性定義為 AI 系統作為自主代理運作的新興能力:主動發現問題、制定假設,並通過與環境和工具的自主交互執行解決方案。

這一根本能力標誌着 "AI 能動性時代" 的到來,其驅動力來自一個關鍵的行業轉變:迫切需要不僅會思考,更會工作的 AI 模型。雖然當前 AI 在推理和生成響應方面表現出色,但產業界需要能夠執行任務、操作工具並推動現實世界成果的能動性模型。

然而,能動性模型的訓練面臨着關鍵挑戰。當前方法普遍假設更多數據能讓模型產生更強的能動性能力,遵循語言建模的傳統擴展定律(scaling laws)。這種範式導致了日益複雜的訓練流程和大量資源需求,但一個根本假設仍未得到檢驗:模型的能動性能力是否真的需要接觸大量訓練數據,還是可以通過戰略性方法更高效地涌現?

相鄰領域的新興證據暗示了一個令人信服的替代範式。LIMA 僅用 1,000 個精心策劃的樣本就實現了有效的模型對齊,而 LIMO 證明覆雜數學推理能力能夠從僅 817 個戰略性選擇的訓練樣本中涌現。這些發現表明,戰略性數據構造可能在培養複雜 AI 能力方面比數據集規模根本上更強大。

研究團隊的 LIMI 給出了答案:模型的能動性能力遵循着與傳統擴展方法根本不同的發展原則。通過戰略性聚焦協作軟件開發和科學研究工作流程,這些領域涵蓋了大多數知識工作場景,研究表明複雜的能動性能力可以從少量但精心構造的高質量數據中涌現。

如圖 1 所示,LIMI 僅用 78 個訓練樣本就讓模型在 AgencyBench 上達到 73.5% 的性能,不僅超越了所有基線模型,更令人震撼的是,相比使用 10,000 個樣本訓練的模型實現了 53.7% 的性能提升,用 128 倍更少的數據讓模型獲得了卓越的能動性能力,徹底顛覆了 "更多數據 = 更強能動性" 的傳統認知。

核心領域聚焦:協作編程與科學研究工作流

爲了驗證 LIMI 提出的戰略性數據構造方法,該研究聚焦於兩個需要完整能動性能力譜系並涵蓋大多數知識工作場景的基本領域。

協作編程代表 LLMs 與人類開發者在上下文豐富環境中協作的軟件開發模式。這個領域需要:跨現有代碼庫的代碼理解和生成,通過複雜工具生態系統的開發環境導航,通過調試和優化循環的迭代問題解決,以及技術協調的協作溝通。複雜性在於對開發上下文的整體理解和在不斷變化需求下的原則性決策制定。

科學研究工作流程涵蓋複雜科學研究過程,包括文獻搜索、數據分析、實驗設計和洞察生成。這些工作流程需要:對多樣化信息來源進行綜合,採用適當方法論的實驗設計,複雜結果的數據分析和解釋,以及跨不同利益相關者格式的知識溝通。

這些任務展現出顯著的時間複雜性,表現爲需要連貫狀態跟蹤和累積推理的多輪交互。它們需要戰略規劃能力,將複雜目標分解為可管理的子目標,同時基於環境反饋適應性調整策略。工具編排能力變得至關重要,因為現實世界的能動性任務需要模型協調調用多個不同工具來完成複雜任務。

如圖 2 所示的用户查詢示例展現了單個查詢的巨大複雜性 —— 從基礎到專家級遞進的五子棋開發任務涵蓋 Web 前端開發、數據過濾、狀態管理、規則啓發式 AI 和高級搜索算法等多個相互關聯的子任務。這種複雜性覆蓋了規劃、執行和協作等維度,展現了高質量演示中學習信號的密集性。

圖 2:用户查詢示例,展示了單個查詢如何在規劃、執行和協作維度上包含多個相互關聯的子任務,證明了高質量

數據中學習信號的密集性。

精準數據構建:戰略策劃的系統化方法

LIMI 方法的有效性根本依賴於戰略性數據構造,通過真實世界協作任務捕捉本質的能動性行為。該研究團隊圍繞能動性交互的基本要素形式化數據構建過程,將每個完整交互定義為元組 < 用户查詢,能動性軌跡 >,其中用户查詢啟動協作工作流程,軌跡捕獲完整交互序列。

如圖 3 所示,LIMI 的訓練數據展現了顯著的高質量特徵:軌跡長度分佈廣泛,平均達到 42.4k tokens,最長可達 152k tokens,遠超傳統訓練樣本的長度。右側的領域覆蓋圖顯示了數據在協作編程和科學研究工作流程兩個核心領域的廣泛分佈,涵蓋了從前端開發、調試、工具調用到論文搜索、深度學習、實驗工作流程等多個細分方向。

圖 3:LIMI 訓練數據的特徵。左圖:軌跡長度分佈顯示交互複雜性(平均 42.4k tokens)。右圖:涵蓋 vibe 編程和研究工作流的全面覆蓋。

用户查詢池構建:真實性與系統性的結合

查詢收集策略系統性地結合真實世界場景與戰略性覆蓋擴展,確保生態有效性和充足的訓練多樣性。

真實世界用户查詢收集: LIMI 從專業開發者和研究者在協作環境中遇到的實際場景收集 60 個查詢。這些查詢代表跨兩個核心領域的真實挑戰,具有自然複雜性和上下文豐富性。值得注意的是,大量研究查詢來自真實學術論文,確保收集的用户查詢具有可信的代表性。

基於 GitHub PR 的查詢合成:爲了在保持真實性的同時系統性擴展查詢池,團隊開發了使用 GPT-5 從 GitHub Pull Requests 合成額外查詢的流水線。這種方法利用真實代碼更改的豐富上下文,採用 GPT-5 的先進推理能力生成反映真實開發需求的協作場景。

系統性策劃過程涉及多個質量保證階段:

(1)選擇具有超過 10,000 GitHub stars 的高質量代碼倉庫,(2)確保軟件開發領域的綜合覆蓋,(3)基於複雜性和實質性進行過濾,(4)採用四名計算機科學博士生作為專家標註員評估合成查詢的質量,確保語義對齊和上下文準確性。

通過這種系統化方法,團隊最終構建了包含 78 個高質量用户查詢的綜合池,每個查詢都代表來自協作編程或科學研究工作流程的真實協作場景。

軌跡收集:捕獲最優能動性行為

爲了生成展示最優能動性行為的訓練軌跡,研究需要能夠支持真實人機協作的複雜執行環境。這個環境必須支持複雜工具交互、維護詳細交互日誌,並提供現實能動性智能評估所需的操作上下文。

團隊選擇 SII CLI 作為執行環境,基於其幾個關鍵優勢:(1)支持協作編程和研究工作流程的全面工具集成,(2)對高質量訓練數據收集至關重要的詳細軌跡日誌能力,(3)啟用自然交互模式的靈活人機協作界面,(4)對需要協調工具使用的複雜多步任務的強大支持。

在 SII CLI 環境內,四名博士生標註員作為人類協作者,與 GPT-5 作為能動性模型協作,在真實協作場景中完成 78 個用户查詢的軌跡收集。

對於每個查詢,採用迭代收集方法,持續收集軌跡直到任務成功完成。這種持續性方法確保收集的軌跡捕獲真實人機交互模式,包括自然的來回溝通、迭代細化過程和表徵有效能動性行為的協作問題解決策略。

正如圖 3 左側軌跡長度分佈所示,這種方法產生了內容極其豐富、交互高度複雜的高質量訓練軌跡數據,平均長度達到 42.4k tokens,遠超常規訓練數據的複雜度,為模型提供了密集的能動性學習信號。

突破性實驗結果:顛覆認知的發現

實驗設置與評估框架

爲了驗證 LIMI 假設並證明戰略性數據構造方法的有效性,團隊採用了全面的實驗框架,跨多個評估維度將方法與強基線模型進行比較。

基線模型評估:團隊評估了多樣化的最先進基礎模型,確保全面比較:GLM-4.5、GLM-4.5-Air、Qwen3-235B-A22B-Instruct、DeepSeek-V3.1、Kimi-K2-Instruct。這個選擇涵蓋了具有不同架構設計和訓練方法的開源模型,支持對能動性能力的嚴格評估。

模型訓練與對比實驗:爲了系統評估策劃訓練數據的影響,團隊使用收集的數據對 GLM-4.5 和 GLM-4.5-Air 進行微調。所有微調實驗使用 slime 框架進行,確保一致的訓練條件、超參數優化和公平比較。

此外,爲了評估數據策劃策略的質量和有效性,團隊通過在三個替代數據集上微調 GLM-4.5 進行比較實驗:CC-Bench-trajectories、AFM-WebAgent-SFT-Dataset 和 AFM-CodeAgent-SFT-Dataset。這種實驗設計支持戰略性策劃數據與現有大規模能動性訓練數據集的直接比較。

評估框架:評估包含兩個互補策略,全面驗證 LIMI 方法的有效性:

(1)在 AgencyBench 上的主要評估,專門設計用於評估協作場景中的能動性能力;(2)在涵蓋工具使用、編程和科學計算的多個基準上的泛化能力評估,確保發現能夠泛化到核心領域之外。

AgencyBench 上的卓越表現

如表 1 所示,在 AgencyBench 基準測試中,LIMI 取得了令人震撼的成績:

表 1: LIMI 系列模型在 AgencyBench 上的綜合比較。模型按評估目的分組:基線比較、泛化能力評估和數據效率驗證。

LIMI 達到了 73.5% 的平均得分,顯著超越了所有基線模型:GLM-4.5(45.1%)、Kimi-K2-Instruct(24.1%)、DeepSeek-V3.1(11.9%)和 Qwen3-235B-A22B-Instruct(27.5%)。

性能差距在首輪功能完整性(FTFC)方面特別明顯,LIMI 達到 71.7%,相比 GLM-4.5 的最佳基線性能 37.8% 實現了顯著的 33.9 個百分點改進。類似地,LIMI 以 74.6% 的成功率展示了卓越的任務完成可靠性,大幅超越了最強基線模型 GLM-4.5 的 47.4%。

數據效率的極致體現

最震撼的發現是數據效率對比結果,為核心 LIMI 假設提供了令人信服的實證證據:戰略性數據策劃在開發能動性智能方面根本上比簡單擴展訓練數據量更有效。

LIMI 使用僅 78 個精心策劃的訓練樣本就達到了卓越性能,大幅超越了在數量級更大數據集上訓練的模型。最引人注目的是與在 AFM-CodeAgent-SFT-Dataset 上訓練的 GLM-4.5-Code 的比較:LIMI 的 73.5% 平均 AgencyBench 性能戲劇性地超越了大規模方法實現的 47.8%,儘管使用的數據集小 128 倍(78 vs. 10,000 樣本)。

關鍵數據效率對比:

  • LIMI (78 樣本) vs GLM-4.5-Code (10,000 樣本):25.7 個百分點優勢,數據量僅 1/128

  • LIMI vs GLM-4.5-Web (7,610 樣本):23.5 個百分點優勢,數據量僅 1/97

  • LIMI vs GLM-4.5-CC (260 樣本):18.0 個百分點優勢,數據量僅 30%

這些一致的改進證明了戰略性數據策劃能夠比大規模數據收集實現更有效的能力遷移,確立了能動性智能開發中 "少即是多" 範式的廣泛適用性。

跨領域泛化驗證

如表 2 所示,LIMI 的優勢擴展到涵蓋工具使用、編程和科學計算的多樣化基準測試中,證明了方法的廣泛適用性。LIMI 達到 57.2% 的平均性能,超越了所有基線模型,包括 GLM-4.5(43.0%)、Kimi-K2-Instruct(37.3%)、DeepSeek-V3.1(29.7%)和 Qwen3-235B-A22B-Instruct(36.7%)。

值得注意的是,LIMI 在關鍵編程基準上達到了最高性能(EvalPlus-HumanEval:92.1%,EvalPlus-MBPP:82.3%),並在工具使用任務上展示了競爭性結果(TAU2-bench-airline:34.0%,TAU2-bench-retail:45.6%)。

跨多樣化評估領域的一致性能優勢證明了戰略性數據策劃方法產生的廣泛模型能力改進,確立了核心協作編程和研究工作流程之外強大的性能表現,表明 LIMI 不是簡單的任務記憶,而是真正掌握了可遷移的能動性思維模式。

表 2:泛化基準測試的綜合性能比較。HE 代表 EvalPlus-HumanEval,MP 和 SP 分別代表 SciCode 的主要問題和子問題指標。平均值包含了 AgencyBench 的表現。

能動性效率原則

基於實驗結果,研究建立了能動性效率原則:

模型能動性的涌現並非來自簡單數據的堆砌,而是來自高質量能動性數據的精心構造。

這一發現根本重塑了開發能動性大模型以及 AI Agent 的方式,表明掌握能動性需要理解其本質,而不是簡單的擴大訓練數據規模。

LIMI 促成了能動性訓練範式的根本性轉換:從 "更多簡單數據→更強能動性" 的舊範式,轉向 "更高質量的能動性數據→更強能動性" 的新範式。LIMI 認為:能動性本質上是 "潛伏" 於預訓練模型中的,關鍵挑戰不是訓練新能力,而是找到激活路徑。

產業影響與未來展望

對 AI 產業生態的重塑

LIMI 的發現對整個 AI 產業生態具有深遠影響:

研發效率革命:小團隊憑藉精準方法可以與大公司競爭,降低了能動性技術的門檻,促進更多創新性方法的涌現。

資源配置優化:將投入重點從數據收集轉向高質量樣本設計和生成,從 "資源競賽" 轉向 "數據構造方法競賽"。

應用落地加速:為實際能動性系統的開發提供了高效可行的路徑,在實際應用中提供了具體的指導原則:專注核心場景、完整流程軌跡、質量優先策略。

商業化前景與技術普惠

LIMI 方法的商業化前景廣闊:降低開發成本,減少對大規模數據和計算資源的依賴;縮短開發周期,通過精準方法快速獲得能動性突破;提高應用效果,在特定領域達到更好的性能表現;普惠化應用,讓更多中小企業能夠負擔得起能動性技術。

未來發展方向

雖然 LIMI 目前主要驗證了協作軟件開發和科學研究兩個領域,但其原理有望擴展到醫療診斷能動性、教育輔導能動性、商業分析能動性等更廣闊的認知領域。

未來的能動性系統將發展爲多模態能動性,融合視覺、語言、行動等多種模態;自主學習能動性,從被動激活發展到主動進化;以及更完善的理論體系,建立能動性激活的數學模型和評估框架。

結語:開啟能動性新時代

LIMI 不僅是一項技術突破,更是 AI 發展理念的根本性轉變。它證明了在能動性開發中,理解本質比擴大規模更重要,質量比數量更關鍵。

78 個精心設計的樣本擊敗萬級數據的事實,確立了能動性發展的全新原則:模型能動性來自精心構造,而非數據堆砌。當模型從思考型 AI 轉向工作型 AI 時,LIMI 為真正能動性的可持續培養提供了新範式,開啟了能動性發展的新紀元,未來充滿無限可能。

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。