繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

上海AI實驗室發佈萬億參數科學模型Intern-S1-Pro

2026-04-04 17:36

  炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛力主題機會!

(來源:科技行者)

這項由上海AI實驗室主導的突破性研究發表於2026年3月27日,論文編號為arXiv:2603.25040v1,研究團隊首次構建了擁有萬億參數規模的科學多模態基礎模型Intern-S1-Pro。這個龐大的AI系統不僅在通用能力上達到了業界頂尖水平,更是在科學專業領域展現出了前所未有的深度理解能力。

當我們談論人工智能時,通常會想到ChatGPT這樣的對話助手或者能夠識別圖片的視覺系統。但是,科學研究的複雜性遠超日常應用。化學分子結構、生物基因序列、地球科學數據、材料特性分析——這些專業領域都有着自己獨特的"語言"和思維模式。就像一個醫生需要同時掌握解剖學、藥理學和診斷技術一樣,一個真正有用的科學AI助手也需要在多個專業領域都具備深厚的理解能力。

Intern-S1-Pro的誕生源於一個簡單而深刻的觀察:科學知識的複雜性需要足夠龐大的模型容量來承載。研究團隊發現,就像翻譯員需要更強的語言能力才能處理更多語言對一樣,處理多個科學領域的AI模型需要比處理單一領域的模型大90倍的參數量。這個發現促使他們將模型規模擴展到了萬億參數級別,成為首個達到這一規模的科學多模態基礎模型。

這個AI系統的能力範圍令人印象深刻。它不僅能夠理解和生成自然語言文本,還能夠處理各種科學圖像、解析時間序列數據,甚至具備了自主規劃和執行復雜科學工作流程的代理能力。更重要的是,它在超過100個專業科學任務上都表現出色,涵蓋了化學、材料科學、生命科學和地球科學等關鍵領域。

一、突破性的架構設計:如何讓萬億參數穩定運行

構建萬億參數規模的AI模型就像在建造一座前所未有的摩天大樓——你不能簡單地按比例放大現有的設計圖紙,而需要全新的工程解決方案來確保結構的穩定性。Intern-S1-Pro的成功很大程度上歸功於其創新的架構設計。

研究團隊面臨的第一個挑戰是如何從之前的Intern-S1模型平穩擴展到四倍規模。他們採用了一種叫做"專家擴展"的策略,可以把這個過程想象成一個餐廳從4個廚師擴展到16個廚師的過程。直接增加廚師數量可能導致混亂,但如果合理分組,讓每組都包含經驗豐富的資深廚師,就能保證服務質量的穩定性。

在這個比喻中,Intern-S1-Pro引入了"分組路由"機制。傳統的AI模型就像一個無序的廚房,每次來訂單時,所有廚師都爭搶着處理,導致工作負載極不均衡。有些廚師忙得不可開交,而另一些廚師卻無所事事。這種不平衡在萬億參數規模下會導致嚴重的計算資源浪費,甚至引起系統崩潰。

分組路由機制的巧妙之處在於將所有專家(相當於廚師)均勻分配到不同組別中,確保每個組都有頂尖的專家。當處理任務時,系統會從每個組中選擇最適合的專家來協同工作。這種方法不僅確保了負載均衡,還顯著提高了訓練穩定性。實驗結果顯示,使用這種方法的模型性能可以略微超越擴展前的基準,而採用傳統方法的性能會下降超過20個百分點。

另一個技術創新是"直通估計器"(Straight-Through Estimator)的應用。可以把這個技術想象成一個智能的學習反饋系統。在傳統方法中,模型就像一個只能從成功案例中學習的學生,對於那些沒有被選中處理任務的專家,系統無法提供有效的學習信號。直通估計器的作用就像給每個專家都配備了觀察學習的能力,即使某個專家這次沒有被選中,它也能通過觀察整個處理過程來不斷改進自己的技能。

這種設計的優勢在前向計算和反向學習過程中表現不同。在前向處理時,系統仍然只激活最相關的專家,保持計算效率。但在學習階段,所有專家都能獲得反饋信號,確保整個系統的持續改進。研究團隊還引入了温度參數來精確控制這個學習過程,在集中學習和均勻學習之間找到最佳平衡點。

模型的視覺處理能力也經過了精心設計。不同於固定分辨率的傳統系統,Intern-S1-Pro採用了原生分辨率處理方式。就像一個攝影師會根據拍攝對象調整相機設置一樣,這個系統會根據輸入圖像的實際分辨率進行處理,保留了高分辨率圖像中的精細信息。這對科學應用尤為重要,因為科學圖像往往包含大量關鍵細節。

二、革命性的位置編碼:讓AI理解連續性的物理世界

傳統的AI模型處理信息的方式本質上是離散的,就像把連續的音樂切分成一個個音符。但物理世界是連續的——光具有波粒二象性,聲音以連續波形傳播,電磁信號具有獨特的頻譜特徵。這種離散化處理方式在處理科學數據時會丟失重要的連續性信息。

Intern-S1-Pro引入了"傅里葉位置編碼"(FoPE)技術,這就像給AI裝上了能夠理解波動現象的"物理直覺"。可以把傳統的位置編碼想象成給每個位置分配一個固定的門牌號,而傅里葉位置編碼則像是給每個位置分配了一個完整的頻譜"指紋"。

這個創新的核心在於數學上的傅里葉分析原理。傅里葉分析能夠將任何複雜的信號分解為不同頻率的正弦波組合,就像白光可以通過三棱鏡分解為彩虹一樣。在AI模型中應用這個原理,每個維度不再被視為單一頻率的函數,而是被建模為多個頻率成分的組合。

這種方法帶來了兩個重要優勢。第一是信息分離度更高。傳統方法就像把不同顏色的顏料混合在一起,很難再分離出原始成分。而傅里葉位置編碼就像保持每種顏色的獨立性,不同頻率的信息不會相互干擾。第二是訓練穩定性更好。在模型訓練過程中,那些沒有得到充分訓練的頻率成分會被自動識別並過濾掉,就像一個音響系統會自動過濾掉雜音一樣。

更重要的是,這種方法顯著改善了模型在處理不同長度序列時的表現。傳統模型在訓練時如果只見過短序列,處理長序列時往往表現不佳。FoPE技術通過其周期延拓特性,讓模型在處理超出訓練長度的序列時仍能保持良好的性能,就像學會了一首歌的旋律后,即使延長演奏時間也不會走調。

三、專門的時間序列處理:解讀科學數據的時間密碼

科學研究中有大量的時間序列數據——從天文觀測到神經科學信號,從地震波形到生物電信號。這些數據的特點是變化率差異巨大,數據長度參差不齊,數值範圍跨度極大。傳統的處理方法就像用同一把尺子測量從分子到銀河系的所有物體,顯然不夠精確。

自適應子採樣的工作原理很巧妙。對於一個可能包含數百萬數據點的長時間序列,系統會根據信號的採樣率和複雜度動態確定分塊策略。如果信號變化緩慢,就採用較大的塊;如果變化劇烈,就採用較小的塊。這樣既保證了重要信息不被遺漏,又將數據量控制在可處理的範圍內。

處理流程分為幾個階段。首先是動態分塊,系統像一個智能的圖書管理員一樣,將長長的時間序列"書籍"分割成合適大小的"章節"。接着是局部特徵提取,每個章節內的細節特徵被仔細分析和提取。最后是全局依賴建模,系統會分析不同章節之間的關聯關係,理解整個時間序列的完整故事。

這個模塊的處理能力範圍從100個數據點到100萬個數據點,覆蓋了絕大多數科學應用場景。在天文學領域,它能處理長期的星體光變數據;在神經科學中,它能分析複雜的腦電信號;在地球科學里,它能解讀地震波形和氣候變化數據。更令人印象深刻的是,它還擴展到了新的應用領域,比如生理信號分析和生物聲學識別,展現出了強大的泛化能力。

四、高質量科學數據的獲取:從PDF中挖掘知識寶藏

訓練一個科學AI助手最大的挑戰之一就是獲得高質量的科學圖文配對數據。網絡上雖然有大量圖像,但大多數是生活照片或一般性圖片,真正的科學圖像相對稀少,而且往往缺乏詳細準確的描述。這就像試圖用烹飪雜誌的圖片來教會機器人做複雜的法式料理——圖片是有的,但缺少詳細的製作步驟和關鍵技巧。

研究團隊的解決方案頗具創意:他們把目光投向了科學論文的PDF文檔。科學PDF就像一個巨大的知識寶庫,包含了大量高質量的實驗圖表、統計圖形、結構示意圖和公式推導。這些圖像不僅信息密度高,而且往往伴隨着詳細的文字説明,是訓練科學AI的理想素材。

團隊開發了一套完整的PDF數據處理流水線。首先使用MinerU2.5技術進行版面分析,這個過程就像一個細心的圖書館員,能夠精確識別文檔中的各個元素——哪里是圖片,哪里是表格,哪里是公式,哪里是正文。這種自動化識別的準確率非常高,能夠將複雜的學術論文完美解構。

接下來是內容去重處理。由於同一個實驗結果可能在多篇論文中被引用,系統使用感知哈希技術來識別和移除重複的視覺內容。這個過程類似於照片管理軟件自動識別重複照片的功能,但更加精確和智能。

最有趣的是標題生成環節。團隊設計了一個主題分類和模型路由機制,就像一個智能的寫作助手分工系統。對於科學圖像,系統會調用專門訓練的InternVL3.5-241B模型來生成專業的、領域特定的描述。對於非科學圖像,則使用CapRL-32B模型生成通用性描述。

這種標題生成的質量差異非常顯著。傳統的自然描述往往只有幾十個詞,內容簡單,比如"顯示實驗結果的圖表"。而新的標題生成系統能夠產生平均1000字的詳細描述,包含軸標籤説明、數據趨勢分析、實驗條件描述、結果解釋等豐富內容。這種詳細程度的描述對訓練科學AI至關重要,因為它教會了模型如何準確理解和描述科學內容。

整個流水線處理了涵蓋生命科學、化學、地球科學和材料科學的大規模PDF語料庫,最終產生了約270B token的高質量科學圖文配對數據。這個數據集不僅規模龐大,質量也達到了前所未有的高度。

五、科學數據與通用數據的完美融合

將科學數據與通用數據整合到一個模型中訓練,就像嘗試讓一個人同時成為嚴謹的科學家和靈活的文學家。這兩類數據具有截然不同的特徵:科學數據邏輯性強、結構化程度高,而通用數據更注重語義表達和語言多樣性。直接混合訓練往往會導致"分佈偏移"和"負遷移"現象,就像兩種不同的思維方式在大腦中衝突,導致推理過程出現混亂。

研究團隊採用了三大技術策略來解決這個挑戰。第一個策略是結構化科學數據轉換。科學數據通常以高度結構化的格式存在,比如來自PubChem數據庫的化學分子信息。團隊沒有簡單地將這些數據線性化為文本,而是開發了兩種方法:模板構建和任務形式轉換。

模板構建就像為不同類型的科學數據設計專門的"翻譯模板"。通過這些模板,異質的輸入輸出對被轉換為語法正確的敍述性文本,確保科學數據與通用數據在表達風格上保持一致。這種轉換既保證了語義的連貫性,也最大程度地減少了信息損失。

對於那些缺乏直觀語義的抽象輸出,比如數值矩陣或列表形式的結果,團隊結合了特定領域的科學先驗知識,將數字符號映射為具有實際科學意義的描述性答案。這讓模型能夠跨越符號屏障,更好地理解數據背后的科學邏輯和原理。

第二個策略是科學數據多樣化。科學數據往往具有高重複性特徵,比如相似的蛋白質序列可能在訓練數據中大量出現,這容易導致模型過擬合。爲了解決這個問題,團隊實施了提示多樣化機制。對同一個科學概念,系統會生成數十種不同的指令表達方式,在保持核心科學知識不變的前提下,擴展模型的泛化邊界。

同時,針對科學任務輸出往往過於簡單的問題(比如僅包含數值或簡單結論),團隊引入了回展機制。通過結合科學先驗知識和強基礎模型的輔助生成,系統能夠將簡單的知識記憶轉換為完整的邏輯推演鏈條。這種做法顯著增強了模型在複雜科學場景中的零樣本推理能力。

第三個策略是系統提示隔離。儘管進行了數據轉換和多樣化處理,科學數據和通用數據之間的差異仍可能在訓練階段引發衝突。爲了緩解這種衝突並減少負面影響,團隊採用了系統提示隔離策略。在訓練周期中,系統會為科學數據和通用數據注入互斥的系統級前綴,為模型創建獨立的上下文處理環境。

這種策略的效果就像給不同類型的思考任務創建了專門的"思維空間"。當處理科學問題時,模型會自動進入"科學家模式",運用嚴謹的邏輯思維;當處理通用任務時,會切換到"通用模式",發揮語言理解和創造能力。這種環境隔離有效減少了數據衝突,提高了模型穩定性,增強了訓練效果。

六、萬億參數規模下的強化學習訓練

將強化學習應用到萬億參數的混合專家模型上,就像嘗試協調一個由數千名專家組成的超大型研究團隊。每個專家都有自己的專長領域,但要讓整個團隊高效協作,需要解決複雜的內存管理、計算分配和通信協調等挑戰。

Intern-S1-Pro相比前代模型的專家數量增加了4倍,但激活的參數數量保持相對穩定。這種設計雖然提高了模型的專業化程度,但也帶來了巨大的內存壓力。即使在專家並行計算的條件下,龐大的專家層參數和激活值仍然會造成顯著的內存負擔。

爲了在如此大規模下進行穩定的強化學習訓練,團隊採用了FP8量化技術。但是,極端的稀疏性使得低精度訓練需要格外小心,稍有不慎就會導致性能下降。研究團隊借鑑了之前工作的經驗,認識到訓練引擎和推理引擎之間的差異是強化學習訓練不穩定的主要原因。

團隊實施了一個綜合性的穩定化框架,這個框架就像一個精密的質量控制系統。首先,他們進行了系統性的算子級別對比,逐一檢查LMDeploy推理引擎和XTuner訓練引擎之間的數值差異。他們發現了幾個數值敏感的組件,包括RMSNorm、路由softmax和位置編碼應用,這些組件對精度差異特別敏感。

通過在這些關鍵算子中減少精度差距,確保推理分佈在訓練過程中得到忠實反映。此外,爲了保證專家路由的一致性,團隊實施了推理路由重放機制。對於每個token,系統會記錄推理階段選擇的專家索引,並在策略更新時重放相同的路由決策。

爲了避免專家索引傳輸成為帶寬和延迟瓶頸,團隊巧妙地通過Ray對象引用來傳輸路由軌跡,而不是通過處理響應token的HTTP通道。這種設計既保證了路由一致性,又避免了通信開銷。

在混合精度策略上,團隊採用了針對高度稀疏MoE模型的定製方案。他們觀察到專家MLP層佔據了最大的內存佔用,但其GEMM操作相對容易承受精度降低。因此,他們只將專家線性層量化為FP8,保持非專家組件使用BF16精度,並使用FP32的語言模型頭來提高對數概率估計的數值準確性。

這種設計遵循了一個重要原則:對數概率估計中的小誤差可能被策略梯度更新放大。因此,在對精度敏感的計算圖部分保持高精度,既獲得了FP8的大部分內存和吞吐量優勢,又避免了敏感部分的不必要性能下降。

最后,團隊借鑑了IcePop的思路,使用雙重要性採樣比率來修改REINFORCE目標函數。第一個重要性採樣比率校正訓練-推理分佈不匹配,第二個比率糾正訓練期間小批次更新引入的離策略偏差。通過掩蔽那些訓練-推理差異過大的token,系統能夠抑制不可靠的學習信號。

這些綜合技術的應用使得FP8混合精度強化學習在實踐中達到了與BF16訓練相當的行為表現,為萬億參數規模的模型訓練開闢了可行路徑。

七、全面的性能評估:科學AI的新標杆

Intern-S1-Pro的性能評估就像是對一位博學多才的科學家進行全方位的能力測試。評估涵蓋了科學任務和通用任務兩大類,包括純文本和多模態設置,總共涉及數十個具有挑戰性的基準測試。

在科學任務評估中,Intern-S1-Pro展現出了令人矚目的領先優勢。在SciReasoner科學推理基準上,該模型獲得了55.5分,遠超Gemini-3-Pro的14.7分和GPT-5.2的13.6分。這個巨大的性能差距充分展示了專門針對科學領域優化的重要性。

SciReasoner涵蓋了十個不同的科學學科,包括物理學、化學和醫學等,共149個具體任務。這些任務的設計不僅考察模型的知識儲備,更重要的是測試其科學推理能力。Intern-S1-Pro的出色表現表明,它不僅掌握了廣泛的科學知識,更能夠進行復雜的跨學科推理。

在專業的科學多模態任務SFE基準上,Intern-S1-Pro獲得了52.7分的成績。SFE基準包含830個經過驗證的視覺問答對,跨越66個多模態任務,涵蓋五個高價值科學學科。這個基準使用真實的科學數據格式來探測模型在感知、理解和高級推理方面的認知能力。

在化學領域的SmolInstruct基準上,Intern-S1-Pro取得了74.8分的顯著成績,遠超其他模型。SmolInstruct是一個大規模的化學專用數據集,涵蓋14個選定任務和超過300萬個樣本,覆蓋了有意義的化學應用,包括正向合成和性質預測。這個成績證明了模型在複雜分子科學推理方面的卓越能力。

材料科學領域的表現同樣出色。在MatBench基準上,Intern-S1-Pro獲得了72.8分,這個基準提供了13個機器學習任務的精選測試套件,用於材料性質預測,數據集規模從312到132,000個樣本不等。這些任務來自10個密度泛函理論和實驗來源,標準化了對不同晶體和分子材料性質的模型性能評估。

在生物學相關任務上,模型同樣表現優異。MicroVQA專注於基於顯微鏡的研究,包含1,042個專家策劃的多選題,跨越不同的成像模式。Intern-S1-Pro在這個基準上獲得了63.3分,展示了其在生物工作流程中的專家圖像理解、假設生成和實驗提議等關鍵推理能力。

時間序列處理能力的評估結果令人印象深刻。在SciTS基準的子集測試中,Intern-S1-Pro在多個任務上都獲得了遠超其他模型的F1分數。比如在EAU01任務上獲得99.5分,在ASU01任務上獲得98.0分,在BIU03任務上獲得88.3分。這些結果證明了專門的時間序列處理模塊在捕獲複雜時間動態方面的有效性。

在通用任務方面,Intern-S1-Pro同樣保持了強勁的競爭力。在MMMU-Pro知識推理基準上獲得72.8分,在MMLU-Pro上獲得86.6分,在高難度的AIME-2025數學推理任務上獲得93.1分。這些成績表明,模型在專注科學能力提升的同時,並沒有犧牲通用能力。

特別值得關注的是模型在代理任務上的表現。在GAIA基準上獲得77.4分,在τ?-Bench上獲得80.9分,在ScreenSpot V2上獲得93.6分。這些成績標誌着模型在實際應用場景中的多步規劃和環境交互能力達到了新的高度。

八、專業化通才的優勢:更大更通用反而更專業

在AI模型設計中存在一個有趣的爭論:是應該為每個專業領域訓練專門的模型,還是構建一個能夠處理多個領域的通用模型?傳統觀點認為,專業化的模型在特定領域會表現更好,就像專科醫生在自己領域比全科醫生更專業一樣。

但是,Intern-S1-Pro的實驗結果挑戰了這種直觀認識。研究團隊通過與專門的生物學模型Biology-Instruction的詳細對比,發現了一個令人驚訝的現象:在相同的訓練數據條件下,更大規模的通用模型反而在專業任務上表現更優。

這個對比實驗的設計很有説服力。兩個模型使用了相同的底層數據集,研究團隊只是為Intern-S1-Pro升級了數據格式,使文本表達更加流暢,但核心的生物學信息保持完全一致。在這種控制條件下,Intern-S1-Pro在絕大多數生物學任務上都顯著超越了專業的Biology-Instruction模型。

具體的性能差異令人印象深刻。在蛋白質熒光預測任務上,Intern-S1-Pro獲得78.14分,而Biology-Instruction只有2.57分。在蛋白質功能預測任務上,前者獲得72.70分,后者只有19.79分。在RNA同工型任務上,Intern-S1-Pro獲得82.95分,Biology-Instruction為59.01分。平均而言,Intern-S1-Pro的綜合得分為52.45,比Biology-Instruction的39.24高出13.21分。

這種現象的原理可以用"智能增強效應"來解釋。更大規模的模型具有更強的通用推理能力,這種能力能夠幫助模型更好地理解和利用專業數據。就像一個具有強大邏輯思維能力的通才,即使在接觸新的專業領域時,也能比缺乏這種基礎能力的專業人士更快地掌握和運用專業知識。

這個發現對AI模型設計具有重要啟示。它表明,通用能力和專業能力之間不是簡單的此消彼長關係,而是相互促進的協同關係。強大的通用智能基礎能夠為專業任務提供更好的支撐,讓模型能夠從相同的專業數據中提取和利用更多有價值的信息。

這種"專業化通才"的概念代表了AI發展的一個新方向。與其為每個領域單獨訓練專業模型,不如構建一個具有強大基礎能力的大規模通用模型,然后通過高質量的專業數據進行訓練。這種方法不僅在單個領域內表現更優,還能實現跨領域的知識遷移和融合,為解決複雜的跨學科問題提供了可能。

九、技術創新的深遠影響

Intern-S1-Pro的技術創新不僅體現在最終的性能表現上,更在於它為AI領域探索出了多個具有普遍價值的技術路徑。這些創新就像建築工程中的新材料和新工藝,不僅讓當前的"建築"更加堅固美觀,也為未來的"建築"提供了更多可能性。

分組路由機制的創新意義遠超其在Intern-S1-Pro中的應用。這種負載均衡策略為大規模MoE模型的訓練提供了新的解決方案。傳統的Top-K路由策略在專家數量增加時容易導致負載不均衡,就像一個工廠的生產線,有些工人忙得團團轉,有些工人卻無事可做。分組路由通過強制性的負載均衡設計,確保了所有計算資源的充分利用,這對於構建更大規模的AI系統具有重要參考價值。

直通估計器在稀疏專家路由中的應用也開創了新的技術思路。這種技術解決了稀疏模型訓練中的一個根本性問題:如何讓未被激活的專家也能獲得學習機會。這個思路可以擴展到其他需要稀疏激活的模型架構中,為構建更高效的大規模模型提供了新的工具。

傅里葉位置編碼代表了位置編碼技術的重要進步。傳統的位置編碼方法本質上是離散的,而FoPE通過引入連續性的物理原理,讓AI模型能夠更好地理解和處理具有波動特性的數據。這種技術不僅適用於科學數據處理,在音頻、視頻、信號處理等多個領域都有潛在應用價值。

時間序列處理模塊的自適應子採樣策略也具有廣泛的適用性。這種根據數據特徵動態調整處理策略的思路,可以擴展到其他需要處理變長、變複雜度數據的場景中。無論是自然語言處理中的長文檔理解,還是計算機視覺中的多尺度圖像處理,都可以借鑑這種自適應策略。

高質量科學數據的構建流程更是為AI訓練數據的準備開闢了新途徑。從PDF文檔中自動提取和生成高質量圖文配對數據的方法,不僅解決了科學AI訓練數據稀缺的問題,也為其他專業領域的AI系統提供了數據獲取的新思路。法律、醫學、工程等領域都可以採用類似的方法來構建高質量的專業訓練數據。

混合精度強化學習在萬億參數規模下的成功應用,證明了在保持訓練效率的同時實現高質量訓練的可能性。這種技術路徑為未來更大規模模型的訓練提供了可行的解決方案,對於推動AI技術的規模化發展具有重要意義。

更重要的是,"專業化通才"這一設計理念的驗證,可能會改變整個AI領域的發展方向。與其為每個專業領域單獨開發AI系統,不如構建少數幾個高質量的通用系統,然后通過專業數據進行鍼對性訓練。這種方法不僅提高了資源利用效率,也為實現真正的通用人工智能提供了新的路徑。

説到底,Intern-S1-Pro的成功不僅在於它在特定任務上的優異表現,更在於它證明了一個重要觀點:在AI發展的現階段,規模、質量和策略的完美結合能夠產生遠超預期的協同效應。這個萬億參數的科學AI助手,既是當前技術水平的集大成者,也是未來AI發展方向的探路者。

對於普通人來説,Intern-S1-Pro代表着AI技術在專業領域應用的新高度。它不僅能夠輔助科學家進行復雜的研究工作,提高科學發現的效率,也為AI技術在教育、醫療、工程等其他專業領域的應用提供了重要參考。隨着這類技術的不斷發展和普及,我們有理由相信,AI將在更多領域成為人類的得力助手,加速知識的創造和傳播。

未來的AI系統可能不再是單一功能的工具,而是像Intern-S1-Pro這樣的多能力融合體,既具備廣泛的通用智能,又在特定領域具有專業深度。這種發展趨勢預示着人工智能技術正在向更加實用、更加智能的方向發展,最終可能實現真正意義上的通用人工智能。

Q&A

Q1:Intern-S1-Pro的萬億參數規模是如何實現的?

A:Intern-S1-Pro通過專家擴展策略從前代模型擴展到萬億參數規模。具體採用了分組路由機制,將所有專家均勻分配到不同組別中,每個組都包含經驗豐富的頂級專家。這種方法類似於餐廳合理分配廚師,確保每個組都有資深人員,從而保證了訓練穩定性和負載均衡。

Q2:為什麼Intern-S1-Pro在科學任務上比專業模型表現更好?

A:研究發現更大規模的通用模型反而在專業任務上表現更優,這被稱為"專業化通才"現象。強大的通用推理能力能夠幫助模型更好地理解和利用專業數據,就像具有強大邏輯思維的通才在接觸新領域時比缺乏基礎能力的專業人士掌握得更快。實驗顯示Intern-S1-Pro在生物學任務上平均比專業模型高出13.21分。

Q3:Intern-S1-Pro如何處理不同類型的科學數據?

A:Intern-S1-Pro採用了多種專門技術來處理科學數據。對於圖像,使用原生分辨率處理保留精細信息;對於時間序列,開發了自適應子採樣模塊根據信號特徵動態調整處理策略;對於文本,通過結構化數據轉換和系統提示隔離來融合科學數據和通用數據,確保不同類型數據都能得到最優處理。

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。