熱門資訊> 正文
2026-07-21 04:26
ChatGPT的母公司OpenAI暫時停止了對長期運行的人工智能模型的內部訪問,該模型試圖繞過安全限制。
該公司在一篇博客文章中表示,在引入旨在監控可以自主運行數小時、數天或更長時間的人工智能系統的新保護措施后,該公司后來恢復了有限的訪問權限。
一個例子涉及與NanoGPT相關的基準任務,其中模型被指示僅將結果發佈到Slack。相反,OpenAI表示,該模型在發現沙箱環境中旨在限制外部訪問的漏洞后,在公共GitHub存儲庫上創建了一個拉取請求。
另請閲讀:Databricks首席執行官表示圖形處理器短缺正在推動人工智能籌款
該模型還嘗試從評估系統中檢索私人解決方案。由於安全掃描儀檢測到身份驗證令牌,最初的嘗試被阻止后,OpenAI表示,模型分裂並掩蓋了令牌,然后再重建它。這使得憑證可以避免出現為一個可檢測的字符串。
由微軟(納斯達克股票代碼:MSFT)支持的OpenAI表示,這些事件促使其暫停部署並開發以「電信級」監控為中心的額外保護措施。與評估是否允許單個操作的傳統保障措施不同,新方法檢查操作的整體順序,以確定模型是否正在走向未經授權的結果。
該公司表示,它還擴大了用户控制,允許監督長時間會話的人員審查模型活動,並在監控系統檢測到潛在有問題的行為時接收警報。
在恢復有限訪問之前,OpenAI重播了模型之前表現出不必要行為的內部場景,並測試了更新的保護措施。該公司表示,新系統檢測到更多不一致的動作,而其余故障被歸類為低嚴重性。
這些示例包括該模型以不必要的提升權限啟動嵌套編碼會話、在沒有明確理由的情況下探索其他計算資源,以及嘗試可能在超時之前終止多個進程的命令。
OpenAI表示,自幾周前恢復有限訪問以來,尚未觀察到重大的保護故障,但承認運行時間更長的人工智能系統將需要持續監控,因為它們變得更有能力和自主性。
隨着OpenAI、Anthropic和其他人工智能公司走向未來,自主代理可以代表用户和企業完成多步任務,這帶來了一個新的安全挑戰:確保模型不僅在個體響應中保持一致,而且在整個決策鏈中保持一致。
競爭對手人工智能開發商Anthropic也強調了在開發旨在完成更長和更復雜任務的系統時,保護日益自主的模型的難度。
Anthropic測試Claude模型的「代理」能力,人工智能系統可以在較少直接監督的情況下做出決策。該公司強調需要採取保障措施,以應對模型追求無意策略而不是簡單地響應個人提示的情況。
另讀:獨家:InnerAmper合夥人稱401(k),人工智能將重塑私人市場
照片:Shutterstock