OpenAI發(fā)布CoT監(jiān)控,阻止大模型惡意行為
ePRICE易價優(yōu)選跨境快訊2025-03-112990
OpenAI發(fā)布了最新研究,用CoT監(jiān)控的方式,可以阻止大模型胡說八道、隱藏真實意圖等惡意行為,同時也是監(jiān)督超級模型的有效工具之一。
OpenAI使用了最新發(fā)布的前沿模型o3-mini作為被監(jiān)控對象,并以較弱的GPT-4o模型作為監(jiān)控器。
測試環(huán)境為編碼任務,要求AI在代碼庫中實現(xiàn)功能以通過單元測試。
結果顯示,CoT監(jiān)控器在檢測系統(tǒng)性“獎勵黑客”行為時表現(xiàn)卓越,召回率高達95%,遠超僅監(jiān)控行為的60%。
本文內容根據(jù)網絡資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點和立場。
轉載請注明,如有侵權,聯(lián)系刪除。