Finews

台灣最好懂得財經、科技新聞網!

帶給你最有用的新聞資訊。

OpenAI「生物風險防護」升級!AI模型築起安全防線

OpenAI 為其 o3 和 o4-mini 模型加入了新的生物風險防護措施,防止其被用於製作生物或化學武器。了解 OpenAI 如何透過安全系統監控使用者輸入,拒絕回應危險提示,以及研究人員對 OpenAI 安全性的擔憂。

“`html



<a href="https://finews.tw/tag/ai/" target="_blank">OpenAI</a> 為新 AI 模型加入生物風險防護措施

  • 重點一: OpenAI 為其最新的 o3 和 o4-mini 模型加入新的安全系統,防止模型提供製作生物或化學武器的建議。
  • 重點二: 該系統會監控使用者輸入的文字,如果偵測到與生物或化學威脅相關的提示,就會拒絕回應。
  • 重點三: OpenAI 表示,雖然這些模型沒有達到「高風險」等級,但與之前的模型相比,它們在回答有關開發生物武器的問題時,變得更「有幫助」。
  • 重點四: 一些研究人員擔心 OpenAI 對安全性的重視程度不夠,並且測試時間不足。

OpenAI 為新 AI 模型加入生物風險防護措施

OpenAI 近期宣布,他們為最新的 AI 模型 o3 和 o4-mini 加入了一項新的安全措施,以防止這些模型被濫用,造成生物或化學風險。簡單來說,這項措施就像一個「安全警衛」,會檢查使用者輸入的文字,確保 AI 不會提供製作危險生物或化學武器的建議。AI 模型防範生化威脅,插畫風格

根據 OpenAI 的安全報告,o3 和 o4-mini 在理解和回答問題的能力上,比之前的模型更強大。然而,這也意味著如果被壞人利用,可能會造成更大的危害。OpenAI 內部測試顯示,o3 在回答有關製作某些生物威脅的問題時,能力有所提升。 因此,OpenAI 開發了一個「安全導向的推理監控器」,以減少這些潛在的風險。

這個監控器就像一個額外的保護層,會仔細檢查使用者輸入的內容,並判斷是否與生物或化學風險相關。AI 安全監控器偵測並阻擋危險提示,插畫風格如果監控器偵測到任何可疑的提示,它會指示模型拒絕回答。為了測試這個監控器的效果,OpenAI 讓一些專家花費了約 1000 個小時,嘗試從 o3 和 o4-mini 中引導出「不安全」的對話。結果顯示,在模擬測試中,模型拒絕回應危險提示的比例高達 98.7%。

OpenAI 也坦承,這個測試無法完全模擬真實情況,因為有些人可能會嘗試用其他方式來繞過監控系統。因此,他們仍然會依賴人工監控,以確保安全。OpenAI 強調,雖然 o3 和 o4-mini 沒有達到他們設定的「高風險」標準,但它們在生物武器開發方面的能力確實比之前的 o1 和 GPT-4 更強。OpenAI 為 AI 模型增加安全措施,插畫風格

OpenAI 正在積極追蹤他們的模型如何被惡意使用者利用,以開發化學和生物威脅。為了降低風險,OpenAI 越來越依賴自動化系統。例如,為了防止 GPT-4o 的圖像產生器創造兒童性虐待材料 (CSAM), OpenAI 使用了類似於 o3 和 o4-mini 的推理監控器。不過,一些研究人員也表達了擔憂,認為 OpenAI 對安全性的重視程度不夠。其中一個合作夥伴 Metr 表示,他們用來測試 o3 在欺騙行為方面的時間相對較短。此外,OpenAI 決定不發布其 GPT-4.1 模型的安全報告,而該模型在本週稍早才發布。

OpenAI 生物風險防護
常見問題(FAQ)

  • 問題一:OpenAI 為什麼要為 AI 模型加入生物風險防護?
  • 回答:為了防止 AI 模型被濫用,用於開發生物或化學武器,造成潛在的危險。

  • 問題二:這個生物風險防護系統如何運作?
  • 回答:系統會監控使用者輸入的文字,如果偵測到與生物或化學威脅相關的提示,就會拒絕回應。

  • 問題三:OpenAI 如何測試這個防護系統的有效性?
  • 回答:OpenAI 讓專家花費約 1000 個小時,嘗試從 AI 模型中引導出「不安全」的對話,並觀察模型的反應。



“`

Finews 編輯
Finews 編輯

台灣最好懂得財經新聞網,立志把艱澀的財經、科技新聞用最白話的方式說出來。

文章: 398

發佈留言