“我們知道世界將會不同。一些人笑了，一些人哭了，絕大多數人沉默不語?！?945年7月16日凌晨5點30分，第一次核試驗后，原子彈之父羅伯特·奧本海默如是說。

如今，AI正在越來越多地被拿來與核武器類比，也被認為是“人類最后的技術”。

近日，智源大會舉辦的兩天內，大模型創業者像明星一樣被人群緊緊圍繞、合影。盡管極少談論商業版圖，他們的言論仍舊被迅速擴散開來。當AI從業者享受前所未有的追捧時，有關AI安全的討論也成為重中之重。

當外界還在聚焦于GPT5何時發布，重磅炸彈是什么時，他們提問：如果AI能力被壞人拿走了，將會發生什么？如果AI可以控制現實世界，人類該怎么辦？

來自北京和加州的世界頂尖科學家們都對AGI的發展表達了擔憂，圍繞AI安全問題展開激辯。他們呼吁政府強有力的監管必須介入AI發展。一個更安全的AI，也意味著更多層面更精細的監管，AI的技術增速放慢。

與之前技術中立不同的是，多位科學家直言：AI是一個新物種，而非一項新技術。

“我們正處于人工智能的‘奧本海默時刻’?！盡IT人工智能與基礎交互研究中心教授Max Tegmark提醒道，人類距離第一個AI核彈只有幾年的時間。

危險的AI

2019年，Stuart Russell來到清華大學開講座，他剛剛出版了《人類兼容：人工智能及控制問題》一書，給清華大學人工智能學院院長、圖靈獎得主姚期智留下深刻印象。

“這不僅僅是作為人的純粹的智力追求，全世界都已意識到問題的嚴重性?！币ζ谥欠Q，AI與人類過往經驗不同，過去是壞人試圖利用工具作惡，但現在，這個工具可能就是對手。真正的難題在于：人類如何在新的環境中生活？如何與一個比人類更聰明的新物種共存？原則上，這是站不住腳的，兩個超級物種很難在地球上共存，并達到平衡。

智源研究院學術顧問委員會主任張宏江則表示，AI可以被應用于任何目標，好或者壞的，就像核武器。AI正在以一種超級快的速度進化。對此，Stuart Russell認為，必須要做好計劃，不能任由其像科幻小說的發展那樣失控，“那些被認為發生在未來遙遠宇宙的事情，可能很快就要發生。”

AI有潛力改善人類生活，但關鍵在于，如何看待AI這一技術？

有人認為，人類是可有可無的，只要有高智商的機器在地球上運行，就是一個完全可以接受的選擇，這是最可怕的事情。Stuart Russel措辭嚴厲地指出，人類作為一個物種，只能選擇安全、有益的AI，要絕對保證AI不會失控，不會傷害我們，“如果沒有保證，唯一的選擇就是簡單地結束人工智能的發展。”

張宏江則表示，潛在的財富加速集中，與可能的工作兩極化，大模型將帶來新的工業化革命，人們應該關注新的經濟體系以及隨之而來的風險。過去六個月，并非每件事都那么美好，并非一切都在掌控之中，OpenAI的超級對齊團隊解散是一個危險的信號?！皩R是確保AI安全的重要步驟，具有人類價值，但我們是否投入了足夠的資源來自救？我們能采取什么行動？”

“我們只有2到4年的窗口期來解決這一問題。”Google DeepMind前沿安全與治理主任Allan Dafoe作出這一判斷。在他看來，即將到來的是一種新的生命形式，一個新物種，它將比我們更有能力，要部署比人類水平更高的系統。人工智能文明將很快超過人類的數量，或許會達到1:100，1:1000，甚至更高的人機比例。

在AI技術尚未完全開發出來之前，人們陷入對監管的迷茫：AI安全的目標是什么？

作為這一輪AI技術的最有力推動者——Open AI吸足“火力”。例如奧特曼說，OpenAI的愿景是創造一個安全和有益的AGI，并采取相應的措施來減輕或消除這些風險和影響。Stuart Russell對此持批評意見，稱這顯然是倒退，“一旦你做了一個AI，它還不安全，那就太晚了，你沒有另一個十年的時間來弄清楚如何讓它安全。”制造安全的AI就意味著在一個狹窄的框架內開發AI系統。

“大模型將保持其數據私密性，無論公司對軟件做出什么聲明，都不可信?！睋﨧ax Tegmark透露，Open AI的技術水平已經達到GPT4.5，“奧特曼是一個聰明的家伙，我們需要認真地對待他。”

美國最近的一項研究表明，最好的AI系統愚弄了42%的人，讓人類以為它是人。Anthropic的達里奧·阿莫給出了一個數字，人類有10%-25%的可能性被AI消滅。

解決之道

為應對AI安全風險，智源將AGI水平和能力劃分為0-5級。第3級時，AI的感知和認知能力同時超越人；第4級，當機器從具備意識進化為具備自我意識，人類將淪為次等物種。第5級是AGI的認知不再源于人類知識，AGI神經結構超越人類大腦，形態和智力水平都超出了人類想象，可以適應不同的物理環境，開始宇宙智能進化的新歷程。

AI技術的發展速度正在呈指數級增長，但監管尚未跟上，這正是科學家們擔心的。

Max Tegmark認為，人工智能的監管應該像醫藥、航空和核能等領域，“切爾諾貝利事件”的出現則會直接摧毀整個核工業。沒有安全，就沒有好處。

當法律要求AI系統應該輸出真實準確的信息時，很多AI業界的人抱怨這太難了，他們無法實現。鑒于大模型算法無法強制執行，AI系統發展的合理規定都將遭到強烈抵制，因為任何合理的規則都會限制技術開發。

Max Tegmar等多位科學家建議，應該樹立AI行業監管規范，例如美國的FDA、中國的國家藥品監督管理局、中國民用航空局，有嚴格的藥品和航空安全標準，政府對這些行業負有監管責任，產品只有達到安全標準才能上市。

這些頂尖科學家們主要呼吁從以下三方面對AI實施安全監管。

一是治理AI安全，全球合作至關重要。盡管國際合作是出了名的緩慢，但人工智能的風險是全球性問題，對人類構成了重大甚至極端的風險。人類需要一個以AI安全為主題的大型國際組織。現在全球有30多個主要研究中心，但這些中心缺乏協調溝通，很多工作只能自主行動。

其次，應當先有政府和行業聯合制定的統一標準，再銷售可信任的人工智能系統。

Max Tegmark表示，必須實施真正的安全標準，以強硬的法律作為后盾，讓人工智能像其他行業一樣被規范和約束。中國是第一個實施嚴格人工智能安全法規的國家，而歐盟也在今年3月通過了《人工智能法案》。

再者，“紅線”的概念讓AI安全變得具體可行。今年3月，Geoffrey Hinton、姚期智、Stuart Russell、傅瑩等30余位專家，共同擬定并簽署了《北京AI安全國際共識》，為AI劃定五條不可逾越的紅線：自主復制或改進、權力尋求、協助武器制造、網絡安全、欺騙。

上述專家們指出，人們不能僅僅是討論AI安全與否，因為安全和不安全很難區分，應劃定紅線并要求AI不能越過這些紅線。讓AI像藥品、核電站、飛機一樣，接受合理、安全的監管。

值得關注的是，這一共識并不具有真正的法律效應和強制監管的屬性。姚期智認為，從長遠來看，人類會建立一套與密碼學類似的基礎科學工具，主要處理知識的生產和分配，以及誰應該擁有何種知識。

Max Tegmark也強調，AI革命將帶來巨大危險，如果不以一種安全的方式制造它，所有人都是輸家，只有機器會贏。