先從回顧開始。以最大的尺度觀察歷史，歷史似乎展現一連串明顯的成長模式，每次都比前一次更加快速。這樣的模式預示了另一波（更快速的）成長模式。然而，我們並不打算著重這個觀察結果。本書的主旨並不是探討「技術加速」或「指數成長」，或是那些五花八門、偶爾會集結在「技術奇點」（注：singularity，根據科技發展史總結出的觀點，認為人類正在接近一個使現有科技被完全拋棄、或人類文明被完全顛覆的事件點，事件點過後的事件完全無法預測）標題下的概念。本章我們將回顧人工智慧的歷史，並探索此領域的現有能力。最後我們將看看近期專家的意見，深刻檢討我們對未來進展時間表的忽略。

希望與絕望的季節

1956年夏天，十位對神經網路、自動機理論（automata theory）和智慧研究有興趣的科學家在達特茅斯學院（Dartmouth College）召開了一場為期六週的工作坊。這項「達特茅斯夏季計劃」可說是人工智慧領域研究的黎明。許多參與者日後都被視為人工智慧的創始人。

這群人的樂觀展望反映在他們交出去的提案中（收件者為出資的洛克斐勒基金會〔Rockefeller Foundation〕）：我們提議進行一項為期兩個月、投入十人的人工智慧研究……這項研究進行基於下述推測：學習的每一面向或任何一種智慧的特徵，基本上都可以精準描述，並由一組機器來模擬。我們將找出讓機器能使用語言、產生抽象概念、解決人類問題，以及自我增進的方法。我們認為，若能精選出一組科學家共事一夏，上述問題（至少一個以上）會有長足的進展。

如此盛氣凌人的開場之後，人工智慧領域就在一段段炒作、期待、挫折和失望之間，交替了將近一甲子的歲月。

第一個令人興奮的時期始於達特茅斯會議，也就是日後約翰．麥卡錫（John McCarthy）所謂的「媽媽，你看我沒用手！」時期。當時，懷疑論的主張非常普遍（像是「絕對沒有機器能做到XX！」），早期研究者打造的機器往往是為了反駁這類主張而生。為此，人工智慧研究者打造了小型系統，在「微型世界」裡達成目標（在一個定義明確且設限清楚的範圍內，讓一個減量版的行動成立），藉此提供概念證據，證明原則上機器是可以做到XX的。一個叫做「邏輯理論家」（Logic Theorist）的早期系統，能證明阿爾弗雷德．諾斯．懷特海德（Alfred North Whitehead）和伯特蘭．羅素（Bertand Russell）合著的《數學原理》（Principia Mathematica）第二章中大多數的定理，甚至能想出更優雅的證據，破解了機器「只能數字化思考」的概念，展示機器也能演繹並創造邏輯證明。

接下來，一個名為「一般問題解決器」（General Problem Solver）的程式，原則上解決了各種形式單一明確的問題。 接著，有人寫出可以解決大一微積分課程的問題、某些智力測驗出現的視覺類比問題，以及簡易言語代數問題的程式。 「沙基」機器人（Shakey robot，運作時會震動）確立了邏輯推理可與知覺統整，並用來計劃及控制物理活動。 「艾莉莎」（ELIZA）計劃則展示了電腦模仿採取個人中心治療（注：Rogerian，以創始人卡爾．羅哲斯為名的治療，強調當事人的正面成長與發展，而非治療技巧）的精神治療師。 1970年代中期，SHRDLU程式展現了一個處於模擬幾何塊狀世界中的模擬機器手臂，手臂能根據指示，以英語回答使用者輸入的問題。 接下來幾十年打造的系統證明，機器可以用各種古典作曲家的風格譜曲。在某些臨床診斷工作上，機器甚至表現得比資淺醫生還要好。機器也可以自動開車，或做出能獲得專利的發明物。 甚至還有人工智慧會說原創笑話 （這並不是說它有多幽默——「帶著精神物穿過視覺器官，會得到什麼？一個洞見。」——據小孩子說，它的雙關語還滿有趣的）。

但後來事實證明，這些早期實作系統的成功途徑很難延展到更多樣或是更難的問題上。其中一個理由在於，可能的「組合爆量」（combinatorial explosion）多到系統得仰賴窮舉搜尋法來進行。這種方法在問題簡單時可以運作得不錯，但要是問題變得複雜，就不管用了。舉例來說，在一個有一條推理規則和五個邏輯公理的演繹系統中，若要證明某個有五行證明的假說，我們可以輕易算出共有3,125種組合，接著一條條檢查，就能得出預期的結論。窮舉搜尋在證明只有六、七行時也能運作，但當問題的難度愈來愈高，沒多久窮舉搜尋就會故障。若要用窮舉搜尋做一道五十行的證明，所花的時間不是比五行多十倍，而是需要組合550≈8.9×1034種可能的序列——就算用最快的超級電腦，計算上都不可行。

……

我們發現，智慧和終極價值之間的連結相當鬆散。我們也在前章的工具價值中發現不太妙的工具趨同性。在弱小的行動主體身上，這不是什麼大問題，畢竟弱小的行動主體很容易控制，且不會造成什麼損害。但我們在第六章已經證明，第一個超智慧很有可能會取得關鍵策略優勢，因此它的目標會決定宇宙稟賦將如何使用。現在我們就來看看這樣的前景威脅有多大。

智慧爆發的預設結果是「生存災難」？

生存風險指的是會造成地球原生智慧生命滅絕，或是永久毀滅未來發展的威脅。基於領頭者具有關鍵優勢、正交命題以及工具趨同命題，我們現在可以探究「機器超智慧誕生的預設結果必是生存災難」這個論點。

首先，我們討論了最初的超智慧會如何獲得關鍵策略優勢。接下來，超智慧將處於一個會形成單極、且形塑地球原生智慧生命未來的地位。那一刻來臨之後將發生什麼事，則取決於超智慧的動機。

再者，正交命題認為，我們不能隨便假定一個超智慧理所當然會與人類的智慧與發展共享任何一種終極價值——例如對科學的好奇心、對他人的善良關懷、精神啟迪與深思、克制物質貪欲、對精緻文化和生命簡單愉悅的品味、謙遜與無私等等。後文我們會思考，我們是否有可能刻意創造出一個重視這些價值的超智慧，或是打造一個重視人類福祉和道德良善的超智慧（或設計者希望超智慧效忠的任何目的）？打造一個把終極價值放在計算圓周率小數點後展開位數的超智慧並非不可能，事實上就技術角度來說，反而比較簡單。這就表示（一點也不費工夫的結論），第一個超智慧可能會有這種隨機或是簡化的終極目標。

第三，工具趨同命題讓我們不能隨便假定，一個以計算圓周率展開位數，或是以製造迴紋針，或是以數算沙粒為終極目標的超智慧，會把活動限制於此，便不再侵犯人類的利益。具有那種終極目標的行動主體可能會有趨同工具理性，讓它在各種情況下都想要獲取數量無限的物理資源。若有可能，它會把自身和目標系統的潛在威脅全數消滅。人類也有可能成為它的潛在威脅，畢竟人類的確也是一種物理資源。

綜觀這三點，我們可以指出，有可能形塑地球原生生命未來的第一個超智慧，很容易會有非人性的終極目標，而且很有可能會把無限制的資源擷取當做工作理性。當我們進一步反思，人類其實是由有用的資源所構成（方便鎖定的原子），而且我們的生存與繁盛緊繫更多的在地資源，導出結果就會很簡單：人類很快就會被滅絕。

……

先知

有人會說：「做一個回答問題的系統就好啦！」或是「做一個像工具而不像人的人工智慧就好啦！」但這種主張並不會讓各種安全疑慮消失。事實上，哪一種系統能提供最好的安全遠景，是個重大問題。我們來思考四種「階級」：先知、精靈、君王、工具，並解釋它們之間的關係。 在探究怎麼解決控制難題的過程中，我們將會看到每種階級各不相同的優劣。

先知是個回答問題的系統。它能接受用自然語言提出的問題，並以文字呈現答案。只接受是／否問題的先知，可用單一位元輸出它的最佳猜測，或是再多幾個位元來呈現它的信心程度。接受開放式問題的先知會需要一些度量，藉以將可能的答案依資訊性（informativeness）或適當性（appropriateness）來排序。 不管在哪種情況下，打造一個具有全面領域通用能力、以自然語言回答問題的先知，面臨的都是「AI完全」問題。如果它辦得到，就有可能也打造得出像了解人類言語一樣能了解人類意圖的人工智慧。

一個僅具備限制領域超智慧的先知並不難想像。舉例來說，我們可以設想一個數學先知，它只接受以形式語言表達的問題，卻十分擅長回答這類的問題（例如能瞬間解決人類數學家得集體花上一個世紀才能解開的絕大多數數學難題）。這樣的數學先知將成為邁向通用領域超智慧的墊腳石。

在極限制的領域中，其實早就有超智慧先知存在。口袋計算機可看做基本算術問題的極限制先知；網路搜尋引擎則可看做極小幅度實現「某一包含整體人類知識之重大部分領域」的先知。這些領域受限的先知，與其說是行動主體，不如說是工具（等一下我們會多談談工具人工智慧）。不過在下文中，「先知」這個詞如果沒有另外聲明，都會用來指稱擁有通用領域超智慧的回答問題系統。

若要創造一個通用超智慧做為先知，我們可以同時運用動機選擇法和能力控制法。先知所需的動機選擇，可能比其他階級的超智慧容易，因為先知的終極目標相較之下很簡單。我們要先知提供真實且非操作性的答案，否則就限制它的影響力。應用馴服法，我們可以要求先知只運用指定的資源來產生答案。舉例來說，我們可以事先規定，先知的答案必須基於預先裝設好的資料庫，例如儲存的網路快照，且只能使用固定次數的運算步驟。 為了避免刺激先知操縱我們給它較為簡單的問題——如果我們給它的目標是「在所有我們問的問題中都將自己的正確度最大化」就會發生——我們可以給它「只回答一個問題，並在給出答案後立刻終止」的目標。問題會在程式運作前就預先裝在它的記憶中。若要問第二個問題，我們就得重新啟動機器，並以記憶體中預先裝入的另一個問題來運行同一套程式。

就算只是具體運作先知所需相對簡單的動機系統，微妙且潛在的背信挑戰還是會出現。舉例來說，假設我們有了關於「對人工智慧而言，『達到某一結果並對世界的影響最小化』的意義是什麼？」或是「對人工智慧而言，『只使用指定的資源來準備答案』的意義是什麼？」的說明，那麼假使人工智慧在發展智慧的歷程中，經歷了一場有如科學革命的基礎本體論改變，那會發生什麼事？ 我們有可能已經先用我們自己的本體論（假定了像是電腦等各種物理性物體的存在）說明「影響」和「指定的資源」，但就像我們拋棄過往科學家視為理所當然的本體論範疇那樣（例如燃素［phlogiston］、生命衝力［Élan vital］和絕對同時［absolute simultaneity］），超智慧有可能會發現，我們目前某些範疇的基礎奠基在基本的誤解上。經歷這種本體論危機的人工智慧目標系統需要夠有彈性，其原始目標內容的「精神」才能維持下去，並且轉移到新的關鍵概念上。

透過動機選擇來維持先知的安全性，儘管不是多簡單的事，但要在那種漫步全球只為追求複雜目標的人工智慧上做同樣的事，卻只會更加困難。這是種偏好「第一個超智慧要是先知」的論點。另一種優先支持先知的論點認為，先知容易受到能力控制法的影響，所有標準的盒裝法在此都適用。此外，還有一些方法對先知特別有用。舉例來說，假設一個先知回答問題時不以真實的方式回答，而是以一種稍微操弄我們的方式回答，好推動它自己隱藏的議程，那我們可以想想這會有什麼風險。稍微緩和這種威脅的方法之一，就是創造好幾個先知，每個先知都有稍微不同的程式碼和略為不同的資料庫。接著使用一個簡單的機制來比較每個先知所給出的答案，並只在它們給出的答案都一致時，交給人類檢閱。雖然我們必須假設，任何一個通用領域的超智慧先知都知道其他先知的存在（它可以從手上的人類社會相關知識推測出來），但我們還是可以把每個先知的執行細節都稍做隱藏，不讓其他先知看到。如果先知無法彼此聯絡，那麼它們透過協調而在給我們的回答中動手腳，就會比較困難。偏離事實有很多方法，先知們可能無法在「哪個偏差比較有吸引力」這件事情上一致——儘管真實本身是個謝林點（Schelling point，一個在沒有聯繫的情況下意見一致的匯合點），因此如果先知出現共識，就是給出正確答案的信號。

緊要關頭

我們發現自己處在錯綜複雜的策略難題中，被不確定的濃霧包圍。雖然釐清了許多思路，但其細節和相互影響依舊不清楚，而且可能還有我們尚未想過的其他因素。在這種窘境中，我們該做什麼？

因此，我們要專注在不但重要而且急迫的難題上，因為難題的解答在智慧爆發之前就必須取得。我們也要留意不該著手處理有負面價值的難題（例如解決起來會有害的那種）。舉例來說，有些人工智慧領域的技術問題之所以具負面價值，是因為解答可能會加速機器智慧，卻沒有同樣加速開發控制方法，使機器智慧革命讓人類存活並受益。

要辨認出緊急而重要的難題，且又能確信其有正面價值，恐怕並不容易。圍繞著減緩生存風險的策略不確定性，代表著就算出於好意的介入，我們還是得擔心最終可能不僅無效，甚至可能造成反效果。若要限制因為做有害或道德錯誤的事而造成風險，我們應該要去處理那些看起來價值強烈正面的難題（也就是其解答在各種情況中都產生正面貢獻的難題），並採取強烈正當的手段（也就是能被各種道德觀所接受的手段）。

在選擇難題的優先處理順序上，還有一個進一步的必要事項得考慮。我們想要處理那些對我們的努力而言有彈性的難題。在同一個單位的努力下，可以更快速或是更大幅度解決的難題，屬於較有彈性的難題。在世上鼓吹更多善意，是個重要而迫切的難題——此外，也是相當強烈正面價值的難題；然而，該怎麼處理它，我們卻沒有突破性的想法，所以這個難題只算得上彈性相當低的難題。同理，人類極度需要世界和平；但想想人類已為此投下的無數努力，以及快速解決所面臨的重重恐怖障礙，就會覺得即便再多一兩個人的貢獻，恐怕也很難造成什麼改變。

為了降低機器智慧革命的風險，我們建議兩個最符合所有必要事項的目標：策略分析和能力打造。我們對這些參數跡象比較有信心——更多策略洞見和更多能力就是更好。更進一步來看，這些因素是有彈性的：多增加一點投資，就可以產生相對大的差異；增加洞見和能力也很急迫，因為這些因素在早期的提升，可能會產生加倍的效果，讓大量的投入變得更有效率。除了這兩個大目標外，我們將指出另外幾個也有潛在價值的先行目標。

超智慧