【國際安全研究】劉楊鉞：全球安全治理視域下的自主武器軍備控制

作者：劉楊鉞，國防科技大學文理學院副教授

來源：《國際安全研究》

全球安全治理視域下的自主武器軍備控制*

劉楊鉞

【內容提要】 隨著人工智慧的飛速進展，不斷智能化的自主武器日益顯現出倫理和安全風險，使得限制或禁止自主武器成為全球安全治理領域的新興議題。相比其他軍控對象，自主武器軍控進程在過去幾年中獲得較快推進，其中《特定常規武器公約》會議已決定設立政府專家組專門探討自主武器問題。文章系統梳理了自主武器軍備控制的概念、倫理和安全爭議，旨在通過這種梳理更好地理解自主武器軍控進程發展的動因，並對這一進程的未來走向做出預測。當前，自主武器軍備控制的主要動因集中在道德層面，特別是讓機器自主決策殺傷引發的倫理憂慮。而從安全層面看，自主武器蘊涵的安全風險在其他新興技術領域同樣存在，而發展和使用自主武器帶來的戰略紅利依然顯著，這使得主要國家推動自主武器軍控的意願並不強烈。在權力政治與道德政治的博弈下，自主武器軍控在可預見的時期內將難以形成實質性成果，稍有可能的是通過「軟法」等非約束性方式塑造一定的國際規範。在這個過程中，中國可以發揮更加積極主動的作用，在確保戰略利益的同時營造有利的大國形象。

【關鍵詞】 人工智慧；軍備控制；自主武器；國際安全；安全治理

【作者簡介】 劉楊鉞，國防科技大學文理學院副教授（長沙郵編：410074）。

【DOI】10.14093/j.cnki.cn10-1132/d.2018.02.003

【中圖分類號】 D815.5 【文獻標識碼】 A 【文章編號】2095-574X（2018）02-0049-23

技術變革是國際政治最具結構性意義的宏觀變數，而21世紀以來人工智慧的飛速發展已經吹響下一場重要變革的前奏。近年來，美國、英國、日本等發達國家紛紛推出人工智慧國家發展戰略或宏觀政策報告，顯示出對這一技術領域潛在戰略價值的高度重視。[①]從國際政治博弈來看，人工智慧最首要的價值在於對國家間戰略能力分配的潛在改變。事實上，在過去幾十年里各國均致力於提高武器系統自主能力和智能化程度，以此克服人類處理信息能力的局限性，提升決策速度和提高打擊精度。相關技術已經在各類防空反導預警、精確制導等系統中得到廣泛應用。隨著大數據和機器深度學習的不斷發展，技術的智能化水平出現了根本性飛躍，武器系統獨立完成複雜任務的能力得到顯著增強，人工智慧的軍事化應用似乎已經駛入快車道。

與此同時，人工智慧軍事化蘊藏的風險也開始引發廣泛關注。如斯蒂芬·威廉·霍金（Stephen William Hawking）所言，人工智慧的發展「要麼是人類歷史上最好的事，要麼是最糟的」。[②]一批知名科學家和技術專家多次發出呼籲，要求國際社會採取實質性舉措限制這一危險進程，特別是限制那些致命性自主武器系統（LethalAutonomous Weapons Systems, LAWS）的發展和應用。特斯拉創始人埃隆·馬斯克（Elon Musk）甚至警告，國家間人工智慧的軍備競賽，有可能成為第三次世界大戰的起因。目前，針對自主武器軍備控制的動議已經提上聯合國若干軍控機制的正式議程，並得到部分國家的明確支持。然而，自主武器軍控進程究竟有著怎樣的前景？當前軍控進程取得的較快發展是否意味著國際社會能夠形成實質性的治理舉措？本文從概念、價值和安全三個層面分析自主武器軍備控制面臨的爭議和問題，並對這一進程的發展前景做出推斷。

一 全球安全治理背景下的自主武器軍控動議

基於對話、協調與合作的安全治理逐漸成為冷戰後各國應對全球安全威脅的重要方式，不同於傳統集體安全模式，全球安全治理呈現出許多新的特徵。第一，對人類安全的終極關懷。由於跨國性、全球性安全問題不斷湧現，安全問題的威

脅對象逐漸從單一國家拓展到人類共同體。國際安全也開始更多地聚焦「人的安全」這一根本性問題。[③]關注焦點的「位移」使得那些觸及人道主義準則和人類普遍安全的議題獲得高度重視。第二，受科學技術發展影響顯著。許多新興安全問題的出現，本質上都源於社會技術體系變化的內在矛盾。網路、外層空間、生物、深海探測與開發利用等領域的技術突破，均衍生出新的亟待治理的安全難題。第三，參與治理的行為主體多元化。全球安全治理往往涉及不同的利益攸關方和參與者，除政府外，國際組織、非政府組織、企業、社會團體等行為主體也對治理過程、議題和話語產生影響。[④]多元主體也使得安全治理的方式不再局限於傳統的國家間合作，而是更多地表現為對話交流和綜合協調等形式，自下而上的社會治理有時成為安全治理的主要推動力量。軍備控制領域也日益呈現類似趨勢，「國際反地雷組織」和「國際廢除核武器運動」等案例都或多或少反映出上述特徵的影響。

價值關懷、技術推動和多元治理等因素同樣影響著自主武器軍備控制進程。就第一點而言，涉及人類根本安全和尊嚴的道德關切已經成為自主武器軍控的主要動因，後文將進一步對此進行闡述。從技術發展上看，國際社會對自主武器的關注與武器系統的自動化和智能化發展密不可分。[⑤]這些技術進展使得越來越多的武器裝備在部分甚至多數功能環節——如偵查、跟蹤、目標識別甚至打擊——實現了自主控制。[⑥]

軍備控制進程所體現的特徵則更為明顯。關於限制或禁止致命性自主武器發展的探討，顯現出典型的自下而上的推動過程。對自主武器風險的憂慮首先來自學術界。[⑦]英國科學家諾埃爾·夏基（Noel Sharkey）2007年便撰文提出警告，稱「我們正如夢遊般走入一個新的世界，在何時何地殺傷何人皆由機器定奪……為自主機器人建立國際規則和道德規範勢在必行，否則為時將晚」。[⑧]2009年夏基等學者共同組建了「機器人軍備控制國際委員會」（InternationalCommittee for Robot Arms Control, ICRAC），宗旨是推動國際社會形成具有法律約束力的協定，對自主武器系統的研發和使用加以禁止。2012年「人權觀察」組織（HumanRights Watch）發布了一份題為《反對機器人殺手》的報告，認為武器系統的自主化趨勢將會深刻挑戰法律和倫理規範，因而必須及早訂立未雨綢繆的禁令。[⑨]

在此基礎上，「阻止機器人殺手運動」（Campaignto Stop Killer Robots）於2013年在英國倫敦成立。作為一個聯盟組織，該運動的成員包括人權觀察、大赦國際、ICRAC、帕格沃什科學和世界事務會議（PugwashConferences on Science and World Affairs）、國際和平局（InternationalPeace Bureau）等63個非政府組織。自此，該運動成為國際社會中推動自主武器軍備控制最為積極、也最為顯要的社會力量，通過普及宣傳、學術交流、組織活動等多種方式，深度參與到各個國際組織關於自主武器的磋商會談之中。2015年逾千名國際知名科學家（包括霍金和馬斯克等人）更是聯合發表公開信，警告可能出現的軍事人工智慧的軍備競賽，並呼籲禁止進攻性自主武器的發展。公開信中強調，「人工智慧技術已來到臨界點……其風險異乎尋常……今天攸關人類（生存）的問題在於，究竟是開啟人工智慧的全球軍備競賽，還是從起點上對其加以防範。」[⑩]

在全球安全治理中，多元行為體不僅僅是議題和話語的設置者，也是治理進程的推動者甚至塑造者。來自學術界和公民社會的廣泛呼籲，直接推動了自主武器軍控議題進入政府層面。在聯合國框架下，多個機制都對限制自主武器發展展開了探討。一是人權理事會，其中法外處決、即決處決或任意處決問題特別報告員（SpecialRapporteur on extrajudicial, summary or arbitrary executions）多次向聯合國大會提交報告，分析自主化和人工智慧技術的軍事應用可能給人權和國際人道主義法帶來的衝擊。2010年的臨時報告中就已提出「不應僅強調這種技術進步帶來的挑戰，還應強調積極主動地採取措施和辦法，以確保這種技術促進更加有效地遵守國際人權和人道主義法規的能力得到優化」。[11]二是聯合國大會第一委員會（裁軍與國際安全委員會）。從2013年起，自主武器系統開始成為該委員會每年會議的議題，就自主武器表達關切或憂慮的國家逐年增多。[12]

除了人權理事會和第一委員會，《特定常規武器公約》（Conventionon Certain Conventional Weapons, CCW）會談機制實際上成為自主武器軍備控制的核心平台。從功能上看，《特定常規武器公約》的目的在於對可能造成不必要人員傷亡，或者不加區分地威脅平民安全的特定武器進行限制或禁止，這與國際社會對自主武器的倫理關切比較吻合。在2013年的締約國會議上，與會各方同意於次年設立非正式的專家會議，專門就致命性自主武器系統進行討論。從2014年至2016年，非正式專家會議連續召開了三次，參與者既包括《特定常規武器公約》締約國代表，也有作為觀察員的非締約國代表以及各類國際組織、非政府組織和學術機構的相關專家。討論的議題包括自主武器的技術發展趨勢、概念界定和這些武器所引發的道德、法律和安全等各種問題。[13]2016年底這一進程再次獲得新的突破：12月召開的《特定常規武器公約》第五次審議大會決定成立政府專家組（Groupof Governmental Experts），以便將致命性自主武器的討論提升到更為正式的層面。[14]對於一向進展曲折的《特定常規武器公約》框架而言，自主武器軍控從獲得關注到向前推進的速度可謂不同尋常。[15]

據統計，截至2017年已有19個國家正式表示應採取措施禁止致命性自主武器的發展，包括巴基斯坦、埃及、阿根廷等。[16]然而，這些明確的反對者仍然以中小國家為主，主要大國在限制自主武器問題上存在不少分歧。例如，美國國防部雖於2012年出台條令，規定自主和半自主武器的使用必須以「適當水平的人工判斷」為前提，[17]但其又將人工智慧和機器人技術視為「第三次抵消戰略」的重要基石。[18]一邊是限制其使用，另一邊則是鼓勵相關技術發展。二者之間的張力必然影響到美國在自主武器軍備控制上的政策主張。那麼，應當如何評判自主武器軍控進程取得的進展？本文認為，從概念、倫理和安全三個方面來看，自主武器軍備控制進程要進一步取得實質性成果，仍然面臨多方面爭議的困擾，其前景並不容樂觀。

二 概念層面：自主武器軍控指涉對象模糊

「軍備控制指的是通過限制軍備的發展和使用方式來控制軍備發展水平」，[19]特別是對特定武器系統的數量、類型、性能和使用加以限制。對於自主武器系統軍備控制進程而言，首要問題就在於對軍控對象進行明確界定，[20]因為這直接關係到哪些武器會被禁止而哪些可以繼續使用。

然而，「自主武器系統」並不是一個清晰的概念。「人權觀察」在前述《反對機器人殺手》報告中，將完全自主的武器系統界定為「能夠在無人參與或干預的情況下選擇目標並施加武力」的機器。[21]許多自主武器系統的批評者和組織使用的定義與上述基本相近。例如，彼得·阿薩羅（PeterAsaro）認為，自主武器系統就是那些「不依靠直接的人工監督和殺傷決策，而能夠（自主）定位並發起潛在致命攻擊」的武器系統。[22]聯合國法外處決、即決處決或任意處決問題特別報告員克里斯托夫·海恩斯（ChristofHeyns）則將「自主機器人殺手」（LARs）定義為「一種機器人武器系統，一經啟動，即可在無需人類操作員進一步干預的情況下選擇和打擊目標」。在界定這類武器系統時，「一個重要因素是機器人在挑選目標和使用殺傷力時可以作出自主『選擇』」。[23]進一步說，這類武器系統應當運行於無人監管的開放空間，並依賴感測器實現與任務環境的實時互動。[24]

上述定義大體勾勒出致命性自主武器系統的兩項基本特徵。一是高度自主，即能夠在無人參與的情況下憑藉自身的信息處理能力，獨立完成目標搜尋、識別和發動攻擊的全部過程。二是具有攻擊性的殺傷力，而不僅僅是用於防禦性的偵查、監控、分析等任務。這兩項特徵實際上構建起「機器人殺手」的核心意象——不受人控制而能夠自主決定殺戮的機器。因此，不論是聯合國[25]還是「阻止機器人殺手運動」，在探討致命性自主武器系統時的指涉對象是基本一致的。但對於軍備控制而言，上述定義和特徵仍然過於寬泛。

首先，自主性和殺傷性並沒有充分反映出武器系統的智能化程度，而後者實際上才是國際社會的真正憂慮所在。按照上述定義，許多現行的（甚至部分過時的）武器裝備都會被納入「致命性自主武器」之列。例如，美軍普遍列裝的「密集陣」（Phalanx）近防系統能夠自動搜索、跟蹤、評估和打擊來犯的反艦導彈和飛機，全部作戰流程都是依靠高性能計算機自動完成；以色列20世紀90年代研製的「哈比」（Harpy）無人機則屬於典型的「即發即棄」（fireand forget）的裝備，地面平台將無人機發射後便不再實施操控，由無人機自主探測並摧毀敵方雷達；韓國在朝韓非軍事區邊境部署的超級庇護II（SuperaEgis II）自動炮塔能夠根據熱能和運動來識別目標，這一武器系統原本同樣具有自動發射功能，只是在客戶普遍要求下增加了人工干預環節。[26]諸如此類的武器均具備自主發現目標和實施打擊的能力，因而在一定程度上都符合自主武器的定義範疇。但這樣一來，自主武器軍備控制的目標對象就不僅僅包括尚未出現的高度智能化的武器裝備，也包括大量早已廣泛使用和不斷更新的平台系統，這顯然難以在各國形成普遍共識。

基於此，一些國家和學者在界定自主武器系統時，更加強調這些武器的人工智慧色彩。例如，希瑟·羅夫（Heather Roff）便認為，需要加以限制的自主武器系統不僅僅是能夠自動尋找目標並進行攻擊的武器平台，還必須具備自主學習的能力。[27]也就是說，這類武器不是依靠事先給定的（程序化的）固定特徵來識別目標，而是通過學習來尋找那些並不知悉先驗特點的潛在殺傷對象。而按照英國國防部的說法，自主系統應能夠「理解更高層次的意圖和趨勢。通過這種理解以及對環境的認知，此類系統能夠採取合適的行為來實現預期的效果……自主系統將具有自我意識，其對外部輸入做出的反應應當無異於甚至優於人工系統的反應」。[28]問題是，這樣的定義雖然凸顯了自主武器的智能特性，但也使得概念變得過於模糊。武器的學習能力究竟需要達到何種程度才能真正算得上「自主」？上述定義顯然無法為軍備控制提供切實有效的標準。在羅伯特·斯帕羅（Robert Sparrow）看來，自主武器系統應被理解為一個智能化程度由低到高的連續體，較低的一端是能夠探測重量並據此決定是否引爆的人員殺傷型地雷，另一端則是具備高度人工智慧（甚至類似人類智慧）的武器系統。[29]軍備控制不可能也沒有必要針對這個連續體中的所有武器，但如何劃定（以及是否可能劃定）紅線可能成為軍控向前推進的重要障礙。

其次，致命性自主武器概念中的自主性和致命性特徵都具有變動性，很容易受到技術發展變化帶來的影響。[30]以無人機為例，現有大多數軍用無人機裝備並不屬於聯合國關於致命性自主武器軍控的探討範圍，因為這些無人機往往由人員直接遠程遙控，或者至少其關鍵環節（特別是發動攻擊的決定）需要人的指令性輸入，也就是所謂的「人在環內」（in-the-loop）的控制模式。但隨著戰場環境日益複雜化和戰爭節奏加速以及前述武器自主化帶來的軍事優勢，越來越少的人工干預將成為主流。美國空軍在2009年起草的一份規劃中就已提出，「人的作用將逐漸從『在環內』變為『在環上』（on-the-loop），即僅對特定決定的執行進行監督。同時，人工智慧技術的進步將使系統能夠在法律和政策限定之下完成戰鬥決策和行為，而不必要求人為介入」。[31]隨著人工干預逐漸減少，機器在做出自主決策時如果產生錯誤或偏差，有可能難以被人工監管環節及時發現和糾正。對於軍備控制探討來說，如何準確區分「人在環上」還是「人在環外」（out-the-loop，即事實上無人干預機器決策流程），如何判定對武器系統進行的間接人工干預是否充足，以及如何對武器在實際使用過程中的自主化程度進行核查，似乎都成為頗為棘手的難題。因此，由技術發展引致概念內涵本身的變化，可能阻礙自主武器軍控形成有效共識和可行措施。類似情況也適用於「致命性」特徵。考慮到人工智慧技術的軍民兩用性，非攻擊性的武器平台往往只需稍加改裝或增加組件，就能具備攻擊性和殺傷力。對某種技術應用的簡單禁止，很難確保其不用於其他不適當的用途。[32]

最後，更為重要的是，自主性和致命性特徵並不能反映自主武器系統蘊涵的全部風險。如同下文將要進一步分析的那樣，自主武器系統可能深刻改變戰爭的成本收益，極大降低戰爭門檻，引發國家間的軍備競賽，對傳統的戰略穩定性帶來衝擊，並為各類非國家行為體提供更為便捷但也更加危險的工具。這些風險並不是武器系統自主性和致命性的直接產物。例如，導致發起戰爭成本下降主要是來自武器的無人化狀態，特別是無人作戰對避免己方人員傷亡起到重要的作用。不論武器決策流程是否受到人工干預，這種作用同樣存在。也就是說，僅僅針對自主性和致命性來推動的軍備控制議程，只能管控致命性自主武器系統帶來的部分倫理和安全問題，這將在某種程度上降低對軍控談判必要性和有效性的認識。對主要大國而言，在自主武器的概念上難以達成一致，既是維護各自戰略利益最大化的需要所致，也給通過操縱概念議題進一步鞏固在相關領域的技術優勢提供了可能。[33]

三 價值層面：自主武器軍控的主要動力

致命性自主武器之所以受到國際社會關注，很大程度上來自其對國際規範的潛在衝擊。事實上，對自主武器最為有力的批評意見幾乎都集中在這一層面。具體來看，涉及自主武器倫理價值規範的討論呈現出兩條不同的邏輯。

第一種邏輯遵循結果論（consequentialist）的推斷方式，關注的是行為的後果是否符合普遍的道德關切。就自主武器而言，這意味著使用這類武器產生的後果可能有違道德規範。在這裡，首要的批評意見認為自主武器無法有效區分平民和戰鬥人員。「衝突各方無論何時均應在平民居民和戰鬥員之間和在民用物體和軍事目標之間加以區別」，[34]這一區分原則已成為戰爭法基礎原則之一。自主武器的批評者認為，完全自主的武器系統難以有效區分平民和戰鬥人員，很可能增加平民傷亡風險。要有效進行人員區分，自主武器不僅需要對特定區域內戰鬥人員的可識別特徵進行判斷（例如判斷可疑人員是否攜帶槍支），還必須對非戰鬥人員的特徵也加以識別，否則即使對戰鬥人員的攻擊也可能導致不必要的平民傷亡。[35]此外，區分原則還可能受到其他挑戰：如何區別戰鬥人員和失去戰鬥力的受保護人員；如何區別戰鬥人員和其他持有武器但非敵對方人員（例如維和人員或者單純持有武器進行自衛的平民），等等。這些區分都需要武器系統對極其複雜環境中的諸多可預見和不可預見因素進行準確認知、分析和預測，以現有的人工智慧水平似乎還難以企及。

結果論方面的第二個問題在於，自主武器系統可能深刻改變了戰爭決策規則並降低了戰爭門檻。通常情況下，民眾對戰爭傷亡的敏感性極大影響著領導者做出的戰爭決斷及其進程。[36]例如，越南戰爭後期美國國內反戰情緒的不斷上漲，與美軍在「春節攻勢」等戰役中傷亡日趨增多不無關係。美國在索馬利亞、伊拉克、阿富汗等地的軍事行動中反覆呈現類似情形。而自主武器系統（包括無人機作戰）顯著降低了對己方傷亡的預期，這使得領導者的戰爭決定更容易獲得民眾支持，戰爭開啟後的政治風險也相對較低。實證研究也發現，相較於動用地面部隊或是常規空中打擊，民眾更願意支持無人機作戰。[37]因此，武器系統自主化帶來的低傷亡甚至零傷亡，可能會極大削弱限制戰爭的民意因素，使得戰爭成為更加難以管束的危險工具。聯合國秘書長在1998年的報告中就對科學技術發展的倫理風險提出了警告，認為自主平台能力的增長「打開了一種可能性，那就是各國可以進行戰爭而不受到其人民反對犧牲人命的限制。」[38]按此趨勢發展，國家在戰爭方面的決策將越來越寬鬆，使用武力逐漸淪為僅靠財政和外交的考量，導致武裝衝突走向「常態化」。[39]

此外，自主武器系統的實際效用有時也受到質疑。例如，美軍在推動武器系統自動化發展中的一個重要依據是自主武器能夠降低人力成本，甚至降低對戰鬥人員專業技能的要求。但有的學者指出，這種對於自主武器的期待不過是「技術主義者的盲目熱忱」。從「愛國者」防禦系統和「捕食者」無人機系統的實際使用情況看，自主武器並不能減少人力和訓練成本開支，反而對武器設計人員和操作人員之間的融合提出了更高要求。[40]如果自主武器系統在節約戰爭開支方面不能產生預期的效果，那麼進一步提升武器自動化和智能化水平的重要前提條件便會受到削弱，這對那些主張用效用對衝風險的人而言顯然不是好消息。

第二種論證邏輯沿著義務論（Deontological）展開，其關注的是行為本身是否體現道義準則。從義務論邏輯出發對自主武器的批評更為尖銳。這一視角認為讓機器自主抉擇對人類的殺傷，其行為本身（而不是行為的結果）就有違道德。至少三方面因素支撐著上述批評。

一是責任缺失。自主武器系統的核心特徵在於自主。特別是隨著智能化和學習能力的進一步提升，自主武器的發展趨勢將朝著更少人工干預、更多獨立決斷和更難以預測的作戰後果方向演進。這樣一來，假如高度自主的武器系統由於信息不全、計算失誤、軟硬體失靈等諸多不可預知的原因，導致誤傷（殺）平民或違反了相稱性等基本戰爭法則的錯誤，如何歸責就變成了頗為難解的問題。有學者將這一困境稱為「三難」，即無論是自主武器系統的製造者、執行軍事任務的指揮者，還是武器系統本身，都無法作為機器自主殺傷行為的責任主體。[41]尤其是三者中的後者，承擔責任所意味著的指責、懲罰或獎勵，對武器系統本身均沒有實際意義。這種「責任鴻溝」[42]顯然會使攻擊行為從一開始便不具備合法性。[43]

二是風險不對稱。責任問題主要涉及高度智能化和自主化的武器系統，而風險問題則普遍存在於各個程度的自主武器當中。隨著空中打擊、遠程進攻逐漸成為現代戰爭的主導樣式，風險的天平越來越多地開始倒向平民和技術落後的一方，以美國為代表的西方國家對於戰爭中己方的人員傷亡愈發敏感，而自主武器系統的發展無疑使傷亡風險分配進一步有利於無人化戰爭的發起者。也就是說，自主武器所帶來的己方安全風險的最小化，是以對方安全風險的升高為代價的。即使對受攻擊方沒有本質影響，己方傷亡概率的顯著降低（甚至消失）也會導致戰爭更加有利可圖，而不具備無人作戰技術能力的國家和人口則承受著戰爭的主要代價。這種不對稱的風險分布與傳統戰爭法的基本精神背道而馳，後者要求將非戰鬥人員的安全考慮置於作戰人員之前而不是相反。[44]美國在阿富汗、巴基斯坦等國實施的無人化軍事行動雖仍然受到遠程操控指揮，但其「通過規避美軍士兵在戰場上的傷亡，既使美國國內民眾遠離了戰爭效應，又使戰略家們不被技術進步帶來的邏輯和倫理缺陷所牽絆」。[45]實際上，人工智慧的基礎架構看似是客觀公允的機器演算法，但背後隱藏的卻是不平等的權力關係的進一步固化。正如英國政府首席科學顧問馬克·沃爾波特（MarkWalport）所說，「機器學習可能會內部化在量刑或醫療歷史中存在的所有隱性偏見，並通過它們的演算法外部化。」[46]同樣，自主武器和無人作戰也使不同行為體之間不平等的技術能力轉化為強加在弱勢行為體之上的風險「偏見」。

三是從根本上否定人的尊嚴。戰爭本質上是人與人之間的互動行為，而戰爭法即是由人的互動所產生的社會規範。也就是說，人際互動關係構成了戰爭倫理各項原則（不管是區別原則還是相稱性原則）的基本前提。交戰雙方在步入戰場時，先決條件就是清楚地認識到自己是「選擇」成為戰鬥人員並承擔可能被殺傷的後果。這種認識乃是交戰正義（或許乃至開戰正義）的基礎。而當高度自主化和智能化的武器系統做出攻擊決定時，這種人際互動關係蕩然無存。[47]從某種意義上說，「已經沒有人在決定攻擊對象的生死了」。[48]將人的主觀意念排除在戰爭這一人際互動過程之外，會造成對人的尊嚴的徹底挑戰。

需要指出的是，一些支持者也針對上述批評提出了反駁理由。例如，對於自主武器無法區分平民，有人則認為機器不會像人那樣受到恐懼、憤怒、報復心等非理性因素影響，因而隨著技術不斷進步，自主武器在區別目標對象時或許更能避免種種人為錯誤。[49]但這類反駁理由似乎並不足以平息人們對自主武器價值風險的憂慮，因為這些理由的一個重要前提條件是自主武器也能遵循一定的道德準則，特別是能夠掌握戰爭法和其他的交戰規則。[50]且不論這一點本身是否能在技術上實現，掌握這些規則是否等同於道德其實都具有較大爭議，[51]而以戰爭法作為智能化自主武器的全部道德來源也未必能使其足夠應付戰爭中的所有情境。[52]如果不能預期人工智慧將逐漸發展出近乎於人類的道德能力，那麼對自主武器系統的自主程度和殺傷性能進行一定限制應當是更為合理的選擇。[53]

總的來看，雖然支持者從使用效能等方面出發為自主武器系統進行了辯護，但這類武器的進一步發展可能挑戰傳統戰爭法中的區分原則、相稱原則等基本準則，這些價值風險很難在可預見的未來通過技術手段加以解決，這成為推動致命性自主武器軍備控制進程的主要動因。

四 安全層面：自主武器軍控受制於預期收益

安全問題同樣是軍備控制探討的重要議題。特別是考慮到軍備控制的結果直接影響到國際體系權力分配，安全關切對軍控進程可能起到更為關鍵的作用。要求對自主武器發展加以限制的人認為，這類武器極易引發國家間軍備競賽、顛覆現有力量對比、導致衝突升級和不穩定性，並為非國家行為體提供易於獲取的危險工具。

首先，自主武器或是人工智慧的軍備競賽似乎已是進行時。以無人機發展為例，如前所述，超過90個國家已擁有軍用無人機裝備或相關技術能力，其中美軍無人機占其軍用飛機的比例在2005-2013年間從1/20迅速攀升至1/3。有預測甚至認為到2021年全球無人機市場規模將達到940億美元。[54]隨著軍用無人裝備的急劇增多，無人機的軍事應用將不會局限於反恐和特種任務需要，而一旦這些武器應用於國家間軍事安全互動，現有戰爭樣式和交戰規則都可能重新改寫。更重要的是，沒有人能夠準確預估無人化、智能化戰爭究竟會產生何種圖景。降低的戰爭門檻、膨脹的武器庫規模、不確定的技術演進路徑，這些因素使得自主武器軍備競賽可能成為國家間（尤其是區域國家間）戰略互疑的新來源。[55]與此同時，由於人工智慧發展及軍事應用早在冷戰時期就已開始，自主武器的擴散並不僅限於傳統視域中的無人機等系統，而是可能在各個軍事領域全面鋪開。有學者對此提出警告：「如果自主武器獲得發展和部署，它們將最終在每個領域都安家落戶——（不管是）空中、太空、海洋、陸地或是網路空間。它們將成群捕獵，編織成無人武器系統的複雜網路」。[56]

其次，自主武器對國際體系力量對比的影響至少表現在兩個方面。第一種影響是破壞戰略穩定格局。從冷戰以來，全球戰略穩定的重要基石之一在於大國間相對平衡的核威懾。這種相互威懾局面的前提條件是一方在一定程度上允許另一方擁有適度的核報復能力。而伴隨無人技術的不斷發展，無人武器裝備特性將逐漸從目前強調持續性（續航能力、低能耗）為主，轉向側重速度和隱身性能的突防性為主。日益興起的無人機蜂群戰術同樣為突破防禦體系提供了新途徑。[57]這些變化將使技術發達國家擁有風險更低、打擊效能更大的攻擊工具，從而對對手的戰略威懾能力構成嚴重挑戰。新型無人武器的發展「不僅意味著高度可信的威脅，因為使用這種武器對（己方）人員毫無損傷，而且提供了可升級的遠程精確打擊能力，能夠逃避完善的空中防禦體系」。[58]對於那些原本具有拒止能力的國家來說，下一代無人裝備的機動性、隱蔽性和自主性可能使其基於報復能力的威懾戰略趨於無效。基於同樣理由，成本相對低廉並可長時間蟄伏的水下無人系統，將致使水下作戰環境趨向透明，導致潛艇這一核威懾重要手段面臨較大威脅。[59]第二種影響則來自常規力量方面。發展自主武器所需的資源稟賦或許與傳統武器有所不同，對技術水平的要求顯然高於對人口、能源等要素的要求。在這種情況下，有觀點認為技術發達的中等國家可能是自主武器賦權的最大受益者，因為自主武器系統的快速發展意味著「軍事力量將逐漸與人口基礎脫鉤，而後者傳統上是衡量軍事實力的重要指標」。[60]總之，不論是削弱戰略威懾還是改寫常規力量分配，自主武器都可能為國際體系注入更多不確定性和不穩定性。

再次，自主武器還可能引發衝突升級。由於使用自主武器代價較低，國家行為體可能越來越傾向於使用這類武器來探查對手的能力、決心和回應策略。例如，在2012年的一起事件里，黎巴嫩真主黨使用伊朗製造的無人機，意圖對以色列核設施情況進行偵查，但遭後者空中力量擊落。[61]而在2016年底，美國無人潛航器在南海海域偵察時也引發了外交風波。問題在於，一方面，國家具有強烈動機來利用這種武器獲取情報、增強態勢感知、宣示主張甚至發動有限進攻；另一方面，這些行動的對象國卻並不容易準確判斷行為的真實意圖，例如可能將抵近偵察誤認為先發制人的打擊。自主武器是否能在執行任務時釋放明確無誤的信號來表明自身意圖，可能將成為困擾國家間安全互動的新難題。更何況，對於本身處於敵對或緊張關係的國家而言，自主武器的侵犯行為即便本身並不嚴重，也可能被解讀為對安全利益的嚴重挑釁和更大範圍攻擊的序曲，導致對象國採取更加嚴厲的回應措施而引起不必要的衝突升級。[62]此外，自主武器高度依賴對外部環境的感知和信息交換，由此產生意外事故和人為惡意干預的可能性也會升高。例如，如果無人機在執行偵察任務時，遭到黑客入侵或其他形式的電磁干擾而出現墜毀、撞擊、爆炸等反常行為，[63]同樣可能引起目標對象的誤判和升級回應。

最後，非國家行為體（尤其是恐怖主義組織）可能掌握並使用此類武器，構成了對自主武器安全憂慮的另一重要理由。自主武器技術及其裝備具有顯著的軍民兩用性，而且一些小型無人裝備的成本逐漸降低，非國家行為體從公開渠道獲取相關裝備並進行加工、改造的難度並不大。同時，無人裝備可以採取遠程操控甚至自主操控的方式完成打擊任務，這似乎與極端分子青睞的暴力行為模式相當匹配。美國聯邦調查局在2011年偵破並預防了一起針對五角大樓的恐怖襲擊，策劃者所考慮使用的手段便是通過無人機裝載爆炸物進行空襲。英國反恐專家則提出警告，認為恐怖分子有可能利用無人機對民航客機進行攻擊。[64]使用自主武器發動恐怖襲擊可能還具有一定的象徵意義。戴維·鄧恩（David Hastings Dunn）便指出，「考慮到美英在伊斯蘭世界大量使用無人機帶來的爭議，有能力使用這種武器對其本土（美國和英國）發動攻擊，以一種非對稱戰爭手段對稱地做出回應，對許多恐怖組織而言頗具吸引力」。[65]因此，在一些人看來，更加智能的自主殺傷技術落入非國家行為體手中，只會助長恐怖主義和其他危險行為，增加國際體系面臨的安全威脅。[66]

假設這些安全風險真實存在，但它們是否已經足夠強烈，以至於必須通過對自主武器加以限制才能避免呢？在這一點上存在著許多尖銳的反對意見。這些質疑集中反映在以下幾個方面：

首先，上述安全風險在其他技術領域同樣存在，而這些領域的軍備控制有的甚至尚未在國際社會形成粗淺共識。在這一點上，網路武器提供了很好的例證。[67]網路武器本質上是數據代碼，這使其獲取、傳播和擴散都較為簡單；由於網路攻擊在物理層面的破壞效應日益突出，特別是在伊朗核設施遭受病毒攻擊後，網路武器對於戰略穩定性的負面影響開始受到廣泛關注；恐怖分子利用網路攻擊造成關鍵基礎設施癱瘓和社會混亂的場景假定也屢被提及。總之，網路武器同樣可能為國際體系帶來嚴重安全風險。[68]然而，雖然一些國家已經掌握了較為發達的網路攻擊能力，並積極利用網路技術進行信息竊取和情報活動，但高度破壞性的網路攻擊（特別是針對民用基礎設施的攻擊）卻極少出現。[69]與之相應，網路空間軍備控制的可行性和必要性一直處於爭議之中。[70]國際層面雖有關於網路空間行為規範的若干動議，但網路軍控進程並未獲得實質性推動。既然網路、全球快速打擊、反衛星等新技術手段帶來的安全威脅更加現實和深刻，而針對這些技術裝備的軍控進程始終躑躅不前，那麼以（相對較弱的）安全風險為理由推動自主武器軍備控制就必然面臨更大阻力和反對。網路空間並沒有出現大規模的災難性衝突，對此一種可能的解釋是，對關鍵基礎設施（特別是民生設施）的攻擊容易觸碰和違背國際法的基本原則，從而將國家置於國際道義的巨大壓力之下。也就是說，國家行為體在使用新興武器技術時有可能會進行自我剋制，以避免過度暴力。如果這一邏輯成立，那麼給自主武器系統設限實屬多此一舉，因為國際人道主義法已經為武器使用提供了總體規則，同樣能夠對自主武器系統起到充分的約束作用。[71]

其次，自主武器為國家行為體帶來的戰略收益可能對衝上述安全風險。雖然掌握和使用自主武器的低門檻蘊涵著諸多風險，但恰恰是這些特點使得自主武器較之常規武器而言，潛在的應用範圍更廣且靈活性更強。對於國家行為體來說，自主武器能夠減輕其發起和參與對外軍事行動時可能面臨的國內輿論壓力，增加執行任務的工具選項。特別是在必須做出某種姿態但又需避免局勢過度惡化的情況下，自主武器可以降低做出姿態的潛在成本。美國在過去十多年裡陸續在巴基斯坦、葉門等地開展無人機反恐行動，年均進行空襲有數十次之多，[72]但國內反對聲音相對於伊拉克和阿富汗戰爭來說並不顯著。而從空襲有效性來看，有研究發現美國的無人機反恐確實降低了恐怖活動的頻率和規模。[73]無人機空襲行動在奧巴馬任內達到頂峰，或多或少也是從小布希政府的「有人」戰爭「雖勝尤敗」吸取了教訓。與此相類似，德國、以色列等國家研究人員也認為，幾乎可以忽略的己方傷亡是無人機等自主武器最突出的戰略價值。[74]因此，相比其潛藏的安全風險，自主武器能夠提供的紅利卻是觸手可及、實實在在的。成本收益分析影響著國家（特別是技術優勢國家）推動軍備控制的意願，這一點在自主武器領域顯然也不例外。

最後，上述主張自主武器存在嚴重安全風險的觀點，部分也被認為言過其實。例如，針對自主武器技術會引發軍備競賽和技術擴散的看法，有學者認為這種擴散效應不會特彆強烈，因為高新技術的擴散和軍事應用需要強有力的組織能力和基礎設施支撐，即便美國、英國、德國這些技術發達國家，在推廣無人作戰模式時也面臨重重困難。[75]而在極端分子可能利用自主武器這一點上，相反的觀點則認為與現有無人裝備相比，恐怖分子可能更加青睞他們早已熟悉的攻擊裝備和襲擊模式，對許多恐怖活動目標來說自主武器或許並不是更優的選擇。[76]換種思路，假如恐怖分子遲早會掌握自主武器技術，國家行為體更不應當否定這種武器，最好的做法應該是繼續推動其發展，以提高防禦能力。[77]

綜上所述，自主武器及相關技術發展或許會給國際安全互動帶來新的挑戰。但就現實性而言，自主武器的安全風險並不如網路武器、太空武器等那般明顯，前述提及的一些風險（例如武器擴散和可能導致衝突升級）都被認為是高新技術武器化的共有特徵，而且這些風險的真實嚴重程度尚有待實證檢驗。進一步削弱國家推動自主武器軍控意願的重要因素，在於使用這類武器仍然有利可圖。不論是避免己方人員傷亡，還是執行反恐等特殊作戰任務，以無人機為代表的自主武器已經愈發成為相關國家強化安全戰略的有力工具。如果自主武器作戰樣式的有效性一再得到肯定，這將會鼓勵其他國家仿效這一做法，在更大範圍、更深程度上推動自主武器發展和應用。有意思的是，雖然這一發展軌跡印證了前述關於自主武器擴散的擔憂，但在現實上也使自主武器軍控道路愈加布滿荊棘。

五 自主武器軍備控制前景不容樂觀

自主武器軍備控制問題從獲得關注到提上議程，進展過程可謂比較順利。但從這一問題正式成為國際軍控討論議題開始，進一步邁向實質化發展的進程將變得十分坎坷。從目前來看，要形成正式的具有約束力的軍控結果，不論其內容是禁止自主武器還是限制其發展，都將極為困難。

根據前述分析可以看出，管控自主武器之所以成為國際社會探討議題，內在緣由是對技術發展不確定性的憂慮，而恰恰是這種不確定性，也成為阻礙自主武器軍控取得實質性成果的重要因素。對於自主武器軍備控制的支持者來說，最有力的主張在於，讓武器自主決定殺傷對象有違倫理。但這一主張暗含的前提假設是，人工智慧將必然發展到某一高度，以至於軍事決策者認為完全廢除人工干預，讓武器系統自行決定從目標識別到發起攻擊的完整鏈條，對實現武器作戰效能最大化而言最為有利。反對控制自主武器發展的人則認為，自主武器終將足夠「聰明」，能夠習得並嚴格遵守人類的戰爭規範，甚至比人類做得更好。無論哪種觀點，都是基於對人工智慧及其相關技術發展和後果的預估，而這種預估（尤其是對技術發展後果的評估）本身就極具爭議，[78]使得不同立場難以實現有效彌合。同樣，前述關於自主武器戰略安全影響的分歧，也是圍繞對不確定的技術發展後果進行預測來展開的。與針對核武器、化學武器等進行的軍備控制不同，自主武器軍備控制並沒有明確的特定對象，或者說其對象仍處於快速地不斷演變之中。這意味著自主武器軍備控制只能是一種預防性的控制，控制對象是技術發展尚未完全展現的潛在後果。[79]而這要在國際社會獲得普遍共識並由此形成軍控的切實行動，恐怕在可預見的時期內並不現實。

從本質上看，權力政治與道德政治的博弈將決定自主武器軍備控制究竟能否實現。自主武器軍備控制之所以成為顯要話題，主要還是來自道德層面的考量。對人工智慧潛在社會效能的深層次憂慮，加上對這種顛覆性技術軍事應用的倫理擔憂，彙集成國際社會對管控自主武器發展的呼籲。目前自主武器軍控進程的推動者是以社會力量為主，例如非政府組織和專家學者等。在自主武器的倫理爭議中，最為核心的是不應將殺人決定權讓予機器，應當說這一主張僅就倫理而言還是頗具說服力的。問題在於，僅有倫理方面的動因，仍不足以推動自主武器軍備控制走向現實。軍備控制從根本上說首先是權力政治的產物，軍控結果往往體現為主要國家現實利益計算和討價還價的結果。因此，自主武器軍備控制要獲得進一步推進，不僅依賴於道德層面匯聚更強烈的社會力量，更重要的則是在安全議題上獲得足夠的動力。簡單來說，自主武器軍備控制需具備至少三項前提條件：一是倫理爭議突出，特別是在自主武器是否能真正實現絕對自主這一問題上達成明確共識；二是各主要國家均認為自主武器並非軍事上必不可少；三是自主武器的安全風險能夠真實呈現在國際社會面前。[80]顯然，後兩項條件要實現極為困難，這意味著自主武器軍備控制進程將繼續呈現道德政治獨角戲的局面，前景並不樂觀。有學者坦言：「特別是考慮到當今的全球化文化以及新興技術能夠提供的戰略和軍事優勢，無論是基於文化的、競爭的或是宗教的理由，對技術發展施加有意義的限制似乎難以成功」。[81]

應當指出，自主武器軍備控制的可能形式並不是單一的而是多元的。第一種形式是軍備控制中通常使用的國際條約，即通過正式的有約束力的協定，對特定自主武器的發展加以禁止，或對其使用進行限定。這種條約將不可避免地涉及自主武器界定、遵約核查、違約懲罰等一系列具體問題，這些問題直接牽動著各國戰略利益，因而要達成協議的可能性最低。第二種形式是各類不具有現實約束力的「軟法」，如非強制的技術標準、指導原則、行為準則等。[82]比方說，人工智慧研究共同體可以自行制定建議性的指導原則，對如何控制自主武器相關技術研發過程中的各類風險進行說明。或者，國家間可以推廣發展和使用自主武器的行為準則，對自主武器軍事應用如何與國際法相協調加以闡釋。但即便是非強制性約定，如何判定行為是否合乎規範仍然相當困難，這種約定究竟能產生多大效果也令人懷疑。第三種形式則是國家單方面做出聲明，承諾不使用完全自主的「機器人殺手」。[83]這種方式實際上對國家約束力最低，因為絕對意義上的自主武器還頗為遙遠。但即使這種單方面聲明也不容易，因為這牽涉國家對聲明可能對其未來軍備發展帶來的非預見性制約的判斷。在國際層面上，這種聲明對減緩自主武器軍備競賽的實質意義也十分有限。總的來看，後兩種形式的軍控努力可能性遠遠大於正式的約束性協定，但要實現這種較低層次的軍控「成果」，也仍需在前述軍控前提條件上取得重要進展，更離不開主要國家的政治決心和魄力。

總之，自主武器軍備控制進程體現了全球安全治理的一般特徵，即價值關懷、技術驅動和多元治理，但這些因素同樣也是全球安全治理時常停滯不前的重要原因。自主武器可能衝擊傳統國際法涉及人的根本安全的價值規範，但又不足在國家行為體（尤其是大國）之間產生足夠的安全激勵以推動實質性的管控措施。對自主武器的擔憂與科技的快速發展變革息息相關，但同樣，技術發展的不確定性也使得人們在如何應對其負面影響上難以形成共識。

六 結論

管控「機器人殺手」的動議雖然已經吸引了國際社會的廣泛關注，但就目前而言，推動形成有效軍控產出的動力尚不充分。主要原因在於，自主武器軍備控制的道德呼籲儘管較為有力，但在安全領域卻還難以觸發主要大國的集體行動。目前相對最好或最具現實性的軍控結果，是通過非強制性的方式塑造一種反對絕對自主的「機器人殺手」的國際規範。既然實質性的軍備控制很難實現，對中國來說，可以考慮積極推動和引領自主武器軍備控制進程，提出關於禁止絕對自主武器的基本原則甚至單方面聲明，同時提出自主武器軍控的應然標準，將自主武器與現有無人裝備加以區別，以便在維護自身戰略利益的同時，積極搶佔國際道義制高點和議程設置能力，進一步鞏固負責任的大國形象。

此外，高質量的知識供給也是提升軍控議程設置力和話語權的重要途徑，應當大力鼓勵戰略研究和工程技術的深度對話，釐清人工智慧和自主武器可能產生的社會效應，並通過多樣化方式對自主武器相關的假定和邏輯關係加以科學驗證。

總之，「將人工智慧可以做出的積極貢獻最大化，同時將其有害後果降至最低，將是我們這個時代最艱巨的公共政策挑戰之一。」[84]

【收稿日期：2017-07-13】

【修回日期：2017-10-22】

【責任編輯：蘇娟】

*本文系國家社科基金青年項目「國際網路衝突態勢變化及應對策略研究」（項目批准號：17CGJ004）的階段性成果。感謝《國際安全研究》期刊匿名審稿專家提出的修改意見和建議，文責自負。

[①]趙剛：《人工智慧大國戰略》，載《環球》2017年第6期，第26-27頁。

[②]霍金：《讓人工智慧造福人類及其賴以生存的家園》，中國廣播網，2017年4月28日，http://tech.china.com.cn/it/20170428/296510.shtml。

[③] Barry Buzanand Lene Hansen, The Evolution ofInternational Security Studies, Cambridge：CambridgeUniversity Press,2009.

[④]蔡拓、楊雪冬、吳志成主編：《全球治理概論》，北京：北京大學出版社2016年版，第10-12頁。

[⑤]人工智慧領域的一些標誌性技術進步，在很大程度上增強了國際社會對相關技術的擔憂，如1997年IBM計算機「深藍」戰勝國際象棋冠軍卡斯帕羅夫，谷歌Alpha Go多次橫掃人類圍棋冠軍等。由於人工智慧技術的高度軍民兩用性，這些事件極易轉化為人們對武器智能化進展的延伸想像。

[⑥]通過對公開武器貿易數據進行整理，希瑟·羅夫（Heather Roff）編纂了可被歸入自主武器範疇的武器裝備資料庫，記錄了多達284種各類武器，包括大量導彈、魚雷、無人機和無人作戰車輛等。參見Heather Roff, 「Dataset:Survey of Autonomous Weapons Systems,」 https://globalsecurity.asu.edu/robotics-autonomy。

[⑦]一些具有代表性的學術思考可參見Laurie Calhoun, 「TheStrange Case of Summary Execution by a Predator Drone,」 Peace Review, Vol. 15, No. 2 (May 2003), pp. 209-214; Robert Sparrow, 「Killer Robots,」 Journal of Applied Philosophy, Vol. 24, No. 1 (February 2007),pp. 62-77; Peter Asaro, 「How Just Could a Robot War Be?」 in P. Brey, A.Briggle, and K. Waelbers, eds., Current Issuesin Computing and Philosophy, Amsterdam The Netherlands: IOS Press, 2008,pp. 50-64; Jürgen Altmann, 「Preventive Arms Control for Uninhabited Military Vehicles,」in R. Capurro and M. Nagenborg, eds., Ethicsfor Robotics, Heidelberg: AKA Verlag, 2009。

[⑧] Noel Sharkey, 「Robot Wars are a Reality,」 TheGuardian, August 18, 2007.

[⑨] Losing Humanity: the Case against KillerRobots, 2012, Human Rights Watch, http://www. hrw.org/sites/default/files/reports/arms1112_ForUpload.pdf.

[⑩] Samuel Gibbs, 「Musk, Wozniak andHawking Urge Ban on Warfare AI and Autonomous Weapons,」 The Guardian,July 27, 2015.

[11] Philip Alston, 「Interimreport of the Special Rapporteur on extrajudicial, summary or arbitraryexecutions,」 A/65/321, United Nations, August 2010；另參見ChristofHeyns, 「Report of the Special Rapporteur on Extrajudicial, Summary or ArbitraryExecutions,」 A/HRC/23/47, United Nations, April 2013。

[12]根據「阻止機器人殺手運動」的統計，在發言中提及自主武器問題的國家從2013年的16個增長到2016年的36個。參見http://www.stopkillerrobots.org/chronology/。

[13]相關信息可以參見2016年非正式專家會議的報告：Report of the 2016 Informal Meeting of Experts on Lethal AutonomousWeapons Systems (LAWS), 2016, http://www.unog.ch/80256EDD006B8954/ (httpAssets)/DDC13B243BA863E6C1257FDB00380A88/$file/ReportLAWS_2016_AdvancedVersion.pdf。

[14]根據時間安排，政府專家組本應於2017年8月和11月舉行兩次會議。目前，8月份的會議因經費不足而被取消，11月份的會議於13-17日如期舉行。聯合國官方網站的公告：http://www.unog.ch/ 80256EE600585943/(httpPages)/3CFCEEEF52D553D5C1257B0300473B77?OpenDocument。

[15] Frank Sauer, 「Stopping『Killer Robots』: Why Now Is the Time to Ban Autonomous Weapons Systems,」 Arms Control Today, October 2016, http://www.isodarco.it/courses/andalo18/doc/sauer_Stopping- Killer-Robots.pdf.

[16] Campaign to Stop KillerRobots, 「Country Views on Killer Robots,」 May 23, 2017, http://www.stopkillerrobots.org/wp-content/uploads/2013/03/KRC_CountryViews_May2017.pdf.

[17] Department of DefenseDirective, 「Autonomy in Weapon Systems,」 November 21, 2012, https://fas.org/irp/doddir/dod/d3000_09.pdf.

[18] Robert Work, 「The ThirdU.S. Offset Strategy and Its Implications for Partners and Allies,」 January 28,2015, http://www.defense.gov/News/Speeches/Speech-View/Article/606641/the-third-us-offset-strategy-and-its-implications-for-partners-and-allies.

[19]李彬：《軍備控制理論與分析》，北京：國防工業出版社2006年版。

[20]例如，中國代表團在2016年參加《特定常規武器公約》第五次審議大會時，遞交的關於自主武器的立場文件中明確指出，「確定致命性自主武器的概念和範圍是進行其他方面探討的前提條件」。參見 「The positionpaper submitted by the Chinese delegation to CCW 5th Review Conference, 」 http://www.unog.ch/80256EDD006B8954/(httpAssets)/DD1551E60648CEBBC125808A005954FA/$file/China"s+Position+Paper.pdf。

[21] Losing Humanity: the Case against Killer Robots, 2012, p. 2, HumanRights Watch, http://www.hrw.org/sites/default/files/reports/arms1112_ForUpload.pdf.

[22] Peter Asaro, 「On BanningAutonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of LethalDecision-making,」 International Review ofthe Red Cross, Vol. 94, No. 886 (June 2012), p. 690.

[23] Christof Heyns, 「Reportof the Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, 」A/HRC/23/47, United Nations, April 2013.

[24] NoelSharkey, 「Automating Warfare: Lessons Learned from the Drones,」 Journal of Law, Information and Science, Vol. 21, No. 2 (December 2012), pp.140-154.

[25]聯合國對致命性自主武器系統所下定義為「能夠在無人干預情況下識別和攻擊目標」（的武器系統）。可參見聯合國對致命性自主武器系統的背景介紹：http://www.unog.ch/80256EE600585943/ (httpPages)/8FA3C2562A60FF81C1257CE600393DF6。

[26] Simon Parkin, 「Killer Robots:the Soldiers that Never Sleep,」 BBC, July 16, 2015, http:// www.bbc.com/future/story/20150715-killer-robots-the-soldiers-that-never-sleep.

[27] Heather Roff, 「The Strategic Robot Problem: Lethal Autonomous Weapons in War,」Journal of Military Ethics, Vol. 13,No. 3 (November 2014), pp. 211-227.

[28] UK Ministry of Defence, The UKApproach to Unmanned Aircraft Systems, 2011, https://www. gov.uk/government/publications/jdn-2-11-the-uk-approach-to-unmanned-aircraft-systems.

[29] Robert Sparrow, 「Robots and Respect: Assessing the Case against AutonomousWeapon Systems, 」 Ethics andInternational Affairs, Vol. 30, No. 1 (March 2016), pp. 93-116.

[30]在2016年《特定常規武器公約》關於致命性自主武器系統的非正式專家會議上，部分代表便提出，真正意義上的「致命性自主武器」尚不存在，且相關技術還在不斷演化之中，因此要達成關於此類武器的定義極其困難。參見Reportof the 2016 Informal Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS), 2016, http://www.unog.ch/80256EDD006B8954/(httpAssets)/ DDC13B243BA863E6C1257FDB00380A88/$file/ReportLAWS_2016_AdvancedVersion.pdf。

[31] U.S. Air Force, Unmanned Aircraft Systems Flight Plan,2009–2047, 2009, http://www. govexec.com/pdfs/072309kp1.pdf.

[32] Wendell Wallach andColin Allen, 「Framing Robot Arms Control,」 Ethics and Information Technology, Vol. 15,No. 2 (June 2013), p. 132.

[33] Edward Moore Geist, 「It』s Already Too Late to Stop the AI Arms Race – We must Manageit Instead,」 Bulletin of the AtomicScientists, Vol. 72, No. 5 (Auguest 2016), pp. 318-321.

[34]《一九四九年八月十二日日內瓦四公約關於保護國際性武裝衝突受難者的附加議定書（第一議定書）》，第四十八條，《議定書》全文可在以下地址獲取：http://www.icrc.org/chi/assets/files/ other/mt_070116_prot1_c.pdf。

[35] Marcello Guarini andPaul Bello, 「Robotic Warfare: Some Challenges in Moving from Noncivilian toCivilian Theaters,」 in Patrick Lin, Keith Abney and George A. Bekey, eds., Robot Ethics: The Ethical and SocialImplications of Robotics, Cambridge, Mass.: MIT Press, 2012.

[36] Louis Klarevas, 「The 『Essential Domino』 of Military Operations: AmericanPublic Opinion and the Use of Force,」 InternationalStudies Perspectives, Vol. 3, No. 4（November 2002）,pp. 417-437.

[37] James Walsh and MarcusSchulzke, The Ethics of Drone Strikes:Does Reducing the Cost of Conflict Encourage War? U.S.Army War College Press, 2015; Michael Horowitz, Paul Scharre and BenFitzGerald, 「Drone Proliferation and the Use of Force: AnExperimental Approach,」 Center for a NewAmerican Security report, 2017, http://drones.cnas.org/reports/drone-proliferation-use-force/.

[38] UnitedNations Report of the Secretary-General, 「Role of Science and Technology in theContext of International Security and Disarmament,」 A/53/202,July 1998, https://www.un.org/ disarmament/topics/scienceandtechnology.

[39] Armin Krishnan, KillerRobots: Legality and Ethicality of Autonomous Weapons, Londonand New York:Routledge, 2009.

[40] Robert Hoffman, TimothyCullen and John Hawley, 「The Myths and Costs of AutonomousWeapon Systems,」 Bulletin of theAtomic Scientists, Vol. 72, No. 4 (June 2016), pp. 247-255.

[41] Robert Sparrow,「Robotic Weapons and the Future of War,」 in Paolo Tripodi and JessicaWolfendale, eds., New Wars and NewSoldiers: Military Ethics in the Contemporary World, Surrey: Ashgate, 2011.

[42] Andreas Matthias, 「The Responsibility Gap: Ascribing Responsibility forthe Actions of Learning Automata,」 Ethicsand Information Technology, Vol. 6, No. 3 (September 2004), pp. 175-183.

[43]也有人對自主武器的「責任鴻溝」問題提出了辯解，認為行為與責任之間的聯繫並不必須是因果關聯的，也可以是人為建立起來的。因此，指揮官可以通過授予自主武器系統「自由權力」（blankcheck），同時對其行為後果承擔責任。參見Marc Champagne and RyanTonkens, 「Bridging the Responsibility Gap in Automated Warfare,」 Philosophy and Technology, Vol. 28, No.1 (March 2015), pp. 125-137. 但本文作者認為這一點並不具有充足的說服力。戰場上的指揮官雖然時常需要為其下屬的失當行為負責，但這種責任必然是有限度的，而且實施失當行為的主體本身也不能免除責任。同理，自主武器系統的部分自主行為結果可以追責到某一層級的指揮人員，但指揮人員難以承擔自主武器系統可能造成的所有後果。

[44] Jeff McMahan, 「The JustDistribution of Harm between Combatants and Noncombatants,」 Philosophy and Public Affairs, Vol. 38,No. 4 (Fall 2010), pp. 342-379.

[45] Sarah Kreps and JohnKaag, 「The Use of Unmanned Aerial Vehicles in Contemporary Conflict: A Legaland Ethical Analysis,」 Polity, Vol. 44,No. 2 (March 2012), pp. 260-285.

[46] Mark Walport, 「Rise of the Machines: Are Algorithms Sprawling Out of Our Control?」Wired, April 1, 2017.

[47] Peter Asaro, 「On Banning Autonomous Weapon Systems: Human Rights, Automation,and the Dehumanization of Lethal Decision-making,」 International Review of the Red Cross, Vol. 94, No. 886 (Summer 2012),pp. 687-709.

[48] Robert Sparrow, 「Robotsand Respect: Assessing the Case against Autonomous Weapon Systems,」 Ethicsand International Affairs, Vol. 30, No. 1 (March 2016), pp. 93-116.

[49] Ronald Arkin, 「The Casefor Ethical Autonomy in Unmanned Systems,」 Journalof Military Ethics, Vol. 9, No. 4 (December 2010), pp. 332-341.

[50] Ronald Arkin, Governing Lethal Behavior in AutonomousRobots, Chapman and Hall/CRC, 2009, http://www.doc88.com/p-2146925595970.html.

[51]有學者依據康德的哲學理念指出，「先驗倫理的主體必須是人，必須具有自我意識，必須歸屬於人類共同體之中」。在這樣的標準下，機器即便能夠習得規則，也達不到人的道德狀態。參見Bernd Carsten Stahl,「Can a Computer Adhere to the Categorical Imperative? A Contemplation of the Limitsof Transcendental Ethics in IT, 」 Paper Presented at the International Conferenceon Systems Research, Informatics and Cybernetics, Baden, Germany, 2002。

[52]馬蒂亞斯認為，僅僅依靠演算法形成的道德倫理解決不了真實世界中普遍存在的道德張力，自然也無法應對戰場上的道德難題，後者通常包括「涉及生死、正當理由、懲罰和報復以及特定文化背景中的倫理問題等矛盾抉擇」。參見AndreasMatthias, 「Algorithmic Moral Control of War Robots: Philosophical Questions,」 Law, Innovation and Technology, Vol. 3, No. 2 (December 2011), pp. 279-301。

[53] WendellWallach and Colin Allen, 「Framing Robot Arms Control,」 Ethics and Information Technology, Vol. 15, No. 2 (June 2013), pp. 125-135.

[54] Scott Shane, 「Coming Soon:the Drones Arms Race,」 New York Times,October 8, 2011.

[55] MichaelBoyle, 「The Race for Drones,」 ForeignPolicy Research Institute E-Notes, January 26, 2015.

[56] HeatherRoff, 「To Ban or Regulate Autonomous Weapons,」 Bulletin of the Atomic Scientists, Vol. 72, No. 2 (March 2016), pp.122-124.

[57] Kris Osborn, 「SwarmingMini-Drones: Inside the Pentagon』s Plan to Overwhelm Russian and Chinese AirDefenses,」 The National Interest, May10, 2016.

[58] MichaelMayer, 「The New Killer Drones: Understanding the Strategic Implications of Next-GenerationUnmanned Combat Aerial Vehicles,」 InternationalAffairs, Vol. 91, No. 4 (July 2015), pp. 765-780.

[59] David Connett,「Trident: Nuclear Deterrent under Threat from Underwater Drones, Expert Warns,」Independent, December 26, 2015.

[60] RobertWork and Shawn Brimley, 20YY: Preparingfor War in the Robotic Age, Washington DC: Center for a New AmericanSecurity, 2014, p. 33.

[61] BBC News, 「Hezbollah AdmitsLaunching Drone over Israel,」 October 11, 2012, http://www. bbc.com/news/world-middle-east-19914441.

[62] MichaelBoyle, 「The Costs and Consequences of Drone Warfare,」 InternationalAffairs, Vol. 89, No. 1 (January 2013), pp. 1-29.

[63]許多試驗已經驗證了軍用和民用無人機都容易遭受黑客攻擊和劫持，參見Mary-AnnRusson,「Wondering How to Hack a Military Drone? It』s All on Google,」 InternationalBusiness Times, May 8, 2015, http://www.ibtimes.co.uk/wondering-how-hack-military-drone-its-all-google-1500326。

[64] Doug Bolton,「Terrorists Could Use Drones to Attack Planes and Spread Propaganda, GovernmentSecurity Adviser Warns,」 Independent,December 6, 2015.

[65] DavidHastings Dunn, 「Drones: Disembodied Aerial Warfare and the Unarticulated Threat,」International Affairs, Vol. 89, No. 5(September 2013), p. 1243.

[66] FrankSauer, 「Stopping 『Killer Robots』: Why Now Is the Time to Ban Autonomous WeaponsSystems,」 Arms Control Today,October 2016, http://www.isodarco.it/courses/andalo18/doc/sauer_ Stopping-Killer-Robots.pdf.

[67]相對而言，「網路武器」（cyber weapons）這一概念更容易引起爭議，因為其本質上是一種數據代碼，並不符合人們關於武器裝備的慣常認知。但隨著網路技術快速融入各國軍事戰略體系，網路攻擊能夠引發的物理損傷越來越具有現實性，關於網路武器及其管控的探討也開始逐漸增多。參見Tim Stevens,「Cyberweapons: An Emerging Global Governance Architecture,」PalgraveCommunications, Vol.3 (January 2017), pp. 1-6。

[68] LucasKello, 「The Meaning of the Cyber Revolution: Perils to Theory and Statecraft,」 International Security, Vol. 38, No.2 (Fall 2013), pp. 7-40.

[69] ErikGartzke, 「The Myth of Cyberwar: Bringing War in Cyberspace Back Down to Earth,」International Security, Vol. 38,No. 2 (Fall 2013), pp. 41-73; Thomas Rid, CyberWar Will Not Take Place, Oxford: Oxford UniversityPress, 2013.

[70] ChristopherFord, 「TheTrouble with Cyber Arms Control,」 The New Atlantis,Fall 2010, pp. 52-67; Thomas Rid and Peter McBurney,「Cyber-Weapons,」 RUSI Journal,Vol. 157, No. 1 (February 2012), pp. 6-13.

[71]英國對限制自主武器系統的發展表達了反對的聲音，重要理由便是認為現有的國際人道主義原則仍然能夠有效管控自主武器系統。參見Owen Bowcott, 「UK OpposesInternational Ban on Developing 『Killer Robots』,」 The Guardian, April 13, 2015。

[72] The Bureau ofInvestigative Journalism, 「Drone Warfare,」 https://www.thebureauinvestigates.com/projects/drone-war.

[73] PatrickJohnston and Anoop Sarbahi, 「The Impact of US Drone Strikes on Terrorism inPakistan and Afghanistan,」 InternationalStudies Quarterly, Vol. 60, No. 2 (June 2016), pp. 203-219.

[74] Kelley Sayler, et al.,「Global Perspectives: A Drone Saturated Future,」 Center for a New AmericanSecurity, http://drones.cnas.org/reports/global-perspectives/.

[75] AndreaGilli and Mauro Gilli, 「TheDiffusion of Drone Warfare? Industrial, Organizational, and InfrastructuralConstraints: Military Innovations and the Ecosystem Challenge,」 Security Studies,Vol. 25, No. 1 (February 2016), pp. 50-84. 關於自主武器擴散制約因素的探討，另可參見Micah Zenko and Sarah Kreps, 「LimitingArmed Drone Proliferation,」 Council on Foreign Relations Special Report, No.69,June 2014。

[76] BrianJackson and David Frelinger, 「EmergingThreats and Security Planning: How Should We Decide What Hypothetical Threatsto Worry About?」 Occasional Paper, Santa Monica, CA: RandCorporation, 2009.

[77] IrvingLachow, 「The Upside and Downside of Swarming Drones,」 Bulletin of the Atomic Scientists, Vol. 73, No. 2 (February 2017),pp. 96-101.

[78]布拉德·阿倫比（BradAllenby）認為，當前關於新興技術安全風險的評估混淆了三個不同層次的效應，第一個層次是技術本身的工具效應，第二個層次是技術在系統層面的效應，第三個層次則是技術對人類社會、經濟、政治產生的宏觀效應。第三個層次效應的預測尤為困難，許多技術產生的長遠影響並不是設計者一開始所能預想的。參見Brad Allenby, 「Emerging Technologiesand the Future of Humanity,」 Bulletin of the Atomic Scientists,Vol. 71, No. 6 (November 2015), pp. 29-38。

[79] DeniseGarcia, 「Future Arms, Technologies, and International Law: Preventive Security Governance,」European Journal of International Security,Vol. 1, No. 1 (February 2016), pp. 94-111.

[80]與此類似，尼古拉斯·馬什（Nicholas Marsh）列舉了自主武器軍控向前推進的兩項條件，一是形成關於「自主武器」的清晰概念，二是說服各國發展和使用自主武器並非有利可圖。本文認為，概念爭議的產生實際上是權力政治與道德政治博弈躑躅不前所致，主要國家對自主武器有利可圖且安全風險不顯著的認知，使得概念分歧成為在軍控進程中討價還價和刻意拖延的工具。參見NicholasMarsh, 「Defining the Scope of Autonomy,」 PeaceResearch Institute Oslo (PRIO) Policy Brief, No. 2, 2014。

[81] Brad Allenby, 「EmergingTechnologies and The Future of Humanity,」 Bulletinof the Atomic Scientists, Vol. 71, No. 6 (November 2015), pp. 29-38.

[82] GaryMarchant and Brad Allenby, 「Soft Law: New Tools for Governing Emerging Technologies,」Bulletin of the Atomic Scientists,Vol. 73, No. 2 (March 2017), pp. 108-114.

[83] FrankSauer, 「Stopping 『Killer Robots』: Why Now Is the Time to Ban Autonomous WeaponsSystems,」 Arms Control Today, October2016, http://www.isodarco.it/courses/andalo18/doc/sauer_ Stopping-Killer-Robots.pdf.

[84]約翰·桑希爾：《用人類智慧應對人工智慧挑戰》，[英]《金融時報》中文網，2017年4月24日，http://www.ftchinese.com/story/001072308#adchannelID=2100。

你的讚賞是我堅持原創的動力