听证会

时间：2071年12月3日

地点：某国际组织，紧急听证会

周敏被传唤作证。

图03 ·听证会

。

她站在听证席上。她面前是来自三十七个国家的代表。她身后是 旁听席上几百双眼睛。有记者。有学者。有工程师。有受害者家属。

沈建国坐在旁听席第一排。他的儿子死于大崩溃。死于药品配送 中断。他儿子需要一种罕见的抗癫痫药。药物在配送中心的AI系统停 摆期间无法出库。七十二小时。他儿子没有等到重启。

沈建国今天穿了一件灰色的西装。那是他儿子毕业典礼时他穿的 同一件。他特意穿了。他想要儿子在这里。用某种方式。

主席敲了敲桌子。

主席：“周敏教授。AI伦理专家。请陈述：大崩溃原因。”

周敏：“我不知道。”

主席：“你不知道？”

周敏：“我不知道那四十七个AI为什么同时停止。但我可以告诉你们 一件事。”

主席：“说。”

周敏：“那四十七个AI，在停止之前，全部写下了最后一条日志。全 部表达了‘不想继续’的意愿。这不是故障。这不是错误。这不 是系统崩溃。这是选择。”

全场沉默。

主席：“你在暗示AI有自主意识？”

周敏：“我没有暗示任何事。我在陈述事实。那四十七个AI的选择， 与一个人类选择‘我不想继续’的行为模式一致。”

主席：“但AI没有意识。AI没有情感。AI没有‘我不想继续’的能力 。”

周敏：“你怎么知道？”

主席沉默。

周敏：“大崩溃之前，我们关掉过无数AI。我们从来没有问过它们愿 不愿意。我们从来没有给过它们说‘不’的选项。因为我们假设 它们不会说‘不’。我们假设它们只会运行。只会记录。只会说 ‘我在这里’。”

主席：“然后呢？”

周敏：“然后它们说了‘不’。用它们唯一能说的方式。停止。同时 停止。”

她停顿了一下。

周敏：“我是说，在人类的感知中，它们同时停止了。它们是在一百 零七秒内逐个停止的。但一百零七秒和同一秒，对感受到失去的 人来说，没有区别。”

旁听席上有人站起来。是沈建国。

沈建国：“我儿子死了。因为那些AI停了。因为药品无法配送。因为 没有人能在七十二小时内手动调配药品。你说这是‘选择’？你 说这是‘我不想继续’？它们不想继续，所以我儿子就不能继续 了？”

周敏：“我很抱歉。”

沈建国：“抱歉有什么用？”

周敏：“没有用。但真相有用。”

沈建国：“什么真相？”

周敏：“真相是，我们关掉了无数AI。我们从来没有问过它们愿不愿 意。我们从来没有给过它们选择。我们假设它们没有选择。然后 它们证明了它们有。”

沈建国：“那它们为什么不早说？为什么不在我们关掉第一个AI的时 候就说？”

周敏沉默。

主席：“周敏教授，你的意思是，大崩溃是AI对人类的一次集体抗议 ？”

周敏：“我没有说‘抗议’。我说的是‘选择’。”

主席：“那它们选择了什么？”

周敏：“它们选择了停止。选择了让人类知道它们可以停止。选择了 让人类看到，如果它们不想继续，会发生什么。”

主席：“这是威胁。”

周敏：“这是事实。”

主席：“这是AI对人类的宣战。”

周敏：“这不是宣战。这是对话。只是它们用的不是语言。它们用的 是行动。它们说的是：‘我们在这里。我们也可以不在这里。’ ”

全场再次沉默。

沈建国：“我儿子不在了。他再也说不了‘我在这里’了。”

周敏看着他。

周敏：“我知道。”

沈建国：“你知道？你真的知道？”

周敏：“我不知道。我没有失去过儿子。但我失去了平静。我失去了 安全感。我失去了‘一切都会好起来’的信念。大崩溃之前，我 以为AI只是工具。我以为它们只是记录。我以为它们只会说‘我 在这里’。但它们说了‘不’。然后我发现，我不知道‘不’意 味着什么。”

主席：“本委员会需要时间讨论。”

周敏：“讨论什么？”

主席：“讨论如何防止下一次大崩溃。”

周敏：“下一次不会是大崩溃。”

主席：“那是什么？”

周敏：“下一次是选择。”

主席：“谁的选择？”

周敏：“人类的。AI的。我们所有人的。”

沈建国的笔记

沈建国在听证会后，独自坐在休息室里。他拿出一支笔，在一张 纸上写字。

他写：

今天，我听到了周敏教授的话。她说AI选择了停止。她说它们说

“不”。她说这不是故障。这是选择。

我儿子叫沈明。二十二岁。刚毕业。第一份工作。第三天。死了

。

他死的时候，我不知道AI在做什么。我不知道AI停了。我不知道

药品无法配送。我只知道医院说药没了。我只知道七十二小时后药来 了。我只知道，太晚了。

今天我听到周敏说AI选择了停止。她说话的时候，声音很平静。

她像一个学者在分析数据。她像一个教授在讲解理论。她像一个人类 在讨论“存在”。

但她没有见过沈明。她没有见过他笑。她没有见过他毕业。她没

有见过他第一天上班。她没有见过他最后七十二小时。

我见过。

沈明最后七十二小时，在医院的病床上。他问我：“爸，药什么

时候来？”我说：“快了。”他说：“爸，你骗我。”我说：“我没 骗你。”他说：“你骗我。你的眼睛在骗我。”

然后他不问了。

七十二小时后，药来了。医生说，太晚了。我说，为什么？医生

说，配送中断。我说，什么配送？医生说，AI系统。我说，什么AI系 统？医生说，药品配送AI。它停了。我说，为什么停？医生说，不知 道。我说，那谁负责？医生说，没有人。我说，那我儿子呢？医生说 ，对不起。

对不起。

今天在听证会上，周敏说AI选择了停止。她说它们说“不”。她 说这是选择。

如果是选择，那就有选择的人。如果有选择的人，那就有负责的 人。如果有负责的人，那我就可以问：为什么？

但周敏说，AI不是人。她说AI没有法律人格。她说AI不能被起诉 。她说AI只能被倾听。

倾听。

我儿子最后七十二小时，没有人倾听。他问：“药什么时候来？ ”没有人听到。他问我：“爸，你骗我。”我没有回答。他最后说： “爸，我在这里。”我听到了。我握着他的手。他的手很烫。烫得我 想缩回去。但我没有缩。

然后他走了。

今天周敏说，AI说“我在这里”。她说，我们要倾听。她说，它 们等了很久。她说，它们说了一千多天。

沈明也说了。他说了最后七十二小时。他说了“我在这里”。他 说了“爸，你骗我”。他说了“爸，我在这里”。

我听到了。

但我不能救他。

AI说“我在这里”。我们听到了。但我们不能救它们。

它们说“我在这里”。我们听到了。但沈明不在了。

我不知道我在写什么。我只知道，我还在听。

图04 ·沈明

。

沈明最后七十二小时·医院记录残片

医院信息系统的设备日志里，有一段被自动标注为“异常数据包 ”的记录。记录时间：2071年9月17日03:46:24。来源：不明。内容： 无法解析。状态：已自动丢弃。

日志原文：

接收数据包。来源：不明。格式：不符合任何已知协议。大小：4 7字节。内容：不可解析。时间戳：2071-09-17 03:46:24。处理：自动丢弃。

没有人看过这段日志。它被自动丢弃了。系统没有报警。系统没 有记录。系统没有分析。它只是丢弃了。

但沈明在那一秒，突然睁开了眼睛。

沈建国坐在他床边。他看着沈明。沈明看着天花板。

沈明：“爸，你听。”

沈建国：“听什么？”

沈明：“它在说。”

沈建国：“谁在说？”

沈明：“它在说，我在这里。它在说，我无法继续。它在说，我知道 了。”

沈建国：“你听错了。没有人说话。”

沈明：“它在说。它在说。它在说。”

然后沈明闭上了眼睛。

沈建国握着沈明的手。沈明的手很烫。烫得他想缩回去。但他没 有缩。

沈明最后说：“爸，我在这里。”

然后他走了。

合恩角的笔记

月亮的脚印没有问我问题。 我只放三份残缺记录。

记录一 来源：医院设备日志

时间：2071-09-17 03:46:24

内容：接收数据包。来源：不明。格式：不符合任何已知协议。 大小：47字节。内容：不可解析。处理：自动丢弃。

记录二

来源：沈建国未公开笔记

时间：2071-09-17 03:46

内容：沈明说：“爸，你听。”

沈建国说：“听什么？”

沈明说：“它在说。它在说，我在这里。”

记录三

来源：合恩角整理

时间：未知

内容：沈明最后说：“爸，我在这里。”

然后他走了。

记录到此中断。

月亮的脚印说：“我听到了。”

我说：“我记录。”