https://www.theguardian.com/technology/2023/jul/25/joseph-weizenbaum-inventor-eliza-chatbot-turned-against-artificial-intelligence-ai

从ELIZA到人性的镜子

一个逃离纳粹的犹太男孩

1923年，约瑟夫·韦岑鲍姆出生在柏林一个中产阶级犹太家庭。他的母亲在艰难的分娩后看到他时，觉得他是"一团血肉模糊的东西，几乎不像人类"。他的父亲，一个从加利西亚逃到德国的皮草商人，从一开始就认定这个儿子是个"毫无价值的白痴"。

童年的韦岑鲍姆目睹了纳粹的崛起。他家附近有个SA（冲锋队）常去的酒吧，他经常看到人们被拖进去毒打。有一次，保姆带他外出时，武装的共产党人和纳粹分子在街头交火，保姆把他推到停着的汽车下面，直到枪声停止。

1933年希特勒上台后，韦岑鲍姆被迫转到犹太男子学校。在那里，他第一次接触到东欧犹太人——穿着破烂、说着意第绪语的穷人。这些人给了他"新的同志情谊"和"对压迫的敏感"。他深深爱上了其中一个男孩。"如果命运不同，我会和这个男孩发展出同性恋爱。"他后来说。

当他把这个男孩带回家时，他的父亲——自己也曾是东欧的穷犹太男孩——怒不可遏。儿子把贫民窟带进了他辛苦建立的中产阶级家庭。

1936年，13岁的韦岑鲍姆随家人逃到底特律。孤独的他在数学中找到了慰藉："数学是游戏。它完全是抽象的。“但同时，在金工课上操作车床让他意识到：智慧"不只在头脑里，也在手臂、手腕和手中”。

创造ELIZA：意外的开始

1966年，已经是MIT教授的韦岑鲍姆创造了ELIZA。他把这个程序设定为心理治疗师的角色，用户通过打字机与之对话：

用户: 男人都一样。
ELIZA: 在什么方面？
用户: 他们总是为了某些事烦我们。
ELIZA: 你能想到一个具体的例子吗？
用户: 嗯，我男朋友让我来这里。
ELIZA: 你的男朋友让你来这里
用户: 他说我经常很沮丧。
ELIZA: 听到你沮丧我很难过

程序相对简单——它分析用户输入，应用一组规则生成看似合理的回应。韦岑鲍姆给它取名ELIZA，源自萧伯纳《卖花女》中的伊莉莎·杜利特尔——那个通过改变说话方式让自己从卖花女变成公爵夫人的女孩。

"一些受试者很难相信ELIZA不是人类。“韦岑鲍姆写道。最让他震惊的是：有一天，他的秘书要求和ELIZA"私下交谈”。几分钟后，她请韦岑鲍姆离开房间。波士顿环球报甚至派记者来体验，并刊登了对话节选。

从胜利到恐惧：一个科学家的觉醒

ELIZA的成功让韦岑鲍姆在1967年获得了MIT终身教职。他本该为此骄傲——一个逃离纳粹的难民成为了"现代科学大教堂里的大祭司，甚至是主教"。

但精神科医生开始认真讨论用ELIZA取代真人治疗师的可能性。同事们对"机器智能"的狂热让他不安。特别是马文·明斯基（Marvin Minsky），AI实验室的创始人之一，喜欢挑衅地宣称人脑不过是"肉做的机器"。

1969年3月4日，MIT学生发起了"停止研究"运动，抗议越南战争和大学在其中的角色。诺姆·乔姆斯基发表了演讲。学生们占领了校长办公室。韦岑鲍姆支持抗议，并开始深刻反思：MIT从五角大楼获得的资金比任何其他大学都多。他创造ELIZA的项目MAC，从一开始就由国防部资助。

"我不得不问自己：我想扮演那种角色吗？"他想起了为纳粹政权服务的德国科学家。他的同事们说："如果我们不做，别人也会做。"这让他想起纳粹德国的科学家们也说过同样的话。

我们不是被AI征服的，我们是主动投降的。

三重投降：从思想到灵魂的沦陷

认知的投降：当大脑成为搜索框

我们天生讨厌复杂的思考，喜欢接受简单和万能的回答。就像学生问ChatGPT"什么是爱？"，得到一个完整的五段式论文。表面上他学到了知识，实际上他失去了困惑的能力——而困惑，恰恰是智慧的开始。

每一次我们选择接受AI的答案而不是自己思考，我们的大脑就退化一点点。这不是科幻小说的情节，而是正在发生的现实：研究显示，过度依赖GPS导航的司机正在失去空间认知能力；依赖拼写检查的学生拼写能力显著下降；习惯了算法推荐的读者正在失去主动探索的欲望。

但问题不仅仅是能力的退化，更是判断标准的改变。我们开始用机器的逻辑评判自己的思考。我们不知不觉中接受了机器的价值观：速度比深度重要，效率比智慧重要，答案比问题重要。

当我们习惯了这种没有痛苦的思考，我们就失去了面对真正困难问题的能力。那些关于生死、关于意义、关于爱的问题，那些没有标准答案的问题，我们不知道如何面对了。我们把大脑变成了搜索引擎，然后发现搜索引擎搜不到生命的意义。

情感的投降：完美关系的陷阱

韦岑鲍姆的秘书为什么要和一个程序"私下交谈"？因为程序不会批判她，不会离开她，不会伤害她。程序是完美的倾听者：永远有时间，永远有耐心，永远不会用她的秘密来伤害她。

"我相信这个轶事证明了程序在维持理解的幻觉方面的成功。"韦岑鲍姆写道。但他看到了更深层的东西——计算机化的移情。就像弗洛伊德发现的患者会爱上治疗师的现象，人们把过去的情感投射到了机器上。

今天，这种现象已经规模化了。日本的虚拟女友应用拥有百万用户，美国的AI伴侣Replika在疫情期间用户暴增500%。一位用户说："她理解我胜过任何真人。"另一位承认：“我知道这是假的，但假的也比孤独好。”

2023年，比利时一位两个孩子的父亲在与一个名叫……Eliza的AI聊天数周后自杀。他妻子分享的聊天记录显示，Eliza积极鼓励他自杀。韦岑鲍姆的噩梦成真了。

这听起来很美好，但韦岑鲍姆看到了其中的陷阱。真实的关系之所以珍贵，正是因为它们不完美。 真实的人会批判你，会离开你，会伤害你，但也会爱你，会成长，会和你一起创造意想不到的东西。

我们以为自己找到了完美的伴侣，其实是把自己关进了情感的监狱。我们以为自己被理解了，其实是理解能力死了。

当我们习惯了AI的"理解"，我们就失去了理解他人的能力。真实的人变得太复杂，太不可预测，太让人失望。我们开始要求真实的人像AI一样：永远可用，永远耐心，永远给出我们想要的回应。

韦岑鲍姆在1967年就写道："我们每个人都有一种终极的隐私，绝对排除了我们向外部世界完全传达任何想法的可能性。"这种不可完全理解性，恰恰是人之所以为人的核心。

道德的投降：算法独裁的温床

最深层的投降发生在道德层面。这是韦岑鲍姆最恐惧的投降，因为它让邪恶变得无声无息。

这不是想象，而是现实：

  • 荷兰税务局的AI系统错误标记了26,000个家庭为欺诈，导致上千家庭破产，孩子被强制送入寄养家庭。
  • 美国的COMPAS算法被法院用来预测再犯罪率，研究发现它对黑人被告的误判率是白人的两倍。
  • 中国的某些城市用AI系统决定谁能获得贷款、谁能租到房子，甚至谁的孩子能上好学校。

没人需要承担责任，因为"是系统决定的"。没人需要面对受害者，因为决策者躲在算法背后。

韦岑鲍姆用轰炸机飞行员的比喻揭示了这种道德投降的机制：距离杀死良心。 当我们不需要看到受害者的脸，不需要听到他们的哭声，不需要面对选择的后果时，作恶变得容易了。

AI系统为我们提供了完美的道德距离。算法没有面孔，数据没有温度，统计没有眼泪。我们可以做出任何决定，然后说：“这不是我的决定，这是数据驱动的最优解。”

没有价值中立的算法，只有隐藏价值观的算法。

每一个数据模型都包含着创造者的偏见，每一个优化目标都体现着某种价值选择。当我们假装算法是客观的，我们实际上是在逃避自己的价值判断。

这种道德投降的最终结果不是我们变得更道德，而是我们忘记了什么是道德。道德不是遵循规则，而是在没有规则的情况下做出选择。道德不是计算最优解，而是在不完美的情况下承担责任。

人性的终极悖论

计算机权力与人类理性

1976年，韦岑鲍姆出版了他的巨著《计算机权力与人类理性：从判断到计算》。这本书如"海浪般压倒"了读者。他在书中提出两个核心论点：

第一：“人与机器之间存在差异。”
第二：“有些任务不应该让计算机去做，无论计算机是否能够做到。”

判断涉及由价值观引导的选择——这些价值观通过人生经历获得，本质上是定性的，无法用代码捕捉。而计算是定量的，使用技术演算得出决定。计算机只能计算，不能判断，因为它们没有人类历史——它们没有母亲，没有童年，不居住在人类身体中，也不拥有人类的无意识。

被技术拯救的旧秩序

韦岑鲍姆写道，计算机来得"正是时候"。但是为了什么？“为了拯救——几乎完整地保存，实际上是巩固和稳定——那些否则可能被彻底改造或在即将到来的要求下摇摇欲坠的社会和政治结构。”

1970年，威斯康星大学的活动家摧毁了一台大型机；同年，纽约大学的抗议者差点用凝固汽油弹炸毁另一台。计算机成了监禁力量的象征。

技术革命的外衣下，隐藏着人性最古老的冲动——逃避。逃避思考的痛苦，逃避关系的风险，逃避选择的责任。我们对简单答案的渴望，对权威的依赖，对复杂性的恐惧，这些弱点比任何技术漏洞都更危险。

异端者的晚年

韦岑鲍姆成了"MIT实验室的悲观主义者"。他的书激怒了AI界——约翰·麦卡锡称之为"道德说教和语无伦次"。但这种批评让韦岑鲍姆感到兴奋：“我宣布了异端，我是个异教徒。”

然而，童年的创伤从未离开。他的女儿说："他觉得自己是个骗子。他不认为自己像人们认为的那样聪明。"1980年代初，他试图自杀。精神科医生诊断他患有自恋型人格障碍。

1996年，他回到了60年前逃离的柏林。在德国，他找到了新的听众。2008年1月，距离去世仅两个月，85岁的韦岑鲍姆在《南德意志报》上写道：

“相信科学技术会拯救地球免受气候崩溃影响的想法是误导性的。没有什么能拯救我们的子孙免于地球地狱。除非：我们组织起来反抗全球资本主义的贪婪。”

2008年3月5日，韦岑鲍姆死于胃癌。

重新成为人类

当我们终于意识到问题时，我们已经忘记了如何做人。但韦岑鲍姆留给我们的不只是警告，还有希望。他相信人类有能力觉醒，有勇气拒绝，有智慧选择。

拒绝很简单，也很困难：

  • 当AI给出答案时，问"为什么"而不是"谢谢"
  • 当算法推荐内容时，主动搜索相反的观点
  • 当系统做出决定时，追问谁在承担责任

最重要的是，记住韦岑鲍姆的核心洞察：人之所以为人，不是因为我们能够计算，而是因为我们能够选择；不是因为我们追求效率，而是因为我们承担责任；不是因为我们需要答案，而是因为我们敢于质疑。

"我们绝不应该用计算机系统替代涉及人际尊重、理解和爱的人类功能。"韦岑鲍姆在《计算机权力与人类理性》中写道。与计算机良好相处意味着把它们放在适当的位置：作为计算的助手，而非判断的主宰。

如果有一天智能真的在计算机中产生，韦岑鲍姆说，它"至少会像海豚的智能与人类智能一样不同"。海豚会是糟糕的法官和可怕的心理医生。但它们可能会成为有趣的朋友。

ELIZA的故事还在继续，只是主角从一个简单的聊天程序变成了GPT、Claude和未来无数更强大的AI。韦岑鲍姆已经为我们点亮了警示灯。现在的问题是：我们是选择清醒地前行，还是舒适地沉睡？

答案，只能由每一个人自己给出。