《哈萨比斯:谷歌AI之脑》笔记

我的评价/备注:

449.「多亏了戴维·西尔弗,DeepMind两次修正了莫拉维克悖论。第一次修正是AlphaGo模仿人类直觉,表明一个看似不可能的编程挑战实际上是可以解决的。第二次修正是AlphaZero的出现,它证明了人类需要有意识、费力气才能下的棋(因此人类认为自己可以通过编程实现),实际上并未被彻底破解。// 这表明,无意识的知识比想象中更容易被编程,而有意识的知识则比想象中更不可靠。那些我们自以为已知的事物,最终可能被证明是未知的。// 天才的卓越往往体现在特定使命上,他们往往非常适合完成某项特定任务。// 这确实基于统计规律!为了理解这些统计数据,为了压缩它们,你需要理解是什么样的世界产生了这些统计数据。// 煤炭和石油的存在并非必然。互联网对AI而言,就如同煤炭和石油对工业革命的意义。」

书籍名称:《哈萨比斯:谷歌AI之脑》

基础信息:[英]塞巴斯蒂安·马拉比 著;周健工 译;浙江科学技术出版社;2026-03;129.90元

豆瓣评分:8.8/10

豆瓣链接:https://book.douban.com/subject/38357884/

读完时间:2026-09-03

我的评分:2.0/5.0

我的标签:微信读书、#2026、自动笔记

免责声明:本文阅读笔记由微信读书导出,仅供个人学习与交流使用;原文版权归作者及出版方所有。

 


阅读笔记:

《哈萨比斯:谷歌AI之脑》

[英]塞巴斯蒂安·马拉比

17个笔记

第1章 人生没有备用棋局:哈萨比斯的试炼与燃烧式成长

◆ 国际象棋耗尽了他所有的周末和假期时间,挤占了一个正常孩子童年应有的轻松娱乐时光。长时间的训练中穿插着紧张激烈的比赛时刻,每一场比赛的胜负都取决于心理素质、耐力和突如其来的灵感。竞争异常残酷:桌子底下会装有木板,防止选手们互相踢踹。和安德一样,哈萨比斯几乎无法想象“只是生活”是什么样子,他从未尝试过。

◆ 哈萨比斯最早的童年记忆之一,是赢得伦敦8岁以下国际象棋锦标赛并上台领奖。在他的记忆中,他走向手持银杯的颁奖人,热切地接过奖杯,然后转向观众表现出胜利之姿。这时,他的目光落在了亚军身上——那是未来的国际象棋特级大师,也是他的挚友,当时正因为父亲的责骂而失声痛哭。[插图]狂喜与崩溃之间的细微界限,是锦标赛赛场上的常见景象。“我的很多国际象棋朋友都被毁了,”哈萨比斯后来回忆道,“他们最终沉迷饮酒,或者精力耗尽。”11岁时,哈萨比斯自己也经历了一场存在主义的痛苦时刻,矛盾的是,这场痛苦却让他获得了解脱。

◆ 1950年,香农发表了一篇论文《编程实现计算机下棋》(Programming a Computer for Playing Chess),他在论文中指出,虽然国际象棋程序没有实际用处,但掌握复杂游戏可能“成为解决其他类似、更重要问题的突破口”。

第3章 绝地武士:从万灵药工作室到AI的旅程

◆ 一杯接一杯的拉格啤酒被端上来,哈萨比斯感觉又热又醉,疲惫不堪。但他还是慷慨激昂地讲述了自己在国际象棋领域的成就。很快,这位老板被打动了,向他提出了一个工作邀请。但这个邀请并不是针对万灵药工作室的。老板宣称,哈萨比斯应该有更大的志向,而不是局限于这家小小的初创公司,他应该来自己的公司做一名外汇交易员。这就是当时伦敦金融城对英国创业精神的支持。

◆ 经过反复的思想碰撞,哈萨比斯和库马兰最终想出了一个可行的实验策略。他们将测试那些海马受损的患者。海马是大脑深处的一块组织,负责记录当天的记忆。如果哈萨比斯的假设是正确的,即记忆和想象力是相关联的,那么失忆患者也会难以想象事物。在导师马圭尔的帮助下,这两位朋友找到了几位罕见的患者。这些患者的海马受损,但其他方面都很健康。果然,当哈萨比斯和库马兰进行测试时,他们得到了哈萨比斯预期的结果。海马受损会影响患者想象三维场景的能力,比如在海滩上度过一天或一次购物之旅。大脑中与记忆相关的部分,确实对想象力至关重要。2007年初,哈萨比斯、库马兰和马圭尔在著名的《美国国家科学院院刊》(Proceedings of the National Academy of Sciences)上发表了他们的研究成果。[插图]这是一项非凡的成就。《科学》杂志将其列为当年最重要的神经科学突破之一,这篇论文最终被引用了超过1700次。[插图]但对哈萨比斯来说,学术上的赞誉只是其中一部分乐趣。他更感兴趣的是这项研究对他一直关注的存在主义问题所具有的意义。如果记忆不是对某种客观外部现实的记录,而是大脑创造的模拟影像,那么或许整个现实都可能是一种精神建构。

第5章 创立DeepMind:与彼得·蒂尔的命运交汇

◆ 仅仅将一种符号(如苹果的图像)与另一种符号(如“苹果”这个词)匹配起来的AI系统,并没有与现实世界建立真正的联系,它们实际上什么都不知道。“在一个仅通过其他符号来描述符号的系统中,意义的归属是模糊不清的。”用AI领域的一句行话来说,这样的机器永远不可能拥有真正的智能,因为它们没有在现实中“接地”。

第12章 从Transformer到GPT:OpenAI强势崛起

◆ AI专家们早就认识到,人类能瞬间、不假思索完成的任务(如识别图像)很难被编程来实现,因为人类自己都没有意识到完成这些任务所需要的具体步骤:这就是著名的莫拉维克悖论(Moravec’s paradox)。与此同时,人类需要缓慢、有意识且付出巨大努力才能完成的任务,在传统上被认为更容易通过编程来实现:一个简单的便携式计算器就能计算任何数字的平方根。“35年AI研究的主要教训是,难题其实很容易,容易的问题反而很难。”认知心理学家史蒂芬·平克(Steven Pinker)[插图]在20世纪90年代中期曾有过这样著名的观察。[插图]

◆ 然而,多亏了戴维·西尔弗,DeepMind两次修正了莫拉维克悖论。第一次修正是AlphaGo模仿人类直觉,表明一个看似不可能的编程挑战实际上是可以解决的。第二次修正是AlphaZero的出现,它证明了人类需要有意识、费力气才能下的棋(因此人类认为自己可以通过编程实现),实际上并未被彻底破解。无数国际象棋专家曾将国际象棋知识手动编码到Stockfish系统中,但他们的成果始终存在局限,而西尔弗的自主系统表现则出色得多。

◆ 哈萨比斯总结道,这表明,无意识的知识比想象中更容易被编程,而有意识的知识则比想象中更不可靠。那些我们自以为已知的事物,最终可能被证明是未知的。要真正理解人类知识的边界,我们必须借助自主的机器智能。[插图]

◆ 天才的卓越往往体现在特定使命上,他们往往非常适合完成某项特定任务。

◆ 如果说微软的残差架构让构建更大的网络成为可能,那么Transformer架构则解决了深度学习中另一个长期存在的难题。许多类型的信息,如语音、文本、视频、股票价格图表等,无法通过孤立分析每个信息单元来实现对其的理解。相反,每个信息单元都必须被解读为序列的一部分。如果我说“狗跑到外面去了,因为它看到了一辆汽车”,你必须听完前半句才能理解代词“它”指的是什么。同样,如果我直接看一部复杂犯罪剧的第三集,而没有看前两集,就无法理解剧情。卷积神经网络专为解读图像设计,利用的是空间相关性——相邻的像素群能为图像某一部分(如猫的眼睛)提供线索。而Transformer模型理解的是时间相关性:信息序列会随着时间展开,网络需要理解每个短语或剧情转折与其他部分的关联。

◆ 2018年6月,也就是Transformer论文发表一年后,OpenAI宣布了苏茨克维和拉德福德合作的成果。与后来的语言模型相比,第一代GPT还很初级。它仍然难以把握相隔几个段落的观点之间的联系,有时会重复训练数据中的文本片段,或者以极高的置信度发表不准确的观点。但与当时的竞争对手相比,GPT已实现了跨越式突破。尽管它主要是在没有人类帮助标注的情况下学习的,但它生成的文本相当流畅,而且能在更广泛的话题上进行对话。此外,在苏茨克维看来,该系统预测下一个单词的能力似乎伴随着理解的迹象——对历史事件、科学概念、地理知识等内容的理解。如果该模型在训练过程中摄入了一本关于第一次世界大战的小说,它可能会对战争的恐怖有一个大致的理解;如果它阅读了关于体育比赛的内容,它可能会把握竞技带来的兴奋感。正如OpenAI所说,GPT拥有“丰富的世界知识”。

◆ “这不是单纯的统计运算!”苏茨克维反驳道。然后他停顿了一下,尝试了一个更好的论点。考虑到科学家们走过的漫长道路——包括词嵌入、词元化、注意力机制和自监督学习,把它比作“鹦鹉”这种嘲讽让他感到不快。“这确实基于统计规律!但统计的本质是什么?”“为了理解这些统计数据,为了压缩它们,你需要理解是什么样的世界产生了这些统计数据,是什么样的人类行为导致了这些统计数据。人类有思想、有情感和想法,他们会以特定的方式行事。所有这些都可以通过预测下一个词元来推导出来。”[插图]苏茨克维的意思是,如果计算机能理解人类如何选择句子中的下一个单词,它们就能掌握人类思维的内部运作机制。

第13章 语言与自然之道的背离:第一次惜败OpenAI

◆ “AI的发展有点像工业革命,”哈萨比斯继续说道,“它以某种方式发展起来,其实带有一定的偶然性。”“我的意思是,假设工业革命初期我们就发现了能源和引擎,但此时地下还没有煤炭和石油。毕竟,煤炭和石油的存在并非必然!死去的恐龙和古树在地下埋藏了6000万年,等待着被挖掘。仔细想想,这其实很不合理。它们为什么没有在地下腐烂变质,变得毫无用处?它们偏偏被保存了下来,这实在是太巧合了。这或许又能引出另一个话题:为什么会有这样的巧合?”“但不管怎样,我们不妨假设地下没有煤炭和石油。那么,要利用能源和引擎的发现创造价值,就必须找到核能、太阳能或其他可再生能源。两百年前,这几乎是不可能的。由此类推,互联网对AI而言,就如同煤炭和石油对工业革命的意义。得克萨斯州人只需在地上钻个洞,就能开采到‘黑色黄金’;如今,我们可以直接下载整个互联网的数据。”“这些资源的存在都并非必然——无论是死去的恐龙,还是互联网。人类构建互联网是为了其他目的,如发送信息、分享资讯,后来又用于电子商务等。但令人惊讶的是,有一天我们突然意识到,我们拥有了相当于石油的宝贵资源。”

◆ 公平地说,并非只有哈萨比斯对早期GPT模型持怀疑态度。例如,在Facebook,苏茨克维以前的实验室同事马克·奥雷利奥·兰扎托(Marc’Aurelio Ranzato)就认为OpenAI的实验很有趣,但算不上突破性进展。“我当时没想到它们会产生这么大的影响。”兰扎托后来表示。[插图]尽管如此,哈萨比斯的判断力还是比大多数人强。在职业生涯的多个节点上,他都展现出敏锐的洞察力,比竞争对手更早发现并探索科学趋势。然而,在语言建模领域,他的判断力却出现了偏差,原因包括他对无接地符号的怀疑、对游戏的热爱,以及他假定人类经验比互联网上的所有文本都更丰富,或许也更宏大。2022年底,当OpenAI的ChatGPT风靡全球时,DeepMind为这个错误付出了代价——它不再被视为世界顶级AI实验室。

第16章 权力与荣耀:坚持做超级智能的终极守门人

◆ 苏茨克维回忆起这一刻的震撼。“第一次使用时,它给了我一种超自然的体验,”他热情地说,“你会想,天啊,这台电脑似乎能理解我。”[插图]哈萨比斯也意识到这是一个分水岭。“GPT与GPT-2和我预期的一样,只是拙劣的复述机器,”他后来表示,“但GPT-3显然不是这样的。”

第20章 Flash Thinking、DeepSeek强势登场:超级智能时代呼啸而来

◆ DeepSeek能引发轰动,源于3个相互关联的因素。首先是地缘政治因素。自AlphaGo时代起,中国就一直深耕AI领域,但外界一直认为中国比美国的前沿技术落后一年以上。而R1展现出的推理能力彻底打破了这种自满:差距至多只有几个月。此外,拜登政府于2022年实施的AI芯片对华出口禁令,本意就是防止中国实现这种追赶,而这一禁令明显失效,加剧了美国的危机感。无论如何,中国已然成为不容忽视的力量。“这是首次有中国企业能与美国企业正面抗衡,”Anthropic的阿莫迪在美国外交关系委员会上表示,“这确实让我担忧。”[插图]

— 来自微信读书