AI 简史
ChatGPT 在 2022 年底问世时，感觉 AI 是一夜之间出现的。前一周几乎没人在用纯自然语言和电脑交谈，下一周，每个人都在做。这个故事很吸引人，但在某种意义上是错的，因为它隐藏了这些系统的来源。
聊天框是新的。它下面的科学不是。你正在使用的是大约七十年工作的可见顶端，一个想法的堆积，其中每一个都突破了上一个碰到的天花板。了解这条路不是琐事。它告诉你这个领域的哪些部分是持久的，哪些是时尚，这就是追逐每个头条新闻和理解你所构建基础之间的区别。
告诉电脑规则
这个领域有一个生日。1956 年，一小群研究者在达特茅斯学院聚集参加现在很著名的暑期工作坊，并给了这个想法一个名字：人工智能。几年前，在 1950 年，艾伦·图灵——这位帮助发明了计算机本身的英国数学家——已经提出了至今仍笼罩这个领域的问题，机器是否能让你相信它在思考（现在被称为图灵测试的想法）。
第一个答案持续了数十年，基于一个听起来合理的想法：如果你想让电脑表现得聪明，就手工写下智能的规则。专家们将他们的知识阐述为长长的"如果-那么"列表，运行这些规则的程序被称为专家系统。对于狭义的、整洁的问题，比如诊断某种疾病或配置机器到订单，它们是有效的。
然后它们撞上了一堵墙，这堵墙就是这个时代的教训。真实世界有太多规则，其中大多数没人能说明。你瞬间就能分出猫和狗，但试试写出将它们分开的确切规则，你会花一周时间，最后还是会漏掉一些情况。手工编码的知识不能扩展到真实的混乱，打破这个天花板正是下一个想法的用途。
让机器学习代替
如果你不能写出规则，另一种选择是让机器找到它们。与其告诉电脑如何区分猫和狗，不如向它展示数千个标记的例子，让它自己推导出模式。这就是机器学习，它翻转了工作：你停止编程答案，开始供应数据，然后让程序推导规则。
通往那里的路并不顺畅。这个领域两次承诺了远超它能提供的东西，资金干枯了，进展在长期内陷入停滞。这些停滞被记为AI 寒冬，它们是这段历史提供的最尖锐的警告。AI 之前被过度宣传过，不止一次，每个周期都感到和这个一样确定。最后付诸实现的技术很少是当时喊得最大声的那个。
深度学习的突破
早期机器学习仍然依赖人们手工挑选数据的哪些特征是重要的，这是手工编码问题的自己的较小版本。突破来自一个古老想法，最终获得了它所需的东西：神经网络，松散地受到脑细胞如何传递信号的启发，直接从原始数据中学习自己的特征。
这个想法自 1950 年代以来就存在，一直没有充分有效。大约 2012 年，两件事改变了。来自数字化互联网的数据突然充足了，来自为视频游戏开发的图形芯片的廉价计算能力也充足了，足以在付得起的规模上训练这些网络。一个神经网络（AlexNet）以大幅度赢得了一个主要图像识别竞赛，这个领域几乎立刻围绕这个方法重新组织了。这就是深度学习，它是之后所有东西下的引擎。
那个突破的形状经常重复得足以命名：这个想法不是新的，数据和计算是新的。很多 AI 进展看起来像一个突然的飞跃，其实是一个古老想法遇上了它一直在等待的资源。
转换器
深度学习在图像上很强。语言很困难，因为含义取决于整个句子或段落中单词如何相关联，早期的网络一次读一个单词的文本，在任何距离上都会丢失线索。
在 2017 年，一篇研究论文介绍了一个设计，称为转换器，围绕一个叫注意力的机制构建：与其逐字读，它权衡每个单词如何一次性地与所有其他单词相关联。这听起来像一个小的架构细节。但它是解锁。转换器在大量的文本上训练得很高效，而且随着给定它更多的文本和更大的网络，它不断改进。最后这个特性，规模持续付出，而不是趋于平缓，为之后的一切做了准备。
这个手册中的每个模型，以及 ChatGPT 等工具背后的聊天框，其核心都是转换器。当你到达LLMs 如何工作时，你在那里学到的预测循环就是这个架构在做它的一项工作。
LLM 时代和 ChatGPT 时刻
有了转换器在手，一个问题接管了：如果你让它变得更大并喂给它更多的东西会怎样？答案，在从 2018 年开始的一系列模型中重复，是它以没人手工编程的方式持续变得更有能力。这些模型的训练只做一件事：预测整个公共互联网中的下一个单词，这些模型捡起了语法、事实、翻译，甚至作为那个单一任务的副作用的粗糙推理。这些是大型语言模型，下一章讲的是那个预测实际上如何工作的。
那么为什么它在 2022 年末感觉突然？因为大多数人遇到的不是新模型，而是新的门。潜在的能力已经多年来在研究实验室和开发者工具内部构建。ChatGPT 将其包装在一个简单的聊天框中，任何人都可以打开，免费的，没有设置。技术已经到来了一个十年；界面一下子全到了，那就是公众把它作为开始而活着的部分。
站在几十年的肩膀上
把路端到端铺出来，形状是清晰的。手工编写的规则让位给了从数据中学习的机器，后者让位给了学习自己特征的网络，后者又让位给了转换器以及规模持续付出的发现。每一步都在大约七十年的时间里打破了前一步碰到的天花板。今天的模型是那段历史的尖端，而不是它的开始。
这不是为其本身而进行的历史课。这就是为什么这个手册用基础而不是头条新闻来开头的原因。这个领域在炒作和寒冬的周期中移动，这个月在顶端的模型将被替换。不会被替换的是对这些系统如何工作的理解，就像每个时代的想法比建立在它们上的产品活得更久一样。尊重这条路，学习耐久的层，下一个发布就变成了你可以定位而不是让你倒下的东西。
下一章，好好使用 AI，从这些系统来自何处转向如何实际与它们工作：AI 在你的日子中赚取地方的地方，它不行的地方，以及当其他领域失去理智时如何保持你的判断。