yannlecun：人们应该怀疑潜在的符号逻辑( 二 ) YannLeCun：人们应该怀疑深度学

然而，这正是神经网络擅长的地方：发现模式和接受歧义。神经网络是一组相对简单的方程，它们学习一个为输入提供输出的函数。
例如，我们可以训练一个视觉识别系统，找出所有包含椅子的图像，这本身是一种较为模糊的属性。这允许网络成功地推断出图中新对象是否是一把椅子，只需通过比较它与其他椅子图像的接近程度。使用足够多的对象和足够多的类别进行此操作就会产生一个强大的概念空间，其中许多类别以重叠但仍可区分的方式聚集在一起。
我们面临的问题不仅是关于人工智能发展的问题，还有什么是智能以及大脑是如何工作的。
神经网络可以精确训练，因为实现的函数是可微的。换句话说，如果符号人工智能类似于符号逻辑中使用的离散token ，那么神经网络就是微积分的连续函数。这允许在学习更好表征的方向上稍微调整变量来实现缓慢、渐进的进展，这意味着所有数据点之间的更好拟合以及函数在类别之间存在边界。然而，当涉及到严格的规则和离散符号时会出现问题：求解方程时，我们通常需要准确的答案，而不是近似值。
这是符号人工智能的优势， Marcus建议简单地将两者结合起来：在深度学习模块的顶部插入一个硬编码的符号操作模块。这听起来很有吸引力，因为两种方法可以很好地互补。因此，一个具有不同工作方式的模块混合系统似乎可以提供两全其美的效果。深度学习领域也认同符号操作是创建类人AI的必要特征。
但争论的焦点是符号操作是否需要内置到系统中，其中符号和操作能力是由人类设计的，形成一个用于操作离散符号的模块。该模块是不可微分的，因此与深度学习不兼容。但这些建立神经网络不能进行符号操作的假设基础上。
神经网络中的符号推理
这个假设很早就存在较大的争议。神经网络方法传统上认为不需要手工创建符号推理，而是可以学习它，训练机器使用符号示例进行正确推理将允许机器学会这种抽象模式。简而言之，尽管没有内置手工制作的符号和符号操作规则，但机器可以学习操作现实世界的符号。
当代大型语言模型（例如GPT-3和LaMDA）显示了这种方法的潜力。它们具有令人印象深刻的符号操纵能力，并掌握某种程度的常识推理。这些大模型具备多语言、逻辑和数学等令人惊讶的能力。
但这样做并不可靠。DALL-E可以轻松创作一个穿着热带衬衫、戴着眼镜、留着胡子、戴着眼镜的哲学家的罗马雕塑，但如果让它画一只戴着粉色背带的小猎犬追逐松鼠，有时你会得到一只粉色的小猎犬或一只戴着背带的松鼠。
当它将所有属性分配给单个对象时，效果很好，但是当有多个对象和多个属性时就会出现问题。许多研究人员认为这是深度学习通往类人智能道路上的一个障碍。
然而， Marcus的看法不是这样的。他假设，符号推理是全有或全无的——因为DALL-E没有符号和其操纵逻辑规则，它实际上并不是用符号进行推理。因此，大型语言模型中的众多失败表明它们并不是真正的推理，而只是在进行苍白的模仿。
Marcus认为，正如古老的AI格言所说，爬足够大的树是无法到达月球的。因此，他认为当前的深度学习语言模型并不比NimChimpsky（一只会使用手语的黑猩猩）更接近真正的语言。DALL-E的问题并不是缺乏训练的窍门，而是系统根本没有掌握句子的基本逻辑结构，因此无法正确将不同部分连接成一个整体。
这就是为什么说从一个角度来看，深度学习的问题是「障碍」，而从另一个角度来看则是「墙壁」。基于有关符号推理性质的背景假设，相同的现象可以看起来不同。对于Marcus来说，如果你一开始未拥有符号操纵，你就永远不会拥有它。