当GPT-4用”博学的糊涂”（confident hallucination）回答一个问题时，没有一个工程师能告诉你它为什么会这样回答。
这不是缺陷，这是当前深度学习的本质。
为什么神经网络是一个黑箱
传统软件工程中，代码和数据是分离的。代码是规则，数据是被处理的输入。工程师可以追踪每一步决策的逻辑。
在深度学习中，规则和数据融为一体。数十亿个参数，每个参数都没有独立的语义意义——意义分布在整个权重矩阵中。
我们能观察输入和输出的关系，但我们无法”阅读”网络内部的决策逻辑。
涌现的性质
这让神经网络产生了”涌现”性质——系统整体表现出的能力，不能简单地从组成部分推断出来。
人类大脑也有类似的涌现性质。这就是为什么我们无法简单地从神经元行为推断出意识。
区别在于：人类大脑的涌现是进化的产物，我们接受它作为自然的一部分。但人工神经网络的涌现让我们感到不安，因为我们不知道它能做什么，也没办法保证它不做什么。
黑箱的实践意义
在实践中，“黑箱”性质意味着：
无法保证：我们无法形式化地保证AI系统的行为边界。
只能测试：我们必须通过大量测试来验证系统行为，无法通过逻辑推导来证明正确性。
可解释性有限：我们可以用技术手段提供近似解释，但这些解释是事后的，不是事前的。
这是问题吗？
这取决于你的视角。
工程视角：黑箱性质是可接受的工程限制。我们一直在用不完美的工具构建重要的系统。
安全视角：黑箱性质是根本性风险。我们无法保证系统的边界。
哲学视角：黑箱性质让我们意识到人类智能本身也是一个未解之谜。
也许理解AI黑箱的最佳方式，是把它当作理解人类智能的一个类比工具。