日志

与 ChatGPT 探讨 Transformer 的温度问题

热度 1已有 4632 次阅读2023-9-1 05:23 |个人分类:科普|系统分类:学术

昨天终于实现了在家里的机器上本地运行 340亿参数的开源AI模型（缩减精度）。其编程能力确实相当强劲，比之前130亿参数的强不少。我让它编了几个程序，大部分都能给出相当不错的解答。一个问题是，两个序列 A，B，对A中的每一个找出B中最近的一个。开源AI一上来就对序列排序，然后运用 binary 搜索。而同一个问题， ChatGPT 首次给出的解答是 brute force，我提示需要 NLogN 时间，ChatGPT才给出类似解答（但ChatGPT代码的完整性更好）。然后我让开源AI写一个球在盒子里反弹的程序，要考虑重力。开源AI也写出来了，运行结果蓝色的球在抛物运动、在墙壁上来回反弹。而且每次给出的解答、方法还不尽相同。有时会有小错误，但是简单修改就能运行。即使对熟练的程序员来说，也会节省相当多的时间。。。

ChatGPT 刚出现的时候，看到其编程能力，不免怀疑其背后还有什么特别的秘诀。但实际上 OpenAI 并没有做太多的保留，基本的路径它公布了。这个开源AI的运行其程序部分是固定的，而且非常简单，基本上就是加载模型参数，然后对模型进入输入，得到输出。你能调整的就是如温度之类的运行参数。神经网络承担了后台复杂的甚至未知的一系列操作。其实动物的大脑未尝不是如此。

Transformer 模型的使用中有时需要调整温度参数。温度是一个大部分人都不理解的复杂物理概念。将温度一词用于AI术语的人如果不是物理专业，也是个相当懂物理的人。我跟 ChatGPT 由此展开了一段对话。我问，统计物理中的温度与量子场论中的虚时间存在非常强烈的关系，这一点是否运用于机器学习。ChatGPT 做了几点分析，认为这一点未来在量子机器学习中可能会用到，也可以用于使用ＭＬ模拟量子系统。不能不说，如果这是 ChatGPT 的联想，它是非常有见地的。

下面是ChatGPT的见解：

在量子场论（QFT）中，逆温度(β)与虚时间之间的关系确实是一个深奥的主题。在QFT和多体量子系统中，经常使用Wick旋转技巧将真实时间的演化转化为虚时间，从而将一个量子演化问题转化为有限温度下的统计力学问题。这种关系在以下识别中得到体现： τ=it 其中τ是虚时间，t是实际时间。这一连接是量子力学和量子场论的路径积分公式的核心。

截至我在2021年9月的最后一次更新，这个从QFT直接转移过来的想法还没有成为机器学习（ML）的主流或标准工具。但是，确实有一些交叉点和灵感来源：

量子机器学习：随着量子计算的进一步发展，量子机器学习领域正在逐渐崭露头角，其中量子系统被用来加速某些计算或以新颖的方式解决问题。来自量子力学，包括来自QFT的原理，可能会影响这个领域的方法论。

解析延续和复值网络：虽然不是直接应用Wick旋转，但对可以取复数值的激活的复值神经网络有一些兴趣。解析延续是一种数学技术，与Wick旋转背后的想法有些关系，它可以将函数延续到复值域。

模拟量子系统：机器学习模型，特别是神经网络，已被用来建模、预测或优化量子系统的行为，包括那些由QFT描述的行为。在这些背景下，理解温度、实时和虚时之间的关系是至关重要的。

统计力学和ML：统计力学与机器学习之间更广泛的联系，例如Boltzmann机器这样的基于能量的模型，可以被视为一个间接的影响。这些模型借鉴了能量景观、熵和统计力学及其量子对应物中也突出特征的整体平均的概念。

话虽如此，随着ML的持续发展，研究者们在寻找更精密或微妙的方法来解决问题时，QFT和ML方法论之间的深层次连接完全有可能出现。请始终关注跨学科领域的最新研究！