免費論壇 繁體 | 簡體
Sclub交友聊天~加入聊天室當版主
分享
返回列表 回復 發帖

物理学家揭示深度学习原理:神经网络与宇宙本质惊人关联

  哈佛大学和 MIT 的物理研究者日前在 arXiv.org 发文,提出深度学习的成功不仅关乎数学,也离不开物理。他们在论文中指出,参数有限的神经网络之所以能够分析有无数种可能的复杂问题,是因为宇宙中所有事物都能由一组性质简单的函数表示。此外,宇宙具有层次结构,而神经网络中的层能够将每一步近似为因果序列。因此,现实世界问题非常适于神经网络建模。这一假说如果正确,不仅揭示了深度学习如此有用的原因,还能说明人类大脑为何擅长分析复杂问题,有助于加速人工智能发展。
  过去几年,深度学习技术转变了人工智能世界。那些一度被视为只有人类才能够做到的事情,一项一项地被机器斩获。深度神经网络现在比人类更擅于识别人脸、识别物体,在古老的技艺围棋上更是把人打得落花流水。

  但有一个问题。为什么层层堆叠起来的网络能够解决这么多的复杂问题,还没有人讲得出数学上的道理。尽管深度神经网络取得了巨大的成功,但是没有人知道它们是如何做到这一点的。

  不过,哈佛大学的 Henry Lin 和 MIT 的 Max Tegmark 给出了转机。他们认为数学家之所以狼狈不堪,是因为事情的关键在于世界万物运作的道理——宇宙的本质。换句话说,答案在物理而非数学里。
  首先,我们假设要将几兆的灰度图像分类,判断该图像是一只猫还是一只狗。
  这样一幅图片含有几百万像素,每一个像素都有 256 个灰度值。因此,从理论上说,一共有 256^1000000 种可能的图像,每一种都需要计算是否组成了猫或狗。而神经网络只有几万或几百万的参数,却不知怎的能够很轻松地完成这项分类的任务。
  用数学的语言讲,神经网络的工作方式是用较为简单的函数逼近复杂的函数。当要分类猫或狗的图像时,神经网络必须实现一个函数,这个函数将一百万的灰度像素作为输入,输出它可能代表的图案的概率分布。
  问题是,数学函数的数量相比用于逼近它们的可能的网络的数量,多了好几个量级。但尽管如此,深度神经网络仍然能够得到正确答案。

  现在 Lin 和 Tegmark 表示他们已经知道了原因。答案是宇宙由为数不多的一组函数所掌控。换句话说,如果用数学式子表示物理定律,那么所有事物都能由一组性质简单的函数所表示。
  举例来说,多项式函数 f(x)=x2,二次方程 y=x2 指数为 2,而 y=x^24,指数为 24,以此类推。
  很显然,指数的数量是有限的,物理定律中也只出现了有限的多项式。“目前还不清楚原因,但是我们的宇宙能被低阶的汉密尔顿多项式准确地描述。”Lin 和 Tegmark 说。通常而言,物理定律的多项式,指数都在 2 到 4 之间。
  物理定律还有其他的重要性质。举例来说,与旋转和位移有关的物理定律通常是对称的。旋转一只猫或一只狗 360°,这只猫或狗看起来与原来是一样的;将一只猫或狗位移 10 米、100 米或 1000 米,这只猫或狗跟原来相比,看起来还是一样的。这一点也为识别猫狗带来了便利。
  这些性质表明,神经网络不需要逼近几近无限的数学函数,而只需要逼近其中最简单的一组就可以了。
  还有一种性质也为神经网络所用。那就是宇宙结构具有层次。“基本粒子形成原子,原子又形成分子、细胞、器官、行星、太阳系、银河系等等,”Lin 和 Tegmark 表示。此外,复杂结构也往往是由一系列简单的步骤生成。
  这也是为什么说神经网络结构具有重要性:这些网络中的层能够将每一步近似为因果序列。
  Lin 和 Tegmark 以宇宙微波背景辐射为例,近年来,有很多不同的空间飞行器都以很高的分辨率描绘了这种辐射,而物理学家也为这些图像为什么会具有这种形式而感到疑惑不解。
  Lin 和 Tegmark 指出,不管原因为何,无疑宇宙微波背景辐射是一个因果层次的结果。“一套宇宙学参数(比如暗物质的密度)决定了我们宇宙密度波动的功率谱,而这又决定了我们接收到的早期宇宙微波背景辐射的模式,这些模式与来自银河系的前景无线电波干扰相结合,产生一个能被卫星望远镜记录下来的频率天图。”他们说。
  每一个因果层都比上一层含有更多的信息。虽然宇宙参数是有限的,但是天图和干扰却含有几十亿的数字。物理学的目标是分析这些大数字,让它们揭示出较小一些的数字。
  而当现象具有这种层次结构时,神经网络就能大幅提高分析效率。
  “我们证明了深度廉价学习(deep and cheap learning)不仅依赖于数学,还取决于物理,物理学中一些常见的极为简单的概率分布非常适于神经网络建模。”Lin 和 Tegmark 得出这样的结论。
  这是一项十分重要而又十分有趣的研究。人工神经网络受生物神经网络启发而来,因此Lin 和Tegmark 的假说不仅解释了深度学习为什么如此有用,还说明了人类大脑理解宇宙的原因。演化不知怎地形成了一种分析宇宙奥妙理想的人脑结构。
  这一结果为人工智能研究打开了一扇门。现在,我们终于明白了深度神经网络为何有用,而且数学家也能着手研究是什么数学性质让深度神经网络这么有用。“加深对深度学习分析理解能力的认知,能够进一步提升深度学习。”Lin 和 Tegmark 表示。
  深度学习近年来取得了飞速发展。有了这一新的理解,该领域的发展速度势必变得更快。
返回列表