张卫健多年以后看到这个会是什么感受

你们这是刚从煤矿上来的吗

偶然发现吴秀波曾在周星驰的大话西游中跑龙套演土匪,大家看看是不是他?!

开碰碰车专业碰瓷

你那么美,张卫健多年以后看到这个会是什么感受

王小新 编译自 Keras Blog

量子位 出品 | 公众号 QbitAI

Francois Chollet是深度学习框架Keras库的作者和谷歌人工智能研究员。近期,他在博客上连发两文,分别讨论了深度学习的理论局限和未来发展方向。

量子位昨天推送了第一篇《Keras作者、谷歌研究员Chollet:深度学习的理论局限》。

本文为第二篇,Chollet结合他的深度学习书Deep Learning with Python第9章第3节,在下文细致地讨论了深度学习的未来发展方向。

《深度学习的理论局限》一文加深了我们对深度神经网络机理的理解,进一步了解目前的技术局限性和研究现状,那么我们能预测到深度学习在短期内的可能发展方向吗?

下面纯粹是一些个人见解。需要注意的是,以下内容是根据现有技术进行的一些思考,所以很多猜测可能不会成为现实。这只是一个猜测未来的文章。

我之所以和大家分享这些想法,并不是因为我希望在将来这些猜测能被证明是正确的,而是因为就现在来看,这些方向非常有趣,且具有一定可行性。

从研究层面上讲,我认为有前景的主要方向为:

1.更贴近通用计算机程序的模型,建立在比当前的可微分网络层更加丰富的基元上。我们可能会借此进行推理和抽象,克服当前模型中的根本弱点。

2.能实现上述功能的新型学习方式,允许模型具有更多功能,而不局限于仅能实现微分变换。

3.构建出不需要人类工程师过多参与的模型,工程师的任务不应该是无休止地调参。

4.更好地系统性再利用先前学习到的特征和架构;基于可再利用的模块化子程序来构建元学习系统。

此外,需要注意这些猜测并不是只针对深度学习中基础的有监督学习,它们适用于任何形式的机器学习,包括无监督学习、自监督学习和强化学习等。样本标签从何而来或者训练流程是怎么样的,这些都不是很重要。机器学习的这些不同分支只是同一结构的不同方面。

以下是深度分析。

把模型作为程序

正如在上一篇文章中所指出的那样,在机器学习领域,我们期待有一定的转变和发展,必须从单一的模式识别模型中脱离出来,从只能实现局部泛化,到能够实现抽象和推理的模型,这会向极端泛化迈进一大步。

在当前AI程序中,基本推理能力的实现都是靠人类程序员硬编码完成的,依赖于搜索算法、图形操作和形式逻辑等方式。

例如DeepMind的AlphaGo,它所展示出的大多数"智能"力都是由专业程序员通过蒙特卡洛树搜索等算法来设计和编码的。仅在特定的子模块,比如价值网络和策略网络中,实现了从数据中学习的能力。

但是,未来的AI系统或许能够在没有任何人工参与的情况下,进行完全学习。

要想实现这一猜想,有哪些方法?

比如说广为人知的RNN网络,它的局限性比前馈网络少得多。因为RNN作为一种几何变换,能在for循环内重复使用。开发人员通过硬编码实现时间维度上的for循环,是网络的内置假设。

当然,RNN网络在这些方面的表现仍然很有限,主要因为它所执行的每个步骤仍然只是一个可微的几何变换,并且它们在每个步骤之间传递信息的方式是通过连续几何空间(状态向量)中的点来完成的。

现在,想象一下神经网络以类似于编程基元(如for循环)的方式"增强\

张卫健多年以后看到这个会是什么感受