本文是我对深度神经网络和机器学习在人工智能这一更大领域的发展方向的看法，以及我们如何能够在日常生活中用到更多。

请注意，这些不是预测，而是对领域轨迹、趋势和实现有用的人工智能技术需求的详细分析。

我们还将研究一些悬而未决的成果，例如我们今天可以开发和推广的应用程序！

目标

该领域的目标是生产具有超人类能力的机器。自动驾驶汽车、智能家居、人工助手、安全摄像头是第一目标。家庭烹饪和清洁机器人是监控无人机和机器人的第二个目标。另一个是移动设备或永远在线的助手。另一位是全职伴侣助理，可以听到并看到我们在生活中体验到的东西。一个最终目标是完全自主的合成实体，它可以在日常任务中表现出或超出人类水平的表现。

软件在此定义为使用优化算法训练的神经网络架构以解决特定任务。

今天，神经网络是学习解决任务的事实上的工具，这些任务涉及学习监督以从一个大数据集进行分类。

但这不是人工智能，它需要在现实世界中经常学习，而且是在没有监督的情况下，从未曾有过的经验中学习，经常将不同情况下的先前知识结合起来，以解决当前的挑战。

我们如何从当前的神经网络到AI？

1-神经网络架构 - 几年前，当这个领域蓬勃发展时，我们常常说它有利于从数据中自动学习算法的参数，因此优于手工制作的功能。但我们很容易就忘了提一点细节......神经网络架构是解决特定任务的基础，它不是从数据中学习的！事实上，它仍然是手工设计的。根据经验手工制作，也是目前该领域的主要限制之一。神经网络架构是学习算法的基本核心。即使我们的学习算法能够掌握新任务，如果神经网络不正确，他们也无法做到。但是这个领域有很多活动，我们在这里进行了审查。从数据中学习神经网络架构的问题在于，在大型数据集上试验多个架构目前需要很长时间。一个人必须尝试从头开始训练多个架构，看看哪个架构效果最好。那么这正是我们今天使用的耗时的反复试验程序！我们应该克服这个限制，并在这个非常重要的问题上投入更多的脑力。

2-当前神经网络的局限性 - 我们之前已经讨论过神经网络的局限性。无法预测，有内容的原因，也有暂时的不稳定性。

连接到上一节的主题，神经网络正在演变为编码器 - 解码器，其中编码器是将数据压缩为短代码（表示）的网络，并且解码器正在扩展该表示以生成另一个更大的表示。我们已经讨论过如何使用这种网络，在这里广泛地定位和检测图像和视频中的关键点;请参考本文的分析。这也是预测神经网络的主要组成部分（下文更多）。

3-无监督学习 - 我们不能永远存在于我们的神经网络中，要在他们“生命”的每一个阶段和每一次经历中引导他们。我们无法在每个实例中纠正它们，并提供有关其性能的反馈。但这正是我们今天使用监督神经网络所做的事情：在每个实例中提供帮助以使它们正确执行。相反，人类仅从少数几个例子中学习，就可以自我纠正并以连续的方式学习更复杂的数据。

4-预测神经网络 - 当前神经网络的一个主要限制是它们不具备人类大脑最重要的特征之一：预测能力。关于人类大脑如何工作的一个主要理论是不断进行预测：预测编码。你仔细考虑一下，我们每天都会体验它。当你抬起一个你认为很轻但实际很重的物体时。这会让你感到惊讶，因为当你接近它时，其实你已经预测过它将如何影响你和你的身体或整个环境。

预测不仅可以了解世界，还可以了解我们什么时候不知道，什么时候我们应该学习。事实上，我们保存的一般都是我们不知道的信息或者是令我们惊喜的那些信息。认知能力显然与我们大脑中的注意机制有关：我们能够放弃99.9％的感官输入，只关注对我们生存的非常重要的数据 - 威胁在哪里以及我们在哪里遇到躲开它。或者，在现代世界中，当我们匆匆走出门时，我的手机在哪里。

构建预测神经网络是与现实世界交互并在复杂环境中行动的核心。因此，这是强化学习中任何工作的核心网络。

我们已经广泛讨论了预测神经网络的主题。

6-强化学习 - 这是深度神经网络研究的圣杯：教机器如何学习在环境、现实世界中行动！这需要自我学习、持续学习、预测能力，以及我们不知道的更多能力。强化学习领域有很多工作，我们曾经已经多次讨论过这个问题。

强化学习通常被称为“蛋糕上的樱桃”，这意味着它只是塑料合成大脑上的小型训练。但是，我们怎样才能获得一个“通用”大脑，然后轻松解决所有问题呢？这是一个先有鸡还是先有蛋的问题！今天为了解决强化学习问题，我们逐一使用标准神经网络：

• 深度神经网络，接收大量数据输入，如视频或音频，并将其压缩为表示形式
• 一个序列学习神经网络，如RNN，来学习任务

这些组件是每个人都使用的，因为它们是一些可用的构建块。尽管如此，结果却并不令人满意：我们可以学习从头开始玩视频游戏，掌握像国际象棋这样的完全可观察的游戏，今年甚至可以在一夜之间训练。但是，比起在一个复杂的世界里解决问题和机器可以像我们一样运作，这算不了什么。

我们相信预测神经网络对于强化学习是不可或缺的。

8-不再有递归神经网络 - 递归神经网络（RNN）正在逐渐消失。 RNN在训练的并行化方面特别糟糕，甚至在特殊的自定义机器上也很慢，因为它们的内存带宽使用非常高。因此它们受内存带宽限制，而不是受计算限制的。基于注意力的神经网络，尤其是卷积神经网络，在训练和部署方面更有效、更快，并且它们在训练和部署中的可扩展性受到的影响要小得多。

我们已经看到基于卷积和注意的神经网络将逐渐取代基于RNN的语音识别，并且还在强化学习架构和AI中找到了一般的方法。

硬件

深度学习的硬件是进步的核心。让我们忘记，2008 - 2012年以及近年来深度学习的迅速扩展主要是得益于硬件：

• 每部手机中廉价的图像传感器可以收集大量数据集，是的，这得益于社交媒体的帮助，但仅限于第二个方面
• GPU允许加速深度神经网络的训练

我们之前已经广泛讨论过硬件问题。最近有一些更新。在过去的两年中，机器学习硬件的兴起，特别是针对深度神经网络的硬件。我们拥有丰富的经验，设计了5代深度神经网络加速器（参见最新的FWDNXT）。

有几家公司在这个领域工作：NVIDIA，Intel，Nervana，Movidius，Bitmain，Cambricon，Cerebras，DeePhi，Google，Graphcore，Groq，华为，ARM，Wave Computing等。所有人都在开发定制的高性能产品能够训练和运行深度神经网络的微芯片。

关键是提供最低功率和最高测量性能，同时计算最近有用的神经网络操作，而不是每秒的原始理论操作 - 正如许多人所声称的那样。

但是，该领域的人很少了解硬件如何能够真正改变机器学习、神经网络和AI。很少有人了解微芯片的重要性以及如何开发它们。一些想法：

• 架构：许多人将计算机架构视为一系列乘法器和加法器。但并非所有架构都是相同的。一些比其他更好的可以最小化内存带宽并始终保持所有单元被占用。
• 编译器：许多人认为硬件并不重要，神经网络编译器是关键。但是当您设计自己的硬件时，编译器只是在优化的机器代码中解释神经网络计算图。开源编译器（其中许多是去年推出的！）只能帮助这么多，因为最困难的步骤实际上取决于秘密架构。虽然开源编译器可以用作前端，但在硬件架构和神经网络图之间的交叉点仍然存在很多秘密问题。
• Microchip：一旦算法变得很重要，优化每个功率性能的最佳方法是制作定制的微芯片或ASIC或SoC。与FPGA相比，它们可以提供更快的时钟和更小的电路面积。 FPGA现在包括深度神经网络加速器，预计在2019 - 2020年，但微芯片将始终是更好的表现者。
• 进展：有一些进步可以使硅深度神经网络加速器轻松获得每个功率10-20倍的性能，即使不使用微芯片缩放。寻找使用较少位数，系统级封装，高级存储器等方面的进步。

关于神经形态神经网络硬件，请看这里。这里有关于模仿真实神经网络的评论。

应用

我们在上面的目标部分简要介绍了应用程序，但我们确实需要在此处详细介绍。 AI和神经网络如何进入我们的日常生活？

这是我们的清单：

对图像和视频进行分类 - 已在许多云服务中使用。接下来的步骤是在智能相机提要中做同样的事情 - 今天这里也有许多提供商。神经网络硬件将允许移除云，并在本地处理越来越多的数据：这是隐私保护和节省互联网带宽的赢家。

基于语音的助手 - 他们正在成为我们生活的一部分，因为他们在我们的“智能”家庭中可以播放音乐和控制基本设备。但对话是一项基本的人类活动，我们经常将其视为理所当然。您可以与之交谈的小型设备上背负着一场正在发生的革命。基于言语的助手也越来越好地为我们服务。但他们仍然依赖电网。我们想要的真正助手就是能够和我们“相伴”的。那么，我们的手机呢？硬件又赢了，因为它将会使这成为可能。 Alexa和Cortana以及Siri将永远与您同在。您的手机将很快成为您的智能家居的一部分，这又是智能手机的又一次胜利。我们需要本地处理语音，并且越来越少的云，更多隐私和更少的带宽成本。硬件将在1 - 2年内为我们提供所有这些。

真正的人工助手 - 声音是伟大的，但我们真正想要的东西是可以看到我们所看到的东西。在我们四处走动时分析我们周遭的环境。在这里我们有看到一个例子，这可能是我们可以爱上的真正的AI助手，并且神经网络硬件将再次满足您的愿望，因为分析视频馈送在计算上非常昂贵，并且目前处于当前硅硬件的理论限制下。换句话说，比基于语音的助手要难得多。但这并非不可能，许多像AiPoly这样的智能初创公司已经拥有了所有的软件，但缺乏在手机上运行它的强大硬件。另请注意，用可穿戴式眼镜设备替换手机屏幕将真正让我们的助手成为我们的一部分！

烹饪机器人 - 下一个最大的家电将是一个烹饪和清洁机器人。在这里我们可能很快就会拥有硬件，但我们显然缺少该软件。我们需要迁移学习、持续学习和强化学习。所有的工作都很有魅力，因为你看到：每种食谱都不同，每种烹饪成分看起来都不同。我们无法对所有这些选项进行硬编码。我们真的需要的是一个合成实体，它可以很好地学习和概括。我们离它很远，但不是那么远。距离当前的进步也还有几年的时间。我肯定会这样做，就像我在过去几年里所做的那样〜

这篇博文将像我们的算法和我们的机器一样不断发展。