深度学习在计算上受到限制不是一件“新奇的事情”。
但是，在过去的10年里，这样的计算限制被“淡化”了。人们专注于优化“算法”和提高“硬件”性能，投入更高的“成本”来获得更好的性能。
性价比从来没有被严重对待过。
然而，深度学习的计算需求越来越高，这些所谓的“方法”开始变得毫无用处。
近日，MIT计算机科学与人工智能实验室研究科学家Neil Thompson发布了最新研究，主题旗帜鲜明：“Computational LiMITs of Deep Learning”。
使用第46页，研究上千篇论文，告诉你深度学习的计算能力局限在哪里。
首先，我们来看一下理论计算能力的局限性。
他们设定了生成模型，在可能的1000个参数中，有10个非零参数，考虑到4个模型尝试发现这些参数。
model：模型有10个完全正确的参数。
Expert model：模型正好有9个正确的参数和1个错误参数。
灵活模式：具有模型中的所有1000个潜在参数，并使用最小二乘估计。
regularizedmodel：与flexiblemodel类似，它拥有模型中的所有参数，但都在规范化模型中。
因此，得到了模型的复杂性和正则化对模型性能和计算要求的影响的结果。
在此，模型的性能是与最佳预测器相比预测的归一化均方误差的负对数（以10为底）
随着样本数量的增加，Oraclemodel和Expert model最初表现出更好的性能，但可以看出Flexible model和Regularized model这两个模型都非常落后。
与之相对应的“计算请求”，Flexible model和Regularized model前两个完全不是同一个级别。
这恰恰印证了吴恩达的一个观点：
这篇论文把这一见解推上了更广泛的结论：
在1058篇论文中，我们看到了实际计算能力的需求
上面的照片。
你会发现，所有深度学习模式的实际计算能力需求，都远远超过了近年来提高“硬件性能”所需的计算能力。
为了研究深度学习对计算的依赖性，团队研究了1058篇研究论文。
图像分类（ImageNet基准）、对象检测）MS COCO）、问题回答）SQuAD1.1、、命名实体识别）COLLN2003、、机器翻译）WMT2014En-to-FR）等领域。
以图像分类为例。
以ImageNet为基准，显示了ImageNet数据集上的图像识别错误率的降低与这些模型的计算要求的关联性。
此外，在回答问题、命名实体识别、机器翻译等领域也出现了对计算能力的依赖性。
除了机器翻译英语到德语之外，使用的计算能力变化很小。其他模型依赖性强，其中问题回答的依赖性达到7.7。
总体而言，在深度学习的许多领域，培训模式的进展依赖于计算能力的大幅增加。
但随之而来的是“高研究成本”。
MIT助理教授，清华大学出身者韩松如下所述
今年1月，FacebookAI副总裁Jerome Pesenti在接受《连线》采访时表示，该领域很快就会“碰壁”。
目前已有上千篇论文研究重申了这一结论。
那么，对于目前的机器翻译、自动驾驶等项目，我们需要重新审视“如何以最小成本最大化收益”。
换句话说，作为商业模式落地的AI翻译和自动驾驶项目是以“性价比”重新评估的时候。
你觉得怎么样？
论文地址：http：//www.Neil-t.com/Moores-law-and-computer-performance/
参考链接：https：//www.wired.com/story/prepare-artificial-intelligence-produce-less-wizardry/
文章评论