2020年，机器学习的发展趋势

在2020年，机器学习领域将有哪些新的进展？在加拿大温哥华举办的NeurIPS期间，Jeff Dean接受了外媒VB的采访，分享了他的看法。

Jeff Dean认为，多任务学习和多模态学习将在未来取得显著进步，并且会出现更加高效的设备，使得机器学习模型的应用更为广泛。他还讨论了如何利用机器学习来开发AI芯片，以及谷歌对BERT的看法等话题。

作为谷歌AI的负责人，Jeff Dean的观点对于从事该领域的人员来说具有很高的参考价值。以下是采访的主要内容：

关于BERT

问： BERT在2019年引起了广泛关注。到处都能看到BERT的身影，那么BERT有哪些变化？未来又将如何发展？

Jeff Dean： BERT之所以有趣，是因为它基于之前的研究成果，特别是在Transformer模型上的进展。Transformer解决了早期基于LSTM的序列模型遇到的问题。这种方法在实际应用中非常有效。

目前，我们已经在谷歌内部的产品中应用了BERT，例如搜索引擎，以提升搜索质量。未来，我们希望BERT能够在更广泛的上下文中发挥作用。当前，BERT在几百个单词的文本上表现良好，但在更长的文本上还需要进一步改进。多模态模型也非常有潜力，可以将文本与其他形式的数据如图像、音频或视频结合在一起。我们已经在这方面取得了一些进展，并期待未来有更多的探索。

问： 人们似乎过于关注在特定任务上取得最佳效果，而忽视了其他方法的价值。

Jeff Dean： 是的，很多人过于关注在某些特定任务上取得最先进的结果。然而，其他方法同样值得关注，即使它们尚未达到最先进水平，但仍然有很高的研究价值。例如，鲁棒性的提升也是一个重要的方向。

问： 而不是一味追求在GLUE排行榜上的排名？

Jeff Dean： 对，我们应该更多地关注实际应用中的效果，而不仅仅是排行榜上的名次。

关于AI芯片

问： 在后摩尔定律时代，我们应该注意什么？

Jeff Dean： 使用专门的芯片而不是通用的CPU来进行特定计算，已经被证明是非常有效的。例如，TPU和GPU在机器学习计算方面比通用CPU更具优势。因此，尽管存在一些限制，但它们在性能上仍然有很大的提升空间。

问： 机器学习在硬件设计中的应用如何？

Jeff Dean： 我们已经进行了一些初步尝试，尤其是在设计专用集成电路（ASIC）时。这些设计需要考虑晶体管布局和连接方式。目前，设计过程中已经有一些工具可以辅助规划，但仍然需要人工参与和多次迭代。从初始设计到最终实现，这个过程可能需要数周时间。然而，我们发现机器学习可以在自动化规划和布线方面发挥重要作用，从而大大缩短设计周期。

2020年的趋势

问： 你认为2020年的人工智能领域会出现哪些重要趋势？

Jeff Dean： 我认为多任务学习和多模态学习将会有很大的进展，这将有助于解决更多的问题。此外，我们将看到越来越多高效的设备（如手机或其他类型设备）出现，使机器学习模型的应用更加便捷。

同时，与人工智能相关的伦理和原则研究也非常重要。谷歌作为一个大型研究机构，有着多种不同的驱动力，很难说只有一个重点。但总体而言，我们将继续推动技术的发展，进行基础研究，提高我们在多个关键领域的表现，如自然语言处理（NLP）、语言模型和多模态应用。我们也将在产品团队的支持下，开发一些有趣的特性，例如我们在芯片设计方面的探索。

问： 日常生活中的机器人技术呢？

Jeff Dean： 我们在机器人技术方面也投入了很多精力。让机器人在任意环境中自主工作仍然是一个挑战，但在过去几年中，我们在这一领域取得了显著进展。这是一个非常有趣的研究方向，我们正在持续推动这一领域的发展。