近日，谷歌AI负责人Jeff Dean接受了专访，讨论了2020年机器学习领域的趋势。他认为，在更大规模的多任务学习和多模态学习方面，AI将会取得新的突破。

谷歌在Transformer上的研究推动了自然语言处理领域的发展。Jeff Dean认为，未来应更加注重基础研究。

在加拿大温哥华举办的NeurIPS 2019会议上，机器学习成为了最大的热点。来自世界各地的13000名研究人员探讨了神经科学、如何解释神经网络的输入，以及AI如何解决现实世界中的重大问题。

会议上不仅展示了超过1400篇研究成果，还有众多AI领域的顶尖专家发表了演讲。其中，谷歌AI负责人Jeff Dean在研讨会上分享了机器学习如何助力应对气候变化以及重塑系统和半导体。

许多人对谷歌在创建机器学习半导体、BERT对对话式AI的影响以及2020年的机器学习趋势等方面的工作表示出了浓厚兴趣。

VentureBeat就此采访了Jeff Dean，以下是采访的主要内容：

Dean表示，利用机器学习应对气候变化是一个非常广阔且充满潜力的领域。谷歌和整个AI社区对此都感到非常兴奋，因为这是一个重要的挑战，背后有许多技术难题需要克服。

VentureBeat：NeurIPS会议上有哪些让您感到特别兴奋的研究？

Dean：虽然并非所有项目都令人振奋，但我们确实讨论了许多项目。总体而言，机器学习领域现在非常活跃，很难全面掌握所有内容。不过，通过收集大家认为重要的观点，可以形成一种筛选机制。

VentureBeat：您在arXiv上发表的文章提到机器学习硬件的发展，那么在后摩尔定律时代，人们需要注意什么？

Dean：事实证明，为特定类型计算设计专用芯片（相对于通用CPU）是非常有效的。因此，我们从更严格的计算模型（如GPU甚至TPU）中获得了显著收益。这些模型虽然更严格，但实际上是为机器学习计算需求专门设计的。与通用CPU相比，这种专业化带来了巨大的性能优势。

VentureBeat：您还谈到了利用机器学习创建机器学习硬件的知识，能具体谈谈吗？

Dean：是的，这是我周六要讨论的一个话题。在ML for Systems研讨会上，我将详细介绍我们在ASIC芯片设计中进行的早期工作，特别是关于规划和布线。设计一个芯片，包括大量的晶体管及其连接方式。在设计过程中，一方面拥有可以辅助规划的设计工具，另一方面还有人工规划和布线专家，通过这些工具进行多次迭代。从初始设计到实际将芯片物理布局，同时满足面积、功耗和连线长度等方面的限制，并满足所有设计规则或制造过程，通常需要数周时间。事实证明，我们在某些工作中可以使用机器学习来实现更自动化的规划和布线，从而大大提高效率。

VentureBeat：关于气候变化问题，Intel AI总经理Naveen Rao提到每瓦特计算应该成为一个标准基准测试。一些组织希望提供模型训练时的碳足迹。我猜对于大型模型（如XLNet）的批评是它们的制造和部署需要大量能量。

Dean：确实，我们在Google的数据中心训练的所有内容——碳足迹为零。我认为，这些大型模型中的一些确实是计算密集型的，并且在能耗方面成本很高。但是，像多任务学习和迁移学习这样的算法工具实际上可以有效改善能耗。例如，您可以训练一个模型，然后对其进行微调，或者针对相对较少的示例进行多任务学习，这几乎已成为当前的标准做法。

VentureBeat：关于BERT，这一年非常重要。到处都能见到BERT的身影。接下来，人们对BERT会有哪些期待？

Dean：BERT之所以有趣，是因为它建立在其他研究的基础上。因此，BERT的成功在很大程度上依赖于Transformer模型的发展。Transformer模型在处理与基于LSTM的早期序列模型相同的问题方面取得了显著进展。我认为，整个研究线程在实际应用机器学习模型方面非常成功。如今，要开发的机器学习模型比过去更复杂。BERT的微调涉及在大量文本上进行预训练，然后再针对特定的NLP任务进行微调，这对于许多我们希望解决的NLP问题来说是一个很好的例子。在谷歌内部，我们正在研究许多不同类型的应用程序。我们知道我们刚刚在搜索堆栈中推出了一些内容，以提高搜索质量。我想在更广泛的社区中也能看到这一点。我们仍然希望开发出更上下文相关的模型。当前，BERT和其他模型可以很好地处理数百个单词的上下文，但对于10000个单词的上下文处理仍有待改进。因此，这是一个有趣的方向。我认为多模态模型非常有趣，例如可以将文本与图像、音频或视频结合。我们已经开展了一些工作，社区的其他成员也在进行类似的探索。但我相信，这在未来将变得越来越重要。此外，我相信人们会对BERT所采用的基本方法进行改进。我们有一些小的甚至是重大的改进。因此，基础研究将继续进行，无论是在谷歌内部还是外部，我们都感到非常兴奋。

VentureBeat：对模型鲁棒性的追求是否超过了追求登上GLUE排行榜的榜首？以及明年谷歌将面临的哪些技术和道德挑战？

Dean：是的，我认为找到大量完全不同的方法来解决问题，并保证结果的可靠性对我们来说非常重要。在AI或机器学习方面，我们已经做了相当多的工作，并建立了一个流程，以了解如何在不同产品和应用中合理使用机器学习。这个流程已经得到了优化，并通过模型卡等方式进行了完善。我认为，在许多原则领域，确实存在开放的研究方向，可以帮助我们解决公平性和偏见问题，以及机器学习模型的安全性和隐私问题。然而，我们需要在这些领域继续进行长期研究，以提高技术水平，同时将最新的技术应用于我们的工作中。

VentureBeat：您预计会出现哪些趋势，或者在2020年，AI可能会取得哪些里程碑？

Dean：我认为我们将看到更大规模的多任务学习和多模态学习。这将非常有趣。此外，我预计在更有趣的设备（如智能手机等消费级设备）上，模型将更有效地运行。与AI相关的原理研究显然非常重要。作为一家大型研究机构，我们实际上正在从事许多不同的工作，因此很难一一列举。但总的来说，我们将继续发展最先进的技术，进行基础研究，以提升我们在许多关键领域的技术能力，如自然语言处理、视觉或多模态事物。同时，我们将与同事和产品团队合作，进行一些准备用于产品应用的研究，以便他们可以构建有趣的功能和产品。我们将做一些谷歌目前尚未涉足的新事物，比如我们在芯片设计方面的研究。例如，在民用机器人领域，我们已经进行了大量的机器人研究。我认为，使机器人能够在任意环境中运行是一个非常具有挑战性的课题。

以上是对原文的改写，确保了内容的核心信息和价值点得以保留，同时避免了原文的直接引用和过于相似的表达。