在加拿大温哥华举行的神经信息处理系统（NeurIPS）会议上，机器学习成为核心议题，吸引了13,000多名研究人员探讨包括神经科学、神经网络的解释以及人工智能如何解决现实世界的重大问题等内容。

此次会议接受了大约1,400篇论文，会议日程十分紧凑。Google AI负责人Jeff Dean在会上发表了演讲，重点讨论了机器学习如何应对气候变化威胁，以及机器学习如何重塑系统和半导体领域。VentureBeat在会议期间与Dean进行了访谈，讨论了谷歌在机器学习硬件领域的早期进展、BERT对会话式AI的影响以及2020年值得关注的机器学习趋势。

为了简洁明了，此次采访内容经过了编辑。

VentureBeat：您将在周六的“利用机器学习应对气候变化”研讨会上发表演讲。您能提前透露一些内容吗？

Jeff Dean：这是一个非常广泛的主题，利用机器学习应对气候变化有很大的潜力。我们对此非常兴奋，Google和整个AI社区都对这一挑战感到激动，因为这是一个重大的问题，需要解决很多技术难题。比如，我们如何将机器学习应用于这些具体问题？

VentureBeat：您能否分享一下在NeurIPS会议上的工作内容？我的意思是，尽管您可能没有选择所有项目，但除了Google展示的内容外，您还有哪些感兴趣的研究？

Jeff Dean：虽然我没有参与所有的项目，但我们对许多有趣的研究进行了内部讨论。机器学习领域现在非常活跃，每天都有很多新成果涌现。很难跟上所有的发展，但一个关键的趋势是人们对某些重要研究的关注度很高。

我最近才开始关注这个领域，但我已经了解到很多人对其他很多研究也很感兴趣。

VentureBeat：我在arXiv上看到了您关于机器学习硬件发展的评论，您提到将在下个月的ISSCC会议上进一步扩展这些内容。您认为在后摩尔定律时代，人们需要牢记哪些关键事项？

Jeff Dean：我认为非常有效的一个方法是专门化芯片，以便执行特定类型的计算，而不是通用计算。例如，专用集成电路（ASIC）和张量处理单元（TPU）已经在实践中取得了显著成果。这些专门化设计相较于通用中央处理器（CPU）提供了巨大的性能优势。虽然我们无法再期待像过去那样每年都能获得巨大的性能提升，但这种专业化确实带来了架构上的巨大优势。

VentureBeat：您还分享了利用机器学习创建机器学习硬件的知识。您能详细说明一下吗？

Jeff Dean：是的，我将在ML for Systems研讨会上讨论这个话题。我们已经开展了一些早期工作，特别是在ASIC芯片设计中的机器学习应用，特别是在布局和布线方面。芯片设计过程包括使用自动化工具进行初步规划，但最终的规划和布线仍然需要人工干预。这个过程可能需要数周时间。我们发现，通过机器学习，可以实现更自动化的规划和布线。我们开发了一种机器学习模型，可以自动设计ASIC芯片。

VentureBeat：这听起来很酷。

Jeff Dean：是的，我们在一些外部芯片设计中也取得了不错的效果。

VentureBeat：关于气候变化问题，有一个有趣的动向：最近我与英特尔AI总经理Naveen Rao交谈时，他提到每瓦计算应该成为一种标准基准。一些组织正在讨论分享他们在会议中提交的训练模型的碳足迹。

Jeff Dean：是的，我们对此感到非常兴奋。因为我们所有的Google数据中心训练都实现了零碳排放。我们的能源几乎全部来自可再生能源。我们认为这是一个非常积极的发展。

VentureBeat：我猜对于大型模型（如XLNet）的批评在于制造和部署它们所需的能量。如果这些模型在Google的数据中心中是碳中和的，但其他人使用大型模型时则未必如此。

Jeff Dean：是的，我认为社区需要研究更高效的算法和技术，以减少计算和能量的消耗。多任务学习和迁移学习是非常有效的算法工具，可以让我们用更少的计算资源实现特定的任务或结果。这些方法可以帮助我们更好地利用现有资源，从而提高效率。

VentureBeat：我想知道您是否对确保来自非洲或亚洲的签证受限的研究人员能够参加会议表示关心。组织者们之前也讨论过这个问题。我最近与一位本周初无法到达会议的人交谈，他建议在开放边界类型的国家召开主要会议（如ICML或CVPR），以避免签证问题。您怎么看？

Jeff Dean：我认为我们应该让更多的人能够参与这些会议。有时无论在哪里召开会议，都会有一些限制。例如，在美国学习的学生有时很难离开美国参加会议。如果我们选择在美国以外的地方举办会议，可能会带来一些麻烦。不同的国家有不同的政策，但我认为轮流在不同国家举办大型会议是一个明智的选择，这样就不会所有人都面临相同的签证问题。此外，我们也需要帮助政府了解科学交流的重要性，并鼓励他们允许科学家参加科学会议。

VentureBeat：今年对于BERT来说非常重要。到处都是BERT及其各种变体。接下来人们可以看到BERT有哪些变化，或者即将出现什么新发展？

Jeff Dean：BERT之所以有趣，是因为它建立在其他研究成果的基础上。BERT的兴起得益于Transformer模型的成功。Transformer模型解决了早期基于LSTM的序列模型的问题。我认为整个研究线程在实际应用中非常成功，现在我们可以构建更复杂的机器学习模型。通过在大量文本上进行预训练，然后对特定的自然语言处理（NLP）任务进行微调，BERT提供了一个很好的范例。在Google，我们正在研究许多不同类型的应用程序，尤其是在搜索领域。我相信在更广泛的社区中也会看到这一点。我们希望开发出更加上下文相关的模型，能够在更长的文本范围内处理上下文信息。此外，多模态模型也非常有趣，比如将文本与图像、音频或视频结合在一起。我们已经做了一些工作，社区的其他成员也做了很多工作，但我相信这在未来将变得越来越重要。

VentureBeat：您觉得来年Google面临的技术或道德挑战有哪些？

Jeff Dean：就AI或机器学习而言，我们已经建立了一个相当完善的流程，以确保机器学习在不同产品和领域中的应用符合AI原则。我们通过模型卡等方式不断改进这个流程。我认为这些进展非常好，并意味着作为社区，我们应该继续这样做。

在许多准则领域，仍然有许多开放的研究方向。例如，我们需要解决公平性和偏见问题，以及机器学习模型的安全性和隐私问题。这些都是尚未完全解决的问题，因此我们需要继续进行长期研究，同时在我们的工作中应用最新的技术。

VentureBeat：您预计2020年会出现哪些趋势，或者您认为AI会在哪些方面取得突破？

Jeff Dean：我认为我们会看到更多关于多任务学习和多模态学习的研究。这将非常有趣。此外，我们还会看到持续的趋势，即在更有趣的设备上（如手机等消费类设备）更有效地运行模型。

我认为与AI原则相关的工作非常重要。作为一个大型的研究机构，我们正在从事许多不同的项目，很难一一列举。但总的来说，我们将继续推进最先进的技术，进行基础研究，以提高我们在许多重要领域的技术能力，例如自然语言处理（NLP）、语言模型或视觉和多模态技术。同时，我们还将与产品团队合作，进行一些准备用于产品应用的研究，以构建有趣的功能和产品。

VentureBeat：您对日常生活中的机器人技术感兴趣吗？

Jeff Dean：是的，我们一直在进行大量的机器人研究。机器人技术是一个非常具有挑战性的领域，要让机器人在各种环境中自如运作，例如在一个有椅子和杂物的会议室里。近年来，我们在机器人技术方面取得了显著进展，这是一个非常有趣的领域。