AI 大神首次承认参与神秘模型 Q* 研发,把 OpenAI 吓坏了 | Transformer 作者专访
作者头像
  • Coco智能
  • 2024-03-28 14:41:01 3046

编者按:人类智慧的汇聚,孕育了一台机器,这台机器正逐步成为全球性的力量。《Wired》杂志深入采访了八位开创性人物,揭开当代人工智能的诞生背景,以及他们鲜为人知的故事。


在学术界,一篇名为“Attention Is All You Need”的论文已广为流传,它以其独特的Transformer架构,深刻地改变了人类生活。这篇论文的诞生,始于Jakob Uszkoreit的独到见解——他在处理长文本时洞察到递归神经网络的局限性,并于2014年起着手探索一种全新的方法——自注意力机制。

Uszkoreit携手Google同事,共同撰写并以“Transformer”为名,这一名称既体现了技术的核心原理,也暗含了Uszkoreit儿时对孩之宝玩具的深情记忆。Shazeer的加入,为团队带来了关键的理论与实践相结合的力量,共同将这一架构推向新高度。

论文提交前,团队进行了两次模型测试,结果超越了所有竞争对手,刷新了纪录。这一模型迅速普及,几乎应用于所有人类表达形式,并扩展至图像、音频和视频等研究领域。

论文标题“Attention Is All You Need”,灵感源于The Beatles的经典曲目“All You Need Is Love”,由Uszkoreit提议,彰显了团队对人类需求的深刻理解。

据OpenAI首席执行官Sam Altman透露,当论文发表时,谷歌内部似乎并未预见其深远影响。然而,2017年12月,论文一经发布即引起轰动,科学家们在长达四小时的会议上挤满会场,直至深夜10:30,仍不愿离去。

最终,这八位作者离开Google,创立的公司和产品均基于Transformer技术。如今,七年过去了,“Attention”论文的传奇地位愈发显著。研究人员以技术创新为灵感,创造出超越想象的AI产品,如ChatGPT和图像生成器Dall-E、Midjourney等。

Shazeer戏谑地提到,若预知论文影响力,他或许会更加关注作者顺序问题。这八位签名者现已成为行业内的知名人物,Llion Jones甚至表示有人因论文排名第五而请求合影。

Geoffrey Hinton,虽未参与论文撰写,但作为AI领域的领军人物,他指出,如果没有Transformers,我们可能无法处于这个时代,即人类正构建能够媲美甚至超越人类输出的系统。

自论文发表至今,八位作者已纷纷离开Google,以不同方式与他们创造的系统合作。在这次与Transformer八人组的深度对话中,我们试图探索创新的本质:

一次人类智慧的汇集,孕育出一台机器,这台机器正引领我们走向未来。


Jakob Uszkoreit的故事始于父亲Hans Uszkoreit的青年时代。Hans在东德因抗议苏联入侵捷克斯洛伐克而遭受15个月的监禁,随后逃往西德,在柏林学习计算机和语言学。这段经历为Jakob日后在人工智能领域的创新奠定了坚实的基础。

    本文来源:图灵汇
责任编辑: : Coco智能
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
大神吓坏Transformer专访模型承认研发参与神秘作者
    下一篇