微软内部遭遇AI硬件短缺 被迫实施配额制
作者头像
  • 李丹
  • 2023-03-17 00:00:00 3082

微软AI资源短缺影响新版必应及Office工具发布

核心摘要:微软近期宣布了一整套基于GPT-4的人工智能(AI)软件的Office 365工具,然而,内部AI服务器硬件的短缺迫使微软采取了配额供应的策略,限制了其他AI工具开发团队的资源使用,以确保新版必应聊天机器人和即将发布的Office工具能获得足够的计算资源。这一状况不仅影响了微软的内部项目,也对依赖Azure云服务的外部客户产生了影响。

详细内容

随着微软即将推出一系列集成GPT-4 AI软件的Office 365工具,公司正面临着内部AI服务器硬件短缺的挑战。这促使微软实施了硬件资源的配额制度,以优先满足基于GPT-4的新版必应聊天机器人和即将发布的新款Office工具的计算需求。此举措直接影响了微软的客户体验,至少有一名客户反映需要长时间等待,才能使用通过微软Azure云服务提供的OpenAI软件。

微软正在努力增加AI计算能力,但若硬件短缺问题未能迅速解决,这可能限制Azure OpenAI服务对新客户的吸引力,特别是那些计划在其应用中整合AI功能的企业。目前,微软在AI工具商业化方面领先于谷歌,但硬件短缺问题可能导致其竞争优势减弱。

谷歌在本周早些时候推出了AI辅助写作工具,包括能在谷歌Docs和Sheets中根据简短提示自动生成文本的功能,这表明市场竞争愈发激烈。服务器短缺发生在OpenAI和微软寻求扩大销售范围的关键时刻,企业用户渴望利用OpenAI的ChatGPT聊天机器人的底层技术来定制图片生成、文档总结、搜索引擎和聊天机器人等AI工具。

微软向OpenAI投资数十亿美元,拥有通过Azure OpenAI服务向创业公司销售软件的权利。OpenAI也直接向客户提供软件授权,所有OpenAI机器学习模型必须运行在Azure服务器上。这两项服务的定价均较低,每次请求费用不到一美元。

过去三个月,这两家公司的服务吸引了广泛的企业用户兴趣,他们都希望通过集成OpenAI的技术来增强自家产品的智能化水平。然而,Azure OpenAI服务的新客户正面临较长的等待时间,等待获取计算资源。

硬件短缺的核心原因在于GPT-4等新型AI大模型需要强大的GPU计算能力。为了应对模型的庞大计算需求,微软整合了数千个GPU,分布于不同的数据中心。在明确用户需求量之前,微软必须预留大量的GPU资源给必应的GPT-4聊天功能和即将推出的GPT-4 Office工具。

由于微软在2月份刚刚推出必应智能聊天功能,无法准确预测其所需的计算资源。此外,即将推出的Office GPT-4工具预计将引发微软客户对OpenAI聊天机器人技术需求的大幅增长,包括AI文档总结、个性化写作建议和编辑建议等功能。

微软内部的AI开发团队,如图灵自然语言生成模型团队,以及其他机器学习模型的开发团队,都受到了硬件资源短缺的影响。当这些团队需要使用GPU开发新的AI工具或测试现有AI软件时,必须向高级管理层提交申请,经过审批后才能使用硬件资源。

申请过程可能需要几天甚至几周的时间,自2022年底以来,微软内部的GPU资源一直实行配额供给。然而,从1月开始,等待时间变得越来越长。尽管如此,微软发言人表示,公司正在为Azure等服务增加更多AI资源,并遵循优先满足客户需求并根据需求进行调整的流程。

至少有一名微软客户反映,他们也经历了访问Azure服务的延迟问题。市场营销软件创业公司TouchCast的创始人兼CEO Edo Segal表示,他们的公司正在为多家汽车制造商开发基于GPT的互动式用户手册,但使用Azure服务的过程颇为艰难。

当前,现有的Azure AI客户并未受到影响。无人驾驶汽车开发商Cruise和AI搜索创业公司Perplexity的代表表示,他们在使用Azure的GPU资源时未遇到困难。去年11月,微软和GPU供应商英伟达共同宣布,微软将新增数万个处理器以扩展AI处理能力,但采购进度目前尚不明朗。

两家公司在周一共同宣布,Azure的客户将能提前使用英伟达的H100 GPU,该产品尚未广泛发布。据知情人士透露,已有少数微软内部团队开始使用H100,但大多数部门尚未获得使用权限。

    本文来源:图灵汇
责任编辑: : 李丹
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
配额制微软短缺被迫遭遇内部实施硬件
    下一篇