导航

于3月18日，NVIDIA公司推出了创新的企业级AI微服务，旨在让企业在自身系统中创建及部署自定义应用，同时确保知识产权的完整控制与自主性。

基于NVIDIA CUDA平台，这些云端微服务包括NVIDIA NIM与CUDA-X微服务，能针对NVIDIA及其合作伙伴生态系统的20多种主流AI模型进行高效推理优化。CUDA-X微服务提供了NVIDIA加速软件开发套件、库和工具，涵盖生成式应用、边界控制、数据处理与高性能计算等领域。此外，NVIDIA新近发布了20多个专注于医疗行业的NIM和CUDA-X微服务。

这些精心挑选的微服务增强了NVIDIA广泛计算平台的多样性，连结了模型开发者、平台供应商与企业之间的AI生态系统。这些企业能够通过标准化流程，运用优化了的定制AI模型，为NVIDIA CUDA部署基础（包含云、数据中心、工作站及个人电脑中的数亿GPU）服务。

Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow及Shutterstock等顶级应用、数据与网络安全平台供应商已开始利用NVIDIA AI Enterprise 5.0中的新生成式AI微服务。

NVIDIA创始人兼CEO黄仁勋指出，成熟企业平台丰富的数据资源可转化为强大的生成式AI助手。NVIDIA与合作伙伴共同开发的容器化AI微服务是各行业企业转型为AI企业的关键。

NIM推理微服务将部署时间从数周缩短至几分钟。NIM微服务提供基于NVIDIA推理软件的预构建容器，包括Triton推理服务器和TensorRT-LLM，大幅缩短部署时间。此外，它还提供了语言、语音与药物发现等领域的行业标准API，使开发者能在本地基础设施中安全托管私有数据，迅速构建AI应用，并根据需求进行扩展，以在NVIDIA加速计算平台上运行生产级生成式AI。

NIM微服务支持部署NVIDIA、A121、Adept、Cohere、Getty Images及Shutterstock的模型，以及来自Google、Hugging Face、Meta、Microsoft、Mistral AI与Stability AI的开源模型，提供高效且性能卓越的生产级AI容器。

ServiceNow宣布使用NIM加快开发与部署针对特定领域的AI助手和其他生成式AI应用的速度与成本效益。

用户现在可在Amazon SageMaker、Google Kubernetes Engine与Microsoft Azure AI中访问NIM微服务，并与Deepset、LangChain与LlamaIndex等流行AI框架集成。

CUDA-X微服务则为RAG、数据处理、边界控制与高性能计算提供端到端构建模块，助力各行业加速开发生产级AI。

为促进AI采用，企业可通过CUDA-X微服务利用NVIDIA Riva进行定制语音与翻译AI，使用cuOpt进行路径优化，以及借助Earth-2进行高解析度气候与天气模拟。

NVIDIA NeMo Retriever微服务使开发者能将其AI应用与业务数据连接，包括文本、图像与各种数据可视化图表，生成高度精准、紧密关联的结果。通过RAG功能，企业能为助手、聊天机器人与生成式AI生产力工具提供更多数据，提高准确度与洞察力。

NVIDIA即将发布的NeMo微服务定制模型开发工具有NVIDIA NeMo Curator、NVIDIA NeMo Customizer、NVIDIA NeMo Evaluator与NVIDIA NeMo Guardrails，用于构建、微调及评估LLM。

NVIDIA微服务的生态系统赋能企业平台。数据、基础设施与计算平台供应商如Box、Cloudera、Cohesity、Datastax、Dropbox与NetApp正利用NVIDIA微服务优化RAG流程，并将专有数据整合进生成式AI应用中。Snowflake使用NeMo Retriever，充分挖掘企业数据构建AI应用。

企业无需受限于特定基础设施，NVIDIA AI Enterprise 5.0中的微服务支持在亚马逊云科技、谷歌云、Azure与Oracle Cloud Infrastructure等云平台部署。

超过400个NVIDIA认证系统也兼容NVIDIA微服务，包含Cisco、Dell Technologies、Hewlett Packard Enterprise、HP、Lenovo与Supermicro的服务器与工作站。Hewlett Packard Enterprise更宣布推出针对生成式AI的解决方案。