2023年8月1日,亚马逊云科技宣布推出Amazon OpenSearch Serverless向量引擎预览版。此创新引擎在Amazon OpenSearch Serverless平台中引入了一种简便、高效、可扩展的相似性搜索解决方案,旨在简化构建以现代机器学习技术增强的搜索体验和生成式AI应用的过程,同时免除用户对底层向量数据库基础架构的管理需求。
各行业企业正加速采用生成式AI,以处理海量数据、生成自动化内容并提供媲美人类的互动体验。通过集成聊天机器人、问答系统及个性化推荐等高级对话生成式AI应用,企业正在革新最终用户体验及与数字平台的互动方式。这些应用允许用户以自然语言进行搜索与提问,AI通过理解语义、用户意图与查询背景,生成类人级别的响应。
向量嵌入作为一种将文本、图像、音频与视频数据转化为数字化表示的技术,对于生成动态内容至关重要。基于用户私有数据训练的向量嵌入,能够捕捉信息的语义与上下文特性。理想情况下,这些嵌入可就近存储与管理,例如靠近现有搜索引擎或数据库等特定领域数据集。由此,企业得以通过分析用户查询,寻找最接近的向量,并结合元数据整合搜索结果,无需依赖额外数据源或第三方应用。客户期望向量数据库易于构建,能够从原型设计迅速过渡至生产环境,以便集中精力开发独特应用。
Amazon OpenSearch Serverless向量引擎的推出,扩展了Amazon OpenSearch的搜索能力,使用户能够实时存储、检索及追踪数十亿向量嵌入,并进行精确的相似性匹配与语义搜索,这一切无需考虑底层基础设施的复杂性。
Amazon OpenSearch Serverless向量引擎内置了强大的灵活性与可靠性。用户无需担忧后端基础设施的选择、优化或扩展问题,引擎能够自动调整资源以适应不断变化的工作负载模式与需求,确保始终如一的快速性能与适宜规模。即便向量数量从原型设计阶段的数千个激增至生产环境的数亿个,向量引擎亦能无缝扩展,无需重新索引或加载数据以扩充基础设施。引擎提供的独立计算资源,允许用户在不中断用户查询性能的前提下,实时执行向量的增删操作。
所有数据均持久存储于Amazon Simple Storage Service(Amazon S3),确保与Amazon S3相同的11个9级数据持久性保障(即99.999999999%)。尽管目前仍处于预览阶段,向量引擎已为生产环境工作负载设计,具备应对可用区中断与基础设施故障的冗余机制。
Amazon OpenSearch Serverless向量引擎基于开源OpenSearch项目中的k近邻(kNN)搜索功能,提供可靠、精确的结果。它支持多种距离度量指标,如欧氏距离、余弦距离与点积,适用于16000维空间,适合各类基础模型及AI/ML模型。用户可存储元数据中的数字、布尔值、日期、关键字与地理位置,以及包含描述性信息的文本,以增加存储向量的上下文信息。多种数据类型的合并简化了应用栈的复杂性,提高了可维护性,避免了数据重复、版本兼容性问题及许可难题。
向量引擎支持集成多种AI与机器学习系统,如LangChain、Amazon Bedrock与Amazon SageMaker,简化了应用构建流程。通过集成这些系统,用户可在单一查询调用中处理向量嵌入、元数据与描述性信息,无需编写复杂的应用程序代码,即可提供更加准确、相关性强的搜索结果。
亚马逊云科技提供了一系列成本优化措施,包括开发-测试选项与初始配置资源设置,旨在降低客户首个集合的成本。此外,亚马逊云科技将最低OCU(OpenSearch计算单位)配置从每小时4个降至每小时1个,以支持用户首个集合。
Amazon OpenSearch Serverless向量引擎预览版已在全球八个地区提供服务,包括美国东部(俄亥俄州)、美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、欧洲(法兰克福)与欧洲(爱尔兰)。
随着Amazon OpenSearch Serverless向量引擎的推出,亚马逊云科技为用户提供了构建高效、智能化搜索体验与生成式AI应用的强大工具,同时显著降低了构建与维护成本。这一创新不仅加速了企业对生成式AI的采用,也为提升最终用户体验提供了新的可能性。