改进了编排控制并增强了推理的可视性,Agents for Amazon Bedrock 现已上市

发布时间 2023-12-14 16:07:41作者: 亚马逊云开发者

七月份的时候,我们推出了 Agents for Amazon Bedrock 预览版。如今,Agents for Amazon Bedrock 全面上市。

Agents for Amazon Bedrock 通过编排多步任务,有助于您加速生成人工智能 (AI) 应用程序的开发。代理使用基础模型 (FM) 的推理功能将用户请求的任务分解为多个步骤。他们使用开发人员提供的指令创建编排计划,然后通过调用公司 API 和使用检索增强生成 (RAG) 访问知识库来执行该计划,从而为终端用户提供最终响应。如果您想知道其中的工作原理,请查看我之前发布的关于代理的文章,其中包括高级推理入门和 RAG 入门

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

即日起, Agents for Amazon Bedrock 的功能已得到增强,包括改进了编排控制并增强了思维链推理的可视性。

Agents for Amazon Bedrock 在后台会自动化用户请求任务的提示工程和编排,例如管理零售订单或处理保险索赔。代理会自动构建编排提示,如果连接到知识库,则会使用您公司特定信息扩充提示,并调用 API 以自然语言向用户提供响应。

作为开发人员,您可以使用新的追踪功能来追踪执行计划时使用的推理过程。您可以查看编排过程中的中间步骤,并使用这些信息来解决问题。

您还可以访问和修改代理自动创建的提示,以便进一步增强终端用户体验。您可以更新此自动创建的提示(或提示模板),从而帮助 FM 增强编排和响应,使您能够更好地控制编排。

接下来,我将为您展示如何查看推理步骤以及如何修改提示。

查看推理步骤

追踪功能可以让您了解代理的推理,即思维链 (CoT) 。您可以使用 CoT 追踪查看代理如何逐步执行任务。 CoT 提示基于一种名为 ReAct (协同推理和行动)的推理技术。请查阅我上一篇博客文章中关于高级推理的入门知识,了解更多关于 ReAct 和特定提示结构的信息。

首先请导航到 Amazon Bedrock 控制台并选择现有代理的工作草稿。然后,选择“测试”按钮并输入示例用户请求。在代理的响应中,选择“显示追踪”。

图片

CoT 追踪逐步显示代理的推理。打开每个步骤查看 CoT 的详细信息。

图片

增强的可视性有助于您了解代理完成任务所使用的基本原理。作为开发人员,您可以使用这些信息来完善提示、说明和操作描述,以便在迭代测试和改进用户体验时调整代理的操作和响应。

修改代理创建的提示

代理根据提供的说明自动创建提示模板。您可以更新用户输入的预处理、编排计划和 FM 响应的后处理。首先请导航到 Amazon Bedrock 控制台并选择现有代理的工作草稿。然后,选择“高级”提示旁边的“编辑”按钮。
图片

在这里,您可以访问四种不同类型的模板。预处理模板定义了代理如何对用户输入进行情景化和分类。编排模板为代理提供了短期记忆、可用操作和知识库的列表及其描述,以及如何在不同序列或组合中分解问题并使用这些操作和知识的少量示例。知识库响应生成模板定义了知识库在响应中的使用和总结方式。后处理模板定义了代理如何对最终响应进行格式化和呈现给终端用户。您可以选择保留模板默认设置,也可以编辑和覆盖模板默认设置。

需要了解的事项

使用 Agents for Amazon Bedrock 的一些最佳实践和需要了解的重要事项如下。

当您让代理集中处理一个特定任务时,它们能够发挥最佳性能。目标(指令)越明确,可用的操作集 (API) 越专注, FM 就越容易推理和确定正确步骤。如果您需要代理来处理各种任务,请考虑创建单独的独立代理。

以下是一些额外的指南:

  • API 数量–在代理中使用三到五个带有几个输入参数的 API 。
  • API 设计——遵循设计 API 的一般最佳实践,例如确保等幂性。
  • API 调用验证–遵循 API 设计的最佳实践,对所有 API 调用进行详尽的验证。这一点尤其重要,因为大型语言模型 (LLM) 可能会产生幻觉输入和输出,事实证明,这些验证对于处理这种情况非常有帮助。

可用性和定价

Agents for Amazon Bedrock 今天在美国东部(北弗吉尼亚州)和美国西部(俄勒冈州)的亚马逊云科技地区上市。将根据代理进行的推理调用 (InvokeModel API)向您收费。InvokeAgent API 不单独收费。详情请查阅 Amazon Bedrock 定价

了解更多信息

Agents for Amazon Bedrock 产品页面

Agents for Amazon Bedrock 用户指南

控制台中的 Agents for Bedrock

文章来源:
https://dev.amazoncloud.cn/column/article/65716ba80ddfe627e00c7792?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=bokey