Jamba 15系列模型正式在Amazon Bedrock上线

关键要点

Jamba 15系列模型：包括Jamba 15 Mini和Jamba 15 Large，支持高达256K的token上下文窗口。多语言支持：支持多种语言，包括英语、西班牙语、法语等。高效处理：在长上下文处理上，性能比同类模型快25倍。适用场景：适用于文档分析、合规检测及长文档问答等应用。

今天，我们正式宣布AI21 Labs的新一代Jamba 15系列大型语言模型LLM现已在Amazon Bedrock上提供。这些模型在长上下文语言处理方面取得了显著进步，能够在多种应用中提供快速、高效和卓越的性能。Jamba 15系列模型包括Jamba 15 Mini和Jamba 15 Large。这两个模型都支持256K token的上下文窗口、结构化的JSON输出、函数调用，并可以处理文档对象。

AI21 Labs是人工智能基础模型和企业AI系统设计的领导者。AI21 Labs和AWS携手合作，帮助各行业的客户构建、部署和扩展生成式AI应用，以应对现实世界的挑战，并激发创新。借助AI21 Labs的先进、可生产使用的模型以及Amazon的专用服务和强大基础架构，客户可以在安全环境中利用LLM，塑造未来的信息处理、沟通和学习方式。

Jamba 15模型简介

Jamba 15模型采用独特的混合架构，将变压器模型架构与结构化状态空间模型SSM技术相结合。这种创新方法使得Jamba 15模型能够处理高达256K token的长上下文，同时保持传统变压器模型的高性能特征。您可以在《Jamba 混合变压器Mamba语言模型》白皮书中详细了解这种混合的SSM/变压器架构。

您现在可以在Amazon Bedrock中使用两个新的Jamba 15模型：

Jamba 15 Large：在所有提示长度的复杂推理任务中表现优异，特别适合需要高质量输出的长短输入应用。Jamba 15 Mini：针对长提示进行低延迟处理进行了优化，能够快速分析冗长的文档和数据。

Jamba 15的主要优势

主要特性详细说明长上下文处理256K token上下文长度，提高企业应用质量，如文档摘要与分析，以及主动和RAG工作流。多语言支持支持英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。开发者友好原生支持结构化JSON输出、函数调用，可以处理文档对象。速度与效率在长上下文处理中，相比同类模型快25倍的推理性能。详细性能结果可参考AI21官网的Jamba模型系列公告。

如何开始使用Jamba 15模型

要开始使用新的Jamba 15模型，请访问Amazon Bedrock控制台，在左下角选择模型访问，请求获取Jamba 15 Mini或Jamba 15 Large的访问权限。

在Amazon Bedrock控制台中测试Jamba 15模型时，选择左边菜单中的文本或聊天游乐场。然后，选择选择模型，将AI21设为类别并选择Jamba 15 Mini或Jamba 15 Large作为模型。

选择查看API请求，您可以获取如何使用AWS命令行接口AWS CLI调取模型的代码示例。

可以通过访问Amazon Bedrock文档中的代码示例，使用AWS SDK访问可用模型，并使用各种编程语言构建您的应用。

以下Python代码示例展示了如何通过Amazon Bedrock Converse API发送文本消息至Jamba 15模型进行文本生成。

pythonimport boto3from botocoreexceptions import ClientError

创建一个Bedrock Runtime客户端。

bedrockruntime = boto3client(bedrockruntime regionname=useast1)

设置模型ID。

modelId = ai21jamba15miniv10

modelid = ai21jamba15largev10

启动与用户消息的对话。

usermessage = 关于青蛇有三个有趣的事实是什么？conversation = [ { role user content [{text usermessage}] }]

try # 使用基本推理配置将消息发送给模型。 response = bedrockruntimeconverse( modelId=modelid messages=conversation inferenceConfig={maxTokens 200 temperature 04 topP 1} )

# 提取并打印响应文本。responsetext = response[output][message][content][0][text]print(responsetext)

except (ClientError Exception) as e print(f错误：无法调用{modelid}。原因：{e}) exit(1)

Jamba 15模型特别适用于成对文档分析、合规分析及长文档问答等用例。它们能够轻松比较多个来源的信息，检查段落是否符合特定准则，并处理非常长或复杂的文档。您可以在AI21onAWS GitHub仓库中找到示例代码。要了解如何有效提示Jamba模型，请查阅AI21的文档。

现在可用

AI21 Labs的Jamba 15系列模型已于今日在美国东部弗吉尼亚州北部AWS区域中正式推出。请查看完整区域列表以获取未来的更新。要了解更多信息，请访问AI21 Labs在Amazon Bedrock的产品页面和定价页面。

今天就可以在Amazon Bedrock控制台中试用Jamba 15模型，并通过AWS rePost for Amazon Bedrock或您的常规AWS支持联系人提供反馈。

访问我们的communityaws网站，找到深入的技术内容，探索我们的Builder社区如何在解决方案中使用Amazon Bedrock。

黑石加速器下载

Antje

2024年9月25日 更新了截图和代码示例，优化了推理参数设置。