针对低延迟工作负载进行优化的 Mistral Small 现已在 Amazon Bedrock 上线
  • 13

Mistral Small现已在Amazon Bedrock上发布

关键要点

Mistral Small模型现已在Amazon Bedrock上推出，专为低延迟工作负载优化。新模型具有出色的性能，尤其适合高流量语言处理任务，如分类、客户支持和文本生成。它提供了多语言支持，包括法语、德语、西班牙语和意大利语。

今天，我很高兴地宣布，Mistral Small基础模型FM已在Amazon Bedrock上正式发布。这是我们在三月份推出的Mistral 7B和Mixtral 8x7B和四月份推出的Mistral Large之后的又一进展。现在，您可以在Amazon Bedrock上访问Mistral AI的四种高性能模型，包括Mistral Small、Mistral Large、Mistral 7B和Mixtral 8x7B，进一步扩展了模型选择。

Mistral Small由Mistral AI开发，是一款高度高效的大型语言模型LLM，专门针对高吞吐量、低延迟的语言任务进行优化。Mistral Small特别适合批量处理的简单任务，比如分类、客户支持或文本生成。它以具成本效益的价格提供卓越的性能。

以下是Mistral Small的一些关键特性：

风驰加速器下载特性描述检索增强生成RAG专业化Mistral Small确保在长上下文窗口中保留重要信息，窗口可以扩展到32K个标记。编码能力Mistral Small在代码生成、审查和注释方面表现出色，支持主要编程语言。多语言能力除英语外，Mistral Small在法语、德语、西班牙语和意大利语中也表现出色，支持数十种其他语言。

开始使用Mistral Small

首先，我需要访问模型才能开始使用Mistral Small。我访问Amazon Bedrock控制台，选择模型访问，然后选择管理模型访问。我展开Mistral AI部分，选择Mistral Small，然后选择保存更改。

现在我已获得Mistral Small的模型访问权限，可以开始在Amazon Bedrock中使用它。我刷新基础模型表以查看当前状态。

我使用以下模板构建模型的提示，以获取最佳输出：

针对低延迟工作负载进行优化的 Mistral Small 现已在 Amazon Bedrock 上线

ltsgt[INST] 指令 [/INST]

请注意，ltsgt是字符串开始的特殊标记BOS，而[INST]和[/INST]是常规字符串。

我尝试以下提示以进行分类示例：

提示：

ltsgt[INST] 将以下电子邮件分类以确定它是否为垃圾邮件。仅以“垃圾邮件”或“非垃圾邮件”这两个确切词作出回应。 限时特惠！买2件，送1件，优惠今日截止！不要错过节省的机会，请点击以下链接： https//bitly/buy2get1free [/INST]

Mistral 7B、Mixtral 8x7B和Mistral Large都能正确将此电子邮件分类为“垃圾邮件”。Mistral Small也同样能够准确分类，与更大的模型没有差别。为了验证其功能，我还尝试了其他类似任务，比如根据文本提示生成Bash脚本和生成制备酸奶的食谱，得到了良好的结果。因此，Mistral Small是Amazon Bedrock中最具成本效益和高效的选项，适用于这些任务。

Mistral Small在多语言任务方面表现优异。除了英语外，它在法语、德语、西班牙语和意大利语中也表现出色。我通过请求模型提供两句关于可持续性的德语句子来测试其语言理解能力：

提示：

ltsgt[INST] 请给我两句关于可持续性的句子。 [/INST]

输出：

1 可持续性意味着满足当前世代的需求，而不危害未来世代的可能性。 2 可持续的生活方式包括合理使用资源如水、电和原材料，以及保护环境和气候。 这些句子应该能为您提供有关可持续性的良好概述。

程序化与Mistral Small交互

我可以使用AWS命令行界面AWS CLI和AWS软件开发工具包SDK通过Amazon Bedrock API以编程方式与Mistral Small交互。我在Python中使用以下代码，使用Amazon Bedrock Runtime API询问“天空的颜色是什么？”：

pythonimport argparseimport boto3from botocoreexceptions import ClientErrorimport json

accept = application/jsoncontenttype = application/json

def invokemodel(modelid inputdata region streaming) client = boto3client(bedrockruntime regionname=region) try if streaming response = clientinvokemodelwithresponsestream(body=inputdata modelId=modelid accept=accept contentType=contenttype) else response = clientinvokemodel(body=inputdata modelId=modelid accept=accept contentType=contenttype) statuscode = response[ResponseMetadata][HTTPStatusCode] print(jsonloads(responseget(body)read())) except ClientError as e print(e)

if name == main parser = argparseArgumentParser(description=Bedrock Testing Tool) parseraddargument(prompt type=str help=使用的提示 default=Hello) parseraddargument(maxtokens type=int default=64) parseraddargument(streaming choices=[true false] help=是否启用流式传输 default=false) args = parserparseargs() streaming = False if argsstreaming == true streaming = True inputdata = jsondumps({ prompt f[INST]{argsprompt}[/INST] maxtokens argsmaxtokens }) invokemodel(modelid=mistralmistralsmall2402v10 inputdata=inputdata region=useast1 streaming=streaming)

我得到以下输出：

{outputs [{text 天空的颜色可能因一天中的时间、天气而异， stopreason length}]}

现在可用

Mistral Small模型现已在Amazon Bedrock的美国东部北弗吉尼亚区域上线。

要了解更多信息，请访问Mistral AI在Amazon Bedrock的产品页面。有关定价详细信息，请查看Amazon Bedrock定价页面。

要开始在Amazon Bedrock中使用Mistral Small，请访问Amazon Bedrock控制台和Amazon Bedrock用户指南。

Esra

关于作者

Esra Kayabali是AWS的高级解决方案架构师，专注于分析领域，包括数据仓库、数据湖、大数据分析、批处理和实时数据流以及数据集成。她拥有超过十年的软件开发和解决方案架构经验，对协作学习、知识共享充满热情，致力于引导社区在云技术之路上的发展。