New HYBRID AI Model Just SHOCKED The Open-Source World - JAMBA 1.5

AI Revolution

24 Aug 202408:15

Summary

TLDRAI 21 Labs 推出了两款新的开源大型语言模型：Jambo 1.5 mini 和 Jambo 1.5 large，它们采用了独特的混合架构SSM Transformer，结合了传统Transformer模型和结构化状态空间模型（SSM），以更高效地处理长序列数据。这些模型在处理复杂任务，如长文档摘要或多轮对话时，能提供更准确、有意义的回应，同时降低成本。Jambo模型在新的ruler基准测试中表现优异，速度快，内存占用低，支持多语言，且具有开发者友好的特性，如JSON输出和引用生成，非常适合企业级应用。

Takeaways

🌟 AI 21 Labs发布了两款新的开源大型语言模型：Jambo 1.5 mini和Jambo 1.5 large，它们具有独特的混合架构。
🔧 这些模型采用了SSM Transformer架构，结合了经典Transformer模型和结构化状态空间模型（SSM），以提高处理长序列数据的能力。
🚀 Jambo模型能够处理更长的上下文窗口，这对于需要大量上下文理解的复杂任务是一大优势。
🏆 Jambo模型在新的ruler基准测试中表现出色，超越了其他知名模型，如llama 317b和llama 3.1 45b。
🔑 Jambo模型的关键组件Mamba，具有更低的内存占用和更高效的注意力机制，使其能够轻松处理长上下文窗口。
📈 AI 21 Labs开发了一种新的量化技术experts int 8，通过减少模型计算中使用的数字精度，节省内存和计算成本。
🌐 Jambo模型支持多种语言，包括西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语，使其适用于全球应用。
🛠️ Jambo模型为开发者友好，支持结构化JSON输出、函数调用和引用生成，适用于企业环境中的复杂AI应用。
📊 Jambo 1.5 large能够在单个8 GPU节点上运行，同时使用其完整的256k上下文长度，显示出极高的资源效率。
📈 Jambo 1.5模型在长上下文处理速度上是竞争对手的2.5倍，非常适合需要快速响应的企业应用。
📘 Jambo模型在AI 21 Studio、Google Cloud、Microsoft Azure、Nvidia Nim等平台上开放使用，易于部署和实验。

Q & A

AI 21 Labs是什么组织？
-AI 21 Labs是一个专注于开发先进人工智能语言模型的组织，他们最近推出了两个新的开源大型语言模型，名为Jambo 1.5 mini和Jambo 1.5 large。
Jambo 1.5 mini和Jambo 1.5 large模型的主要特点是什么？
-这两个模型采用了独特的混合架构，结合了最新的技术以增强人工智能性能，特别是它们能够更有效地处理长文本数据。
什么是SSM Transformer架构？
-SSM Transformer是一种新型的混合架构，它结合了传统的Transformer模型和一个称为结构化状态空间模型（SSM）的模型，以提高处理长序列数据的效率。
为什么处理长上下文窗口对于AI模型很重要？
-处理长上下文窗口的能力对于AI模型在现实世界应用中至关重要，尤其是在需要大量上下文信息以提供准确和有意义的响应的企业级应用中。
Jambo模型如何提高处理长上下文的能力？
-Jambo模型通过使用Mamba组件，它具有更低的内存占用和更高效的注意力机制，能够轻松处理更长的上下文窗口。
AI 21 Labs开发的新基准测试RULER是什么？
-RULER是AI 21 Labs创建的新基准测试，用于评估模型在多跳追踪、检索聚合和问答等任务上的表现。
Jambo 1.5 mini和Jambo 1.5 large在RULER基准测试中的表现如何？
-在RULER基准测试中，Jambo 1.5 mini和Jambo 1.5 large一致地超越了其他模型，如llama 317b、llama 3.1 45b和misra large 2。
Jambo 1.5模型的速度优势是什么？
-Jambo 1.5模型在长上下文处理上的速度是竞争对手的2.5倍，这使得它们在企业应用中非常实用，无论是运行客户支持聊天机器人还是AI驱动的虚拟助手。
AI 21 Labs开发的experts int 8量化技术是什么？
-experts int 8是一种新的量化技术，通过将模型中的权重量化为8位精度格式，并在GPU运行时直接进行反量化，从而减少模型大小并加快处理速度。
Jambo 1.5模型支持哪些语言？
-Jambo 1.5模型除了支持英语外，还支持西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语，使其非常适合全球应用。
Jambo 1.5模型如何支持开发者友好的特性？
-Jambo 1.5 mini和large都内置了对结构化JSON输出、函数调用甚至引用生成的支持，这使得开发者可以创建更复杂的AI应用程序。
AI 21 Labs对Jambo 1.5模型的开放性承诺是什么？
-AI 21 Labs承诺保持Jambo 1.5模型的开放性，它们在Jambo开放模型许可下发布，允许开发者、研究人员和企业自由地进行实验。