阿里通义千问发布 Qwen2.5-Turbo AI 模型:支持 100 万 tokens 上下文,处理时间缩短至 68 秒
近日,阿里通义千问宣布推出了经过优化和打磨的 Qwen2.5-Turbo 开源 AI 模型,以满足社区中对更长上下文长度(Context Length)的需求。
Qwen2.5-Turbo 增加了上下文长度,从 12.8 万个扩展至 100 万个 tokens。这一改进相当于约 100 万英语单词或 150 万汉字,足以容纳 10 部完整小说、150 小时的演讲稿或 30000 行代码。
上下文长度(Context Length)指的是在自然语言处理(NLP)中的大型语言模型(LLM)一次处理过程中能够考虑和生成的文本的最大长度。
Qwen2.5-Turbo 在 1M-token 的 Passkey 检索任务中实现了 100% 准确率,RULER 长文本评估得分为 93.1,超越了 GPT-4 和 GLM4-9B-1M。
团队借助稀疏注意力机制整合,将处理 100 万 tokens 到输出第一个 tokens 的时间,缩短至 68 秒,速度提升达 4.3 倍。这一进步显著提高了模型的响应效率,让其在处理长文本时更加迅速。
Qwen2.5-Turbo 的处理成本维持在每百万个 tokens 0.3 元,能够处理比 GPT-4o-mini 多 3.6 倍的 token 数量。因此,Qwen2.5-Turbo 在经济性上具备更强的竞争力,成为高效、经济的长上下文处理解决方案。
尽管 Qwen2.5-Turbo 在多个基准测试中表现出色,团队仍然意识到在真实场景中的长序列任务表现可能不够稳定,且大型模型的推理成本仍需进一步优化。
团队承诺将继续优化人类偏好、提高推理效率,并探索更强大的长上下文模型。
请访问以下链接获取更多信息:
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。