阿里通义千问发布 Qwen2.5-Turbo 开源 AI 模型:支持 100 万 tokens 上下文,处理时间缩短至 68 秒

xxn 阅读:67545 2024-11-19 16:03:39 评论:0

近日,阿里通义千问发布消息称,经过数月的优化和打磨,针对社区对更长上下文长度(Context Length)的需求,推出了 Qwen2.5-Turbo 开源 AI 模型。

Qwen2.5-Turbo 的上下文长度从 12.8 万个扩展至 100 万个 tokens。这一升级相当于约 100 万英语单词或 150 万汉字,能容纳 10 部完整小说、150 小时的演讲稿或 30000 行代码。

在1M-token的Passkey检索任务中,该模型取得了100%准确率,RULER长文本评估得分高达93.1,超越了GPT-4和GLM4-9B-1M。

团队通过整合稀疏注意力机制,将处理100万tokens到输出第一个tokens的时间从4.9分钟缩短至68秒,速度提升4.3倍。这项进步显著提高了模型的响应效率,使其在处理长文本时更加迅速。

Qwen2.5-Turbo的处理成本保持在每百万tokens 0.3元,能处理的token数量是GPT-4o-mini的3.6倍,具有更强的经济性竞争力,成为高效、经济的长上下文处理解决方案。

虽然Qwen2.5-Turbo在多个基准测试中表现优异,团队仍然意识到在真实场景中的长序列任务表现可能不够稳定,而大型模型的推理成本仍需进一步优化。

未来,团队将持续优化人类偏好、提高推理效率,并探索更强大的长上下文模型。

参考地址:Qwen2.5-Turbo 官方介绍, API 文档, 在线演示

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容