研究公司公布 SwiftKV 技术：优化大模型提示词处理过程、降低 50% AI 推论时间

IT之家于1月17日报道，研究机构 Snowflake 推出了一项名为“SwiftKV”的 AI 模型调优技术，并在Hugging Face上发布了三款基于“SwiftKV”技术调优的 Llama 3.1 AI模型（点击这里查看）。

据IT之家了解，SwiftKV技术的核心在于提升模型对于提示词的处理能力。研究团队指出，通常情况下，大型模型在处理用户输入的提示词时消耗了大量计算资源，而很多企业为模型编写了非常长的提示词，平均长度被认为是生成内容长度的10倍。

Snowflake表示，这种“SwiftKV”模型调优技术专门针对预先设定的提示词进行优化，声称突破了传统的键值（Key-Value，KV）缓存压缩方法，并在模型推理过程中引入了模型重组及知识保留的自我蒸馏技术，从而有效提高了模型的吞吐量，降低了延迟和计算成本。该技术能够显著缩短 AI 模型的推理时间，理论上可将推理时间减少50%。

实验结果表明，利用SwiftKV技术对Llama 3.1的80亿和700亿参数模型进行优化后，这些模型的整体吞吐量提高了两倍，同时在代码自动补全与文本摘要等应用中表现优异。

广告声明：文中包含的外部链接（包括但不限于超链接、二维码、口令等形式）旨在提供更多信息，以节省筛选时间，结果仅供参考。