业界首例,中国联通 AI 大模型存算分离技术实现突破

xxn 阅读:32814 2024-12-07 22:01:07 评论:0

据中国联通官方披露,中国联通研究院近日与浙江联通、联通服装制造军团合作,针对AI敏感数据的本地存储异地训练需求提出了创新的业务模式,并成功在杭州与金华两地间实施了业界首次30TB样本数据的跨200公里存算分离拉远训练,训练效率高达97%以上

通过这一测试,存算分离技术的安全性、可行性和高效性得到了充分验证,为未来AI技术的发展提供了新的思路和方向。

存算分离技术的核心概念是将存储数据的仓库和对数据进行计算的加工厂分开。在训练时直接从远端存储设备中获取数据进行计算,无需先将数据存储到本地磁盘再处理,这有助于确保用户数据的安全性和一致性。

中国联通指出,在处理海量样本数据时,面临两大挑战:一是企业端存储的数据多,部分需要高安全性的数据难以移动;二是样本数据量急剧增加,AI智算中心需要额外的存储资源,大幅提升建设成本。因此,业内对实现“存算分离拉远、样本随训随拉”需求十分迫切。

▲ 图源中国联通公众号

本次存算拉远测试的主要特色包括:

第一,跨地市AI大型模型训练能力的重构,创新智算训练模式。传统的智算集中训练模式要求用户上传样本到智算中心进行落盘训练,但部分用户对隐私样本安全有疑虑。浙江联通通过IP广域无损方案,实现了杭州存、金华训的“数据不落盘”拉远训练,以算网协同的能力为企业用户的隐私样本训练开辟了新路。

第二,样本数据总量达30TB,传输距离超过200公里,计算拉远效率高于97%。通过联通服装制造军团“衣瞳行业模型”的AI训练存算分离现网测试,充分验证了AI训练业务存算拉远的技术可行性,未来带有数据敏感业务需求的用户可以通过运营商算力服务,完成隐私样本的不出园区拉远训练,实现成本与安全的最佳平衡。

广告声明:本文包含对外跳转链接,仅供信息传递,节省查找时间,具体内容以实际为准。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容