Meta 推出 SPDL 工具：突破训练 AI 模型数据效率瓶颈，吞吐量提升 2-3 倍

IT之家最新报道指出，当前训练AI模型的主要瓶颈不再仅仅是架构设计，数据管理的效率也变得至关重要。Meta AI推出了一款名为Scalable and Performant Data Loading（SPDL）的开源工具，旨在通过提高数据加载效率来加速AI训练过程。

SPDL工具采用多线程技术，在常规Python解释器中（未启用free-threading选项）实现了高吞吐量，并且资源利用率更低，同时还兼容Free-Threaded Python。

核心优势

SPDL包含任务执行器（流水线抽象）、构建流水线的实用工具以及高效且线程安全的媒体处理操作。其核心在于异步事件循环，负责调度新任务和响应任务完成。SPDL通过将同步操作委托给线程异步执行，实现真正的并发。

相对传统基于进程的处理方式，SPDL工具采用基于线程的加载方式，有效避免了进程间通信的开销，从而显著提升了数据传输速度。

该工具的另一个亮点是预取和缓存技术，可确保GPU始终有数据可供处理，尽量减少GPU空闲时间，提高系统整体效率。

无论是单GPU还是大型集群，SPDL均支持跨分布式系统工作，能高效处理复杂任务。此外，SPDL工具还能与主流AI框架PyTorch无缝兼容，有助于团队快速采用。

性能

Meta表示，相比传统基于进程的方案，SPDL的吞吐量提升了2-3倍。而在禁用GIL的Free-Threaded Python环境中，SPDL的吞吐量提高了30%。

SPDL提供性能监控和调优工具，可帮助用户深入了解数据加载过程并进行优化。

IT之家参考地址

• Introducing SPDL: Faster AI model training with thread-based data loading

• Meta AI Introduces SPDL (Scalable and Performant Data Loading): A Step Forward in AI Model Training with Thread-based Data Loading

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。