AMD 推出开源项目“GAIA”实现本地大模型高效运行：针对锐龙 AI 300 系列处理器优化，目前仅适用于 Windows

IT之家 3 月 22 日消息，当地时间周四，AMD 宣布发布针对本地运行大型语言模型 (LLM) 设计的应用程序 GAIA，并在 Github 上开源。目前，该应用仅适用于 Windows 平台。

GAIA 是一款生成式人工智能应用，专为在 Windows PC 上本地化、保密地运行LLM而设计，并经过了针对锐龙 AI 300 系列处理器的优化。这标志着AMD在边缘计算领域取得了重要进展。

在NPU上运行GAIA可以提高特定AI任务的性能。从Ryzen AI软件版本1.3开始，支持同时在NPU和核显上部署混合量化LLM。

该应用的核心组件基于ONNX TurnkeyML的Lemonade SDK开发，采用了检索增强生成（RAG）技术框架，通过本地向量索引实现了YouTube、GitHub等外部数据的实时检索和分析。

系统工作流包括LLM连接器、LlamaIndex RAG管道和代理Web服务器三个主要模块，支持多种主流模型如Llama、Phi等。主要功能模块包括四大AI智能体：

• Chaty：支持历史对话的聊天机器人

• Clip：YouTube视频搜索和问答专家

• Joker：具有幽默风格的笑话生成器

• Simple Prompt：模型直接互动测试工具

在硬件方面，AMD提供了普通版本和混合版本两种安装方案。普通版本可与任何Windows PC兼容（包括非AMD硬件设备），通过Ollama后端实现跨平台支持。

混合版本专为配备锐龙 AI 300 系列处理器的设备优化，可智能分配NPU和集成显卡的计算负载。AMD表示，自Ryzen AI软件版本1.3起，已支持在NPU和集成显卡之间进行混合部署。

在隐私和性能方面，GAIA带来了以下优势：

• 本地处理确保敏感行业数据如医疗和金融数据不流出

• 响应延迟降至毫秒级（比云端方案缩短了40-60%）

• NPU专用架构提升每瓦性能，支持离线环境运行

此项目采用MIT开源许可协议，代码库已在Github上开放。AMD鼓励开发者为该项目贡献自定义代理模块，目前有多个定制行业代理正在开发中。

尽管目前GAIA不支持Linux/macOS系统，但AMD的官方文档透露未来可能会扩展到多个平台。

IT之家的Github地址：
https://github.com/amd/gaia

广告声明：文内的外部链接用于提供更多信息，节省选择时间，仅供参考（包括但不限于超链接、二维码、口令等形式）。