ModernBERT 模型公布，接任“Hugging Face 下载榜第二”2018 年经典原版

IT之家在12月29日发布了消息，Hugging Face、英伟达及约翰霍普金斯大学的研究人员联合推出了全新的编码器模型 ModernBERT，旨在提高效率，并支持处理长达8192个Token的上下文。

开发团队指出，自2018年BERT首次发布以来，它在业界仍然被广泛应用，并且在Hugging Face上的下载量排名第二，仅次于RoBERTa，每月的下载次数超过6800万次，但BERT模型在如今的技术环境下显得有些落后。

在BERT发布六年后，Hugging Face与多方团队吸取了近年来大语言模型（LLM）所取得的进展，优化了BERT的架构与训练流程，最终推出了ModernBERT以取代原始的BERT模型。

据了解，为了训练ModernBERT，相关团队共使用了2万亿个Token，使得该模型在多个分类测试和向量检索测试中展示了行业领先的性能。开发团队目前已发布了两个版本，参数分别为1.39亿和3.95亿，您可以访问IT之家获取更多信息（点击这里）。

广告声明：文中包含对外跳转的链接（包括超链接、二维码、口令等形式），旨在提供更多信息，帮助您节省时间，结果仅供参考。