OpenBMB

清华团队支持发起的大规模预训练语言模型库与相关工具

OpenBMB全称为OpenLab for Big Model Base，是一个致力于打造大规模预训练语言模型库与相关工具的项目。其主要目的是加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，并推动大模型生态发展，实现大模型的标准化、普及化和实用化。

OpenBMB介绍：

• 发起背景与团队：OpenBMB由清华大学NLP实验室联合智源研究院等成立，有面壁智能等参与其中。其团队成员在自然语言处理和人工智能领域有深厚的技术积累和丰富的开源经验，前期曾参与发布了一系列有影响力的工具包。
• 核心目标与使命：核心目标是为大模型的发展提供全面的支持和创新的解决方案，降低大模型的应用门槛，让更多的开发者和企业能够受益于大模型技术。使命是通过开源社区的力量，推动大模型技术的不断进步和广泛应用，创造安全、普惠的通用人工智能，为人们的生活带来积极的改变。
• 主要项目及成果：
  • 模型方面：
    • CPM-BEE：是具有100亿参数规模的开源大语言模型，针对高质量中文数据集做了训练优化，支持中英文。在中英文的多种评测任务中表现出色，如在中文的ZeroCLUE评测中排行第二，仅次于人类；英文多个任务评测结果与Llama-13b相当，部分任务上超越GPT-3。其推理成本较低，最小的10亿参数版本仅需4.1GB显存即可运行，100亿参数规模的推理仅需20GB显卡。
    • MiniCPM：被称为“小钢炮”，是一个多模态模型，具有轻量、高效的特点。例如，MiniCPM-LLAMA3-V2.5可以实现难图长图长文本精准识别，量化后仅8G显存，4070显卡轻松推理，还支持30多种语言，发布后在开源交流平台上受到广泛关注。
  • 工具方面：
    • BMTrain工具包：能够为大模型训练提供支持，可大幅降低GPT3的训练成本，加速技术达到业界先进水平，有助于提高大模型训练的效率和经济性。
    • OpenPrompt工具包：用于提示学习，获得了人工智能领域顶级会议ACL 2022最佳演示论文奖，在大模型的微调方面发挥重要作用，提出的参数高效微调Delta Tuning技术体系和工具包OpenDelta，为全球首个该技术体系工具包。
    • BMInf工具包：用于大模型的推理，突破了业界通用工具使用显存的限制，能够实现在1060消费级显卡上运行百亿大模型，同时还构建了企业级推理产品，实现多机多卡推理加速。
• 开源社区与合作：OpenBMB积极建设开源社区，吸引了众多开发者的参与。社区为开发者提供了交流和合作的平台，大家可以共同完善大模型从训练、微调、推理到应用的全流程配套工具。目前，有近2000名开发者加入OpenBMB开源社区微信群，开发者们在社区中分享经验、共同解决问题，推动大模型技术的不断创新和发展。此外，OpenBMB也与国内外的科研机构、企业等开展广泛合作，共同探索大模型的应用场景和发展方向。
• 影响力与未来发展：OpenBMB在大模型领域产生了重要影响，为大模型的研究和应用提供了丰富的资源和工具，推动了大模型技术的发展和普及。其发布的模型和工具在学术界和工业界都受到了关注，例如CPM-BEE模型的开源协议较为友好，代码和模型预训练结果均开源，模型的预训练结果商用只需获取书面授权，这为相关研究和应用提供了便利。未来，OpenBMB将继续致力于大模型技术的创新，不断完善和优化模型库与工具，拓展大模型的应用领域，加强与更多的开发者和机构的合作，进一步推动大模型生态的繁荣发展，为人工智能的发展做出更大的贡献。