背景
首先,随着AI领域的发展,大模型逐渐成为发展通用人工智能的重要途经
而书生·浦语大模型也从2023年开始逐步推动其大模型的开源
目前最新的书生·浦语2.0版本:
- InternLM2-Base
- InternLM2
- InternLM2-Chat
并且通过新一代的数据清洗过滤技术,使得InternLM2相比前一代的InternLM,在大规模高质量验证语料和下游任务中都得到了进一步提高
InternLM2主要有以下亮点:
接下来,介绍了一个如何选型模型到应用的经典流程
全链路开源体系
书生·浦语也为此开发了一套从数据到应用的开源开放体系
数据方面:
提供了开放的高质量语料数据---书生万卷
预训练:
提供了
- 高可扩展
- 性能优化
- 兼容主流模型
- 开箱即用
的预训练体系
微调:
也提供了高效微调框架 XTuner
评测体系:
于2024年推出了最新的 OpenCompass 2.0司南大模型评测体系
其中包含
- CompassRank: 中立全面的性能榜单
- CompassKit: 大模型评测全栈工具链
- CompassHub :高质量评测基准社区
同时基于OpenCompass 2.0司南大模型评测体系,对市面上的大模型进行了性能评测
部署:
推出了LMDeploy ,提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。
智能体:
- 轻量级智能体框架 Lagent
- 多模态智能体工具箱 AgentLego
InternLM2 技术报告笔记
InternLM2 技术报告(EN):下载链接
InternLM2 技术报告(机翻):下载链接
InternLM2的特点:
- 提供不同规模版本的模型
- 具有200k的token长度
- 全面的数据集
- 创新的RLHF技术
InternLM2基于InternEvo训练框架进行训练,InternLM2使用InternEvo训练框架能在上百张显卡训练中,可以达到惊人的53%MFU以上
说明InternEvo在多张显卡协同训练时,能够
- 减少通信开销
- 优化协调通信与计算
- 针对长序列训练,自动搜索最优执行计划,以及使用内存管理技术来减少GPU内存碎片
- 通过诊断大模型相关的故障并自动恢复来提高容错性;以及一个为评估任务设计的解耦调度系统,提供及时的模型性能反馈。
Comments NOTHING