书生·浦语大模型 实战营(第二期)–第一节 书生·浦语大模型全链路开源体系

4dBmk AI人工智能 11 次阅读 发布于 2024-04-01 最后更新于 2024-04-02 622 字 预计阅读时间: 3 分钟


背景

首先,随着AI领域的发展,大模型逐渐成为发展通用人工智能的重要途经

image-20240401211101840

而书生·浦语大模型也从2023年开始逐步推动其大模型的开源

image-20240401211233617

目前最新的书生·浦语2.0版本:

  • InternLM2-Base
  • InternLM2
  • InternLM2-Chat
image-20240401211340782

并且通过新一代的数据清洗过滤技术,使得InternLM2相比前一代的InternLM,在大规模高质量验证语料和下游任务中都得到了进一步提高

image-20240401211513181

InternLM2主要有以下亮点:

image-20240401211733543

接下来,介绍了一个如何选型模型到应用的经典流程

image-20240401211834493

全链路开源体系

书生·浦语也为此开发了一套从数据到应用的开源开放体系

image-20240401211952125

数据方面:

提供了开放的高质量语料数据---书生万卷

image-20240401212048088

预训练:

提供了

  • 高可扩展
  • 性能优化
  • 兼容主流模型
  • 开箱即用

的预训练体系

image-20240401212157717

微调:

也提供了高效微调框架 XTuner

image-20240401212254607
image-20240401212426548

评测体系:

于2024年推出了最新的 OpenCompass 2.0司南大模型评测体系

其中包含

  • CompassRank: 中立全面的性能榜单
  • CompassKit: 大模型评测全栈工具链
  • CompassHub :高质量评测基准社区
image-20240401212505714
image-20240401212713813
image-20240401212727803
image-20240401212813951
image-20240401212835642

同时基于OpenCompass 2.0司南大模型评测体系,对市面上的大模型进行了性能评测

image-20240401212948936
image-20240401212952976
image-20240401213008411

部署:

推出了LMDeploy ,提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。

image-20240401213023441

智能体:

  • 轻量级智能体框架 Lagent
  • 多模态智能体工具箱 AgentLego
image-20240401213121290
image-20240401213158486

InternLM2 技术报告笔记

InternLM2 技术报告(EN):下载链接

InternLM2 技术报告(机翻):下载链接

InternLM2的特点:

  • 提供不同规模版本的模型
  • 具有200k的token长度
  • 全面的数据集
  • 创新的RLHF技术

InternLM2基于InternEvo训练框架进行训练,InternLM2使用InternEvo训练框架能在上百张显卡训练中,可以达到惊人的53%MFU以上

image-20240402162505140

说明InternEvo在多张显卡协同训练时,能够

  • 减少通信开销
  • 优化协调通信与计算
  • 针对长序列训练,自动搜索最优执行计划,以及使用内存管理技术来减少GPU内存碎片
  • 通过诊断大模型相关的故障并自动恢复来提高容错性;以及一个为评估任务设计的解耦调度系统,提供及时的模型性能反馈。
是一名喜欢每天折腾的咸鱼!
也是一名半退役的算竞摸鱼选手,参与过icpc,天梯赛,蓝桥等比赛.
---------------------------------------------------
百度 飞桨领航团-团长
Datawhale -鲸英助教团成员
上海人工智能实验室 书生·浦语实战营- 助教
---------------------------------------------------
认证类:
华为 Harmony OS应用开发者高级认证,
NISP 一级认证,
H3C NE-RS网络工程师认证
---------------------------------------------------
荣获奖项荣誉:
第十八届“挑战杯”全国大学生课外学术科技作品竞赛 “揭榜挂帅”专项赛-全国特等奖、
“美亚杯”第八届中国电子取证大赛 三等奖、
“蓝桥杯”国优、
中国高校计算机大赛-团体程序天梯赛 省高校一等奖、
“蓝桥杯”省一等奖、
H3C新华三杯 省三等奖、
中国移动“梧桐杯”大数据创新大赛 省三等奖、
百度 飞桨领航团 金牌团长
最后更新于 2024-04-02