书生·浦语大模型 实战营(第二期)–第一节 书生·浦语大模型全链路开源体系

发布于 23 天前  2 次阅读


背景

首先,随着AI领域的发展,大模型逐渐成为发展通用人工智能的重要途经

image-20240401211101840

而书生·浦语大模型也从2023年开始逐步推动其大模型的开源

image-20240401211233617

目前最新的书生·浦语2.0版本:

  • InternLM2-Base
  • InternLM2
  • InternLM2-Chat
image-20240401211340782

并且通过新一代的数据清洗过滤技术,使得InternLM2相比前一代的InternLM,在大规模高质量验证语料和下游任务中都得到了进一步提高

image-20240401211513181

InternLM2主要有以下亮点:

image-20240401211733543

接下来,介绍了一个如何选型模型到应用的经典流程

image-20240401211834493

全链路开源体系

书生·浦语也为此开发了一套从数据到应用的开源开放体系

image-20240401211952125

数据方面:

提供了开放的高质量语料数据---书生万卷

image-20240401212048088

预训练:

提供了

  • 高可扩展
  • 性能优化
  • 兼容主流模型
  • 开箱即用

的预训练体系

image-20240401212157717

微调:

也提供了高效微调框架 XTuner

image-20240401212254607
image-20240401212426548

评测体系:

于2024年推出了最新的 OpenCompass 2.0司南大模型评测体系

其中包含

  • CompassRank: 中立全面的性能榜单
  • CompassKit: 大模型评测全栈工具链
  • CompassHub :高质量评测基准社区
image-20240401212505714
image-20240401212713813
image-20240401212727803
image-20240401212813951
image-20240401212835642

同时基于OpenCompass 2.0司南大模型评测体系,对市面上的大模型进行了性能评测

image-20240401212948936
image-20240401212952976
image-20240401213008411

部署:

推出了LMDeploy ,提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。

image-20240401213023441

智能体:

  • 轻量级智能体框架 Lagent
  • 多模态智能体工具箱 AgentLego
image-20240401213121290
image-20240401213158486

InternLM2 技术报告笔记

InternLM2 技术报告(EN):下载链接

InternLM2 技术报告(机翻):下载链接

InternLM2的特点:

  • 提供不同规模版本的模型
  • 具有200k的token长度
  • 全面的数据集
  • 创新的RLHF技术

InternLM2基于InternEvo训练框架进行训练,InternLM2使用InternEvo训练框架能在上百张显卡训练中,可以达到惊人的53%MFU以上

image-20240402162505140

说明InternEvo在多张显卡协同训练时,能够

  • 减少通信开销
  • 优化协调通信与计算
  • 针对长序列训练,自动搜索最优执行计划,以及使用内存管理技术来减少GPU内存碎片
  • 通过诊断大模型相关的故障并自动恢复来提高容错性;以及一个为评估任务设计的解耦调度系统,提供及时的模型性能反馈。
是一名喜欢每天折腾的咸鱼! 也是一名半退役的算竞摸鱼选手,参与过icpc,天梯赛,蓝桥等比赛.Datawhale 优秀队长 --------------------------------------------------- 认证类: 华为 Harmony OS应用开发者高级认证, NISP 一级认证, H3C NE-RS网络工程师认证 --------------------------------------------------- 荣获奖项荣誉: 第十八届“挑战杯”全国大学生课外学术科技作品竞赛 “揭榜挂帅”专项赛全国特等奖、 “美亚杯”第八届中国电子取证大赛 三等奖、 中国高校计算机大赛-团体程序天梯赛 省高校一等奖、 “蓝桥杯”省二等奖、 H3C新华三杯 省三等奖、 中国移动“梧桐杯”大数据创新大赛 省三等奖、 百度 飞桨领航团 金牌团长 https://pan.imgs.run/s/GQFr
最后更新于 2024-04-02