书生·浦语大模型 实战营(第二期)–第一节 书生·浦语大模型全链路开源体系

4dBmk AI人工智能 13 次阅读 发布于 2024-04-01 最后更新于 2024-04-02 622 字 预计阅读时间: 3 分钟

背景

首先,随着AI领域的发展,大模型逐渐成为发展通用人工智能的重要途经

image-20240401211101840

而书生·浦语大模型也从2023年开始逐步推动其大模型的开源

image-20240401211233617

目前最新的书生·浦语2.0版本:

  • InternLM2-Base
  • InternLM2
  • InternLM2-Chat
image-20240401211340782

并且通过新一代的数据清洗过滤技术,使得InternLM2相比前一代的InternLM,在大规模高质量验证语料和下游任务中都得到了进一步提高

image-20240401211513181

InternLM2主要有以下亮点:

image-20240401211733543

接下来,介绍了一个如何选型模型到应用的经典流程

image-20240401211834493

全链路开源体系

书生·浦语也为此开发了一套从数据到应用的开源开放体系

image-20240401211952125

数据方面:

提供了开放的高质量语料数据---书生万卷

image-20240401212048088

预训练:

提供了

  • 高可扩展
  • 性能优化
  • 兼容主流模型
  • 开箱即用

的预训练体系

image-20240401212157717

微调:

也提供了高效微调框架 XTuner

image-20240401212254607
image-20240401212426548

评测体系:

于2024年推出了最新的 OpenCompass 2.0司南大模型评测体系

其中包含

  • CompassRank: 中立全面的性能榜单
  • CompassKit: 大模型评测全栈工具链
  • CompassHub ：高质量评测基准社区
image-20240401212505714
image-20240401212713813
image-20240401212727803
image-20240401212813951
image-20240401212835642

同时基于OpenCompass 2.0司南大模型评测体系,对市面上的大模型进行了性能评测

image-20240401212948936
image-20240401212952976
image-20240401213008411

部署:

推出了LMDeploy ,提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。

image-20240401213023441

智能体:

  • 轻量级智能体框架 Lagent
  • 多模态智能体工具箱 AgentLego
image-20240401213121290
image-20240401213158486

InternLM2 技术报告笔记

InternLM2 技术报告(EN):下载链接

InternLM2 技术报告(机翻):下载链接

InternLM2的特点:

  • 提供不同规模版本的模型
  • 具有200k的token长度
  • 全面的数据集
  • 创新的RLHF技术

InternLM2基于InternEvo训练框架进行训练,InternLM2使用InternEvo训练框架能在上百张显卡训练中,可以达到惊人的53%MFU以上

image-20240402162505140

说明InternEvo在多张显卡协同训练时,能够

  • 减少通信开销
  • 优化协调通信与计算
  • 针对长序列训练,自动搜索最优执行计划,以及使用内存管理技术来减少GPU内存碎片
  • 通过诊断大模型相关的故障并自动恢复来提高容错性；以及一个为评估任务设计的解耦调度系统，提供及时的模型性能反馈。