登录平台中心

https://platform.virtaicloud.com/

Step.1 创建项目

• 创建好账号之后，进入自己的空间，点击右上角的创建项目。

• 给项目起一个你喜欢的名称(这里以ChatGLM3为例)

• 选择添加镜像,搜索"PyTorch2.0.1-Conda3.9"

• 选择预训练模型，点击公开，搜索"chatglm3-6b",选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。

• 都选完之后，点击右下角的创建

• 代码选择暂不上传。待会直接clone代码。

• 点击运行代码

• 资源配置选择：B1.large， 24G的显存足够加载模型了。其他的不需要设置，然后点击右下角的开始运行。 注意:一定要B1.large,过低配置可能无法跑通

Step.2 配置环境

等右边两个工具全部加载完毕之后，再点击JupyterLab进入开发环境~

• 进入界面之后是这样的，然后点击这个小加号。

• 点击terminal，进入终端。

设置镜像源、克隆项目

• 升级apt，安装unzip

apt-get update && apt-get install unzip

• 设置镜像源，升级pip

git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip

• 克隆项目，并进入项目目录

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

修改requirements

• 双击左侧的requirements.txt文件，把其中的torch删掉，因为我们的环境中已经有torch了，避免重复下载浪费时间【注意：删除之后要保存文件，可以使用快捷键Ctrl+S或者点击左上角的File，再点击保存】。

• 点击左上选项卡，重新返回终端，安装依赖，依赖安装完毕后还需要安装peft

pip install -r requirements.txt
pip install peft

Step.3 修改web_demo_gradio.py代码

1、修改模型目录

• 双击basic_demo 编辑web_demo_gradio.py，将加载模型的路径修改为：/gemini/pretrain，如下图所示~

2、修改启动代码

• 接下来还需要修改一段启动代码，将滚动条拉到最后一行，启动代码修改为如下~

demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)

3、添加外部端口映射

• 在界面的右边添加外部端口：7000

4、运行gradio界面

• 点击左上选项卡，重新返回终端，运行web_demo_gradio.py

cd basic_demo
python web_demo_gradio.py

• 等待模型慢慢加载完毕，可能需要个五六分钟叭保持一点耐心 ~

5、访问gradio页面

• 加载完毕之后，复制外部访问的连接，到浏览器打打开

Step.4 修改web_demo_streamlit.py代码

如果你运行了gradio，需要先杀掉这个进程，不然内存不够。

CTRL+C 可以杀掉进程~

杀掉进程之后，显存不会立刻释放，可以观察右边的GPU内存占用，查看显存释放情况。

退出进程后显存没有第一时间释放

1、修改模型目录

• 双击basic_demo 编辑web_demo_streamlit.py，将加载模型的路径修改为：/gemini/pretrain，如下图所示~

提示:

web_demo_gradio.py是gradio界面的启动文件

web_demo_streamlit.py是Streamlit界面启动文件

2、运行streamlit界面

• 点击左上选项卡，重新返回终端，运行web_demo_stream.py并指定7000端口，这样就不用再次添加外部端口映射啦~

streamlit run web_demo_streamlit.py --server.port 7000

3、访问streamlit界面

• 复制外部访问地址到浏览器打开，之后模型才会开始加载。等待模型记载完毕~

• 加载成功后工作台后端画面