登录平台中心
https://platform.virtaicloud.com/
Step.1 创建项目
- 创建好账号之后,进入自己的空间,点击右上角的创建项目。
![image-20240313163017877](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cbae320b.png?w=640&ssl=1)
- 给项目起一个你喜欢的名称(这里以ChatGLM3为例)
![image-20240313163232240](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cbd992a3.png?w=640&ssl=1)
- 选择添加镜像,搜索"PyTorch2.0.1-Conda3.9"
![image-20240313163331471](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cc09a057.png?w=640&ssl=1)
- 选择预训练模型,点击公开,搜索"chatglm3-6b",选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。
![image-20240313163457013](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cc63781d.png?w=640&ssl=1)
- 都选完之后,点击右下角的创建
![image-20240313163608278](https://i0.wp.com/imgs.run/i/2024/03/13/65f17ccb2acdd.png?w=640&ssl=1)
- 代码选择暂不上传。待会直接clone代码。
![image-20240313163632944](https://i0.wp.com/imgs.run/i/2024/03/13/65f17ccd41470.png?w=640&ssl=1)
- 点击运行代码
![image-20240313163658167](https://i0.wp.com/imgs.run/i/2024/03/13/65f17ccfcd6db.png?w=640&ssl=1)
- 资源配置选择:B1.large, 24G的显存足够加载模型了。其他的不需要设置,然后点击右下角的开始运行。 注意:一定要B1.large,过低配置可能无法跑通
Step.2 配置环境
等右边两个工具全部加载完毕之后,再点击JupyterLab进入开发环境~
![image-20240313163928661](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cd26c107.png?w=640&ssl=1)
- 进入界面之后是这样的,然后点击这个小加号。
![image-20240313164032934](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cd50089a.png?w=640&ssl=1)
- 点击terminal,进入终端。
![image-20240313164102518](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cd77c0f4.png?w=640&ssl=1)
设置镜像源、克隆项目
- 升级apt,安装unzip
apt-get update && apt-get install unzip
- 设置镜像源,升级pip
git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip
- 克隆项目,并进入项目目录
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3
![image-20240313164414740](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cda05a22.png?w=640&ssl=1)
修改requirements
- 双击左侧的requirements.txt文件,把其中的torch删掉,因为我们的环境中已经有torch了,避免重复下载浪费时间【注意:删除之后要保存文件,可以使用快捷键Ctrl+S或者点击左上角的File,再点击保存】。
![image-20240313164710546](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cdda1b79.png?w=640&ssl=1)
- 点击左上选项卡,重新返回终端,安装依赖,依赖安装完毕后还需要安装peft
pip install -r requirements.txt
pip install peft
![image-20240313165315002](https://i0.wp.com/imgs.run/i/2024/03/13/65f17ce15f1ba.png?w=640&ssl=1)
Step.3 修改web_demo_gradio.py代码
1、修改模型目录
- 双击
basic_demo
编辑web_demo_gradio.py
,将加载模型的路径修改为:/gemini/pretrain,如下图所示~
![image-20240313165439162](https://i0.wp.com/imgs.run/i/2024/03/13/65f17ce6173d5.png?w=640&ssl=1)
2、修改启动代码
- 接下来还需要修改一段启动代码,将滚动条拉到最后一行,启动代码修改为如下~
demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)
![image-20240313165528083](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cea69e10.png?w=640&ssl=1)
3、添加外部端口映射
- 在界面的右边添加外部端口:7000
![image-20240313165705201](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cecdd7de.png?w=640&ssl=1)
4、运行gradio界面
- 点击左上选项卡,重新返回终端,运行web_demo_gradio.py
cd basic_demo
python web_demo_gradio.py
![image-20240313165747730](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cef93a96.png?w=640&ssl=1)
- 等待模型慢慢加载完毕,可能需要个五六分钟叭保持一点耐心 ~
![image-20240313172544289](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cf4d4e73.png?w=640&ssl=1)
5、访问gradio页面
- 加载完毕之后,复制外部访问的连接,到浏览器打打开
![image-20240313172657416](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cf7b3a9a.png?w=640&ssl=1)
Step.4 修改web_demo_streamlit.py代码
如果你运行了gradio,需要先杀掉这个进程,不然内存不够。
CTRL+C 可以杀掉进程~
杀掉进程之后,显存不会立刻释放,可以观察右边的GPU内存占用,查看显存释放情况。
退出进程后显存没有第一时间释放
![image-20240313172738785](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cfa35dec.png?w=640&ssl=1)
1、修改模型目录
- 双击
basic_demo
编辑web_demo_streamlit.py
,将加载模型的路径修改为:/gemini/pretrain,如下图所示~
提示:
web_demo_gradio.py
是gradio界面的启动文件
web_demo_streamlit.py
是Streamlit界面启动文件
![image-20240313173652774](https://i0.wp.com/imgs.run/i/2024/03/13/65f17cff584f2.png?w=640&ssl=1)
2、运行streamlit界面
- 点击左上选项卡,重新返回终端,运行web_demo_stream.py并指定7000端口,这样就不用再次添加外部端口映射啦~
streamlit run web_demo_streamlit.py --server.port 7000
![image-20240313173744202](https://i0.wp.com/imgs.run/i/2024/03/13/65f17d01bd80b.png?w=640&ssl=1)
3、访问streamlit界面
- 复制外部访问地址到浏览器打开,之后模型才会开始加载。等待模型记载完毕~
![image-20240313173923243](https://i0.wp.com/imgs.run/i/2024/03/13/65f17d03872ae.png?w=640&ssl=1)
![image-20240313173948673](https://i0.wp.com/imgs.run/i/2024/03/13/65f17d06247d9.png?w=640&ssl=1)
- 加载成功后工作台后端画面
![image-20240313174231501](https://i0.wp.com/imgs.run/i/2024/03/13/65f17d085ea46.png?w=640&ssl=1)
Comments 1 条评论