如需手机网站建设,广州网站建设 名片制作 网站管理,门户网站上的广告怎么做,星巴克网站建设ppt文章目录效果抢先看准备工作环境搭建创建虚拟环境训练预测项目结构模型预测续写训练模型遇到的问题及解决办法显存不足生成的内容一样文末效果抢先看 准备工作
从GitHub上拉去项目到本地#xff0c;准备已训练好的模型百度网盘#xff1a;提取码【9dvu】。
gpt2对联训…
文章目录效果抢先看准备工作环境搭建创建虚拟环境训练预测项目结构模型预测续写训练模型遇到的问题及解决办法显存不足生成的内容一样文末效果抢先看 准备工作
从GitHub上拉去项目到本地准备已训练好的模型百度网盘提取码【9dvu】。
gpt2对联训练模型gpt2古诗词训练模型gpt2通用中文模型gpt2通用中文小模型gpt2文学散文训练模型gpt2中文歌词模型
环境搭建
配置好GPU的pytorch环境 a. 安装Anaconda环境 b. NIVIDA配置流程 桌面右键鼠标找到NVIDIA控制面板在左边找到开发者下管理GPU性能计数器导航栏点击桌面选择启用开发者设置弹出的系统信息中找到组件找到产品名前缀为NVIDIA CUDA的那一条记住其后面的版本号。 c. 进入NVIDIA官网下载CUDA找到上一步记录的NVIDIA CUDA后的版本号相对应的链接。如版本信息为11.4就选择11.4 d. 下载完点击安装就行了 e. 安装cuDNN选择相应的版本。这个地方要登录账号没有账号可以注册也可以选择QQ或微信登录选择刚才的CUDA版本下载压缩包 f. 下载完成后解压缩并修改根目录名为cudnn g. 将整个文件复制到xxx\NVIDIA GPU Computing Toolkit\CUDA\v11.4目录下 h. 设置变量环境添加两个环境变量路径根据自己的实际情况目录修改 pytorch配置 a. 去pytorch官网找到相应的gpu版本或cpu版本找到后安装命令会出现在command栏 找不到自己的版本点击previous version链接 b. 使用管理员身份执行cmd否则会安装失败 conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorch 安装完成之后执行命令conda list查看是否安装成功 打开终端输入python使用以下代码查看torch显示GPU不可用状态 import torch
torch.cuda.is_available()
Falsec. 标准查看torch版本 import torch
torch.__version__
1.10.2 pytorch轮子配置 a. whl轮子配置根据CUDA版本选择相应的版本。其中cu表示GPU版本cpu表示CPU版本 b. 下载完成之后本地使用pip install 安装 pip install .\torchvision-0.13.1cpu-cp39-cp39-win_amd64.whl
pip install .\torch-1.10.2cu113-cp39-cp39-win_amd64.whlc. 安装完成之后验证torch import torch
torch.cuda.is_available()
True创建虚拟环境
为了能够顺利使用环境推荐使用python3.7.1版本conda create -n venv_name python3.7.1激活 虚拟环境conda activate venv_namepip安装所需库pip install transformers2.1.1
pip install tensorflow2.0.0
pip install numpy
pip install tqdm
pip install sklearn
pip install keras
pip install tb-nightly
pip install future
pip install thulac
pip install setuptools59.5.0pip install torch1.10.2cu113 torchvision0.3.0 --extra-index-url 训练预测
项目结构
config: 存放模型的配置文件data: 存放训练数据model: 存放模型cache: 用于模型训练之前的数据预处理sample: 用于存放生成样本的目录generate.py: 生成代码train.py: 训练多文本启动代码train_single.py: 训练但文本启动代码tokenizations: 用于文本数据转换tokenizations的脚本
模型预测续写
参数说明
length: 生成的最长长度prefix: 文章开头fast_pattern: 快速生成模式save_samples: 保存生成文本结果的位置temperature: 越小越遵循训练样本续写的内容的思维越发散# 通用模型预测文本
python ./generate.py --length100 --nsamples4 --prefix天津是一座美丽的城市。 --fast_pattern --save_samples ----model_pathmodel/use_model --model_configconfig/model_config_small.json --topk8 --temperature0.8 --batch_size2# 制定模型输出
python ./generate.py --length300 --nsamples4 --prefix萧炎斗之力。 --fast_pattern --save_samples --model_pathmodel/model_epoch18 --model_configmodel/model_epoch18/config.json --topk8 --temperature1 --batch_size1
其他参数参考
训练模型
将训练语料以train.json的格式放入data目录中
如果文件格式为train.json格式那么将train.py文件中的读取方式为lines json.load(f) 如果文件格式为train.txt格式即数据格式为[”正文1“, ”正文2“, ”正文3“]那么将train.py文件中的读取方式为lines f.readlines()
运行train.py文件并设定--raw参数会自动预处理数据预处理完成之后会自动执行训练。
python train.py --raw遇到的问题及解决办法
显存不足
语料太大在config文件中选择小一点的json文件batch_size过大默认训练是8可以改成4或者6尝试
生成的内容一样
修改generate.py中的batch_size1
文末
此训练结果生成比较简单的文章还可以但是需要达到理想的效果还需要更大的数据体系和语料以及长期的模型训练基于原有的算法二次开发门槛也比较高而且这种业务比较吃硬件资源。
