Download toolkit git clone https://github.com/mozilla/TTS.git Install and config env conda create -n convlab2 python=3.6.2 cd ConvLab-2 install cpu version of pytorch (run on personal computer)conda install pytorch==1.5.1 torchvision==0.6.1 cpuonly -c pytorch otherwise, auto installation cannot find package version. pip install -e .
Configuring launch.json in vscode "configurations": [ { "name": "Python: my tod training", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "args": [ "--task=usdl", "--model_type=bert", "--model_name_or_path=bert-base-uncased", "--output_dir=", "--do_train", "--do_eval", "--mlm", "--do_lower_case", "--evaluate_during_training", "--save_steps=2500", "--logging_steps=1000", "--per_gpu_train_batch_size=1", "--per_gpu_eval_batch_size=1", "--only_last_turn" ] } ] Running Debug Session open my_tod_pretraining.py and press F5 to start a debug session using the configuration shown above. bug report: Debugging adding breakpoint on line 458 of my_tod_pretraining.py, and use F11:Step into to dig into the situation....
任务 断点调试：解决training时参数错误的TypeError 使用vscode中launch.json加入args参数 问题 ToD-BERT模型适用性？ 数据搬运是否是性能瓶颈？
Conda 复制已有环境 由于服务器上本身已经有使用CUDA平台的ToD-BERT运行环境，仅需将此环境中所有使用GPU的库换为使用CPU的库即可：pytorch 查看已有环境 (base) dialogue@amax-13:/$ conda info --env # conda environments: # base * /media/HD1/dche/miniconda3 sum_env /media/HD1/dche/miniconda3/envs/sum_env tod_bert /media/HD1/dche/miniconda3/envs/tod_bert /media/HD1/miniconda3 创建新环境，并将原有环境中的所有包复制，并激活新建立的环境。 (base) dialogue@amax-13:/$ conda create -n tod_bert_cpu --clone tod_bert Source: /media/HD1/dche/miniconda3/envs/tod_bert Destination: /media/HD1/dche/miniconda3/envs/tod_bert_cpu Packages: 20 Files: 12683 Preparing transaction: done Verifying transaction: done Executing transaction: done # # To activate this environment, use # # $ conda activate tod_bert_cpu # # To deactivate an active environment, use # # $ conda deactivate (base) dialogue@amax-13:/$ conda activate tod_bert_cpu (tod_bert_cpu) dialogue@amax-13:/$ Conda配置环境中的包（卸载GPU版本、安装CPU版本） Conda 查看环境中所有包的信息...
问题 设备选择： 主要参数：内存 GPU 设备：jetson更好 树莓派算力有限，人工智能框架支持不官方 jetson有关方支持 tensor+树莓派能媲美jetson+tensor IO口 Tod-BERT fine tune 精调后的inference time & 内存占用？ ToD-inference time 单位？ 任务 树莓派装pytorch ToD-BERT 在树莓派上训练、推理 ToD-BERT fine tune ToD-BERT inference time 想测在一个卡上batch size = 1时候的推理时间 cuda.event时间数值的单位？ time包中测出来的时间？ 10ms级别 使用time包测量的方法 服务器CPU运行测量 training 限制CPU核心数量4 batch size = 1，2，4 重新配置conda环境，安装CPU版本pytorch 配置conda环境教程 用time模块测量 立项答辩 突出动机 抓住评委兴趣 语速、文字减少，减少技术细节 突出重音、重点 每人提2条意见 应用场景 边缘端部署 内存需求 算力需求
ToD-BERT the Paper 数据集 不同的数据集可以帮助模型达到不同的熟练效果 MetaLWOZ 预测数据 … ToD-BERT怎么训练的？ mlm contrastive function 两者都有误差，因此才可以被训练。 空间结构能够捕获差异，发现细微结构。 在服务器上运行ToD-BERT训练 进入服务器，激活环境source activate todbert_env 进入/media/HD1/dche/ToD-BERT文件夹cd /media/HD1/dche/ToD-BERT 查看GPU资源占用情况nvidia-smi，然后选择目前占用情况较低的一张GPU进行训练即可 运行训练shell脚本文件CUDA_VISIBLE_DEVICES=0 ./run_tod_lm_pretraining.sh 0 bert bert-base-uncased save/pretrain/ToD-BERT-MLM --only_last_turn --data_path ./../dialog_datasets。根据第三步选择的几号卡，就把对应的0改成几，此处默认单卡训练。如果一切正常的话，再读入数据集数据后，就会开始训练了，有进度条出现就Ok了。常见的没跑起来的情况是CUDA out of memory。 ToD-BERT本地调用 将ToD-BERT模型下载至本地 包含ToD-BERT所需的python包，并定义模型路径 import torch from transformers import * BERT = <path_to_the_downloaded_tod-bert> # 注意此处的路径要使用从根目录开始的绝对路径，而非从用户~目录开始的相对路径。 model_class, tokenizer_class, config_class = BertModel, BertTokenizer, BertConfig tokenizer = tokenizer_class.from_pretrained(BERT) tod_bert = model_class.from_pretrained(BERT) 使用ToD-BERT文档中的示例 # Encode text input_text = "[CLS] [SYS] Hello, what can I help with you today?...