Download toolkit git clone https://github.com/mozilla/TTS.git Install and config env conda create -n convlab2 python=3.6.2 cd ConvLab-2 install cpu version of pytorch (run on personal computer)conda install pytorch==1.5.1 torchvision==0.6.1 cpuonly -c pytorch otherwise, auto installation cannot find package version. pip install -e .
Configuring launch.json in vscode "configurations": [ { "name": "Python: my tod training", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "args": [ "--task=usdl", "--model_type=bert", "--model_name_or_path=bert-base-uncased", "--output_dir=", "--do_train", "--do_eval", "--mlm", "--do_lower_case", "--evaluate_during_training", "--save_steps=2500", "--logging_steps=1000", "--per_gpu_train_batch_size=1", "--per_gpu_eval_batch_size=1", "--only_last_turn" ] } ] Running Debug Session open my_tod_pretraining.py and press F5 to start a debug session using the configuration shown above. bug report: Debugging adding breakpoint on line 458 of my_tod_pretraining.py, and use F11:Step into to dig into the situation....
任务 断点调试：解决training时参数错误的TypeError 使用vscode中launch.json加入args参数 问题 ToD-BERT模型适用性？ 数据搬运是否是性能瓶颈？
Conda 复制已有环境 由于服务器上本身已经有使用CUDA平台的ToD-BERT运行环境，仅需将此环境中所有使用GPU的库换为使用CPU的库即可：pytorch 查看已有环境 (base) dialogue@amax-13:/$ conda info --env # conda environments: # base * /media/HD1/dche/miniconda3 sum_env /media/HD1/dche/miniconda3/envs/sum_env tod_bert /media/HD1/dche/miniconda3/envs/tod_bert /media/HD1/miniconda3 创建新环境，并将原有环境中的所有包复制，并激活新建立的环境。 (base) dialogue@amax-13:/$ conda create -n tod_bert_cpu --clone tod_bert Source: /media/HD1/dche/miniconda3/envs/tod_bert Destination: /media/HD1/dche/miniconda3/envs/tod_bert_cpu Packages: 20 Files: 12683 Preparing transaction: done Verifying transaction: done Executing transaction: done # # To activate this environment, use # # $ conda activate tod_bert_cpu # # To deactivate an active environment, use # # $ conda deactivate (base) dialogue@amax-13:/$ conda activate tod_bert_cpu (tod_bert_cpu) dialogue@amax-13:/$ Conda配置环境中的包（卸载GPU版本、安装CPU版本） Conda 查看环境中所有包的信息...
问题 设备选择： 主要参数：内存 GPU 设备：jetson更好 树莓派算力有限，人工智能框架支持不官方 jetson有关方支持 tensor+树莓派能媲美jetson+tensor IO口 Tod-BERT fine tune 精调后的inference time & 内存占用？ ToD-inference time 单位？ 任务 树莓派装pytorch ToD-BERT 在树莓派上训练、推理 ToD-BERT fine tune ToD-BERT inference time 想测在一个卡上batch size = 1时候的推理时间 cuda.event时间数值的单位？ time包中测出来的时间？ 10ms级别 使用time包测量的方法 服务器CPU运行测量 training 限制CPU核心数量4 batch size = 1，2，4 重新配置conda环境，安装CPU版本pytorch 配置conda环境教程 用time模块测量 立项答辩 突出动机 抓住评委兴趣 语速、文字减少，减少技术细节 突出重音、重点 每人提2条意见 应用场景 边缘端部署 内存需求 算力需求
21.12.17 与王凯师兄讨论 已完成 根据具体电路电阻参数，完成最大电流信号、最小电流step的估计 下一步 SPAD导通电阻误差10%的情况下，数值解出对于电流值的影响 画出电流大小分布图、累积概率图 调整SPAD参数，使得最小电流精度与最大电流值之比为8bit（最差12bit） 21.12.10 与王凯师兄讨论 已完成 3阶、4阶信号最小step、最大值数量级估计 下一步 拿到SPAD导通以及截至电阻，算出具体最小step、最大值 最小step用作器件精度要求，最大值用于器件量程要求 21.12.03 与王凯师兄讨论 已完成 两光子信号的分辨方法。 下一步任务 电流精度问题，考虑器件电阻（三极管导通电阻）的问题。 结合半导体CMOS工艺M1层方块电阻进行计算。 21.11.25 与王凯师兄讨论 已完成 电流信号最小step 电流信号大小极差 考虑信号传输时间的条件下，2光子的应对策略 下一步任务 不用考虑信号传输时间，两光子同时到达的情况如何分辨？ 参考以往论文 如何使用更少的信息分辨？ 21.11.11 与王凯师兄讨论 已经完成的进展 希尔伯特曲线位置到平面位置映射 单光子信号函数关系（电流、时间差） 下一步任务 推导单光子电流信号范围、min step 两光子信号的分辨（电流+时间差） 能否只用电流不用时间差？（对于极端状况不行？） 时间差能否被分辨？ 不同位置信号乱序到达，如何处理 统一单光子与多光子探测方法
21.12.10 与王凯师兄讨论 已完成 Photoreceptor 论文阅读 依据“抑制能力”进行调参 空间频率信号仿真 Pyspice任意源使用方法 下一步 学习使用pyspice lib文件导入以及使用方法 仿真Photoreceptor电路 21.12.03 与王凯师兄讨论 已完成 仿真图像激励突然消失时的瞬态响应 仿真结果视频输出 下一步 依据视网膜边缘抑制能力调整电路参数 不同空间频率信号仿真 阅读文献，仿真更复杂的模型。 Photoreceptor 取对数电路 关于项目目的 人的视觉信号，在视锥细胞、视杆细胞层面信息量有1Tbps，但是传入人脑的信息只有10Mbps。这充分说明在观察一幅图像时，不需要那么多的信息，不需要记录每一个像素点的灰度信息。例如自然界中成像结果中大部分信息是缓变的，不需要每个像素点都按照绝对大小所需的数据精度进行记录。因此希望探究视网膜对于信号的处理方法，理论上建模出其提取的图像信息，再进行优化，指导新型成像器件、新型图片格式的形成。 而且，上述涉及到的操作可以不通过额外、单独的处理电路进行处理，而是在器件层面直接进行处理。远景目标考虑使用SNN（Spike Neuron Network，脉冲神经网络）完成整个图像的输入输出。 21.11.25 与王凯师兄讨论 已完成 Pyspice仿真静态图像阶跃输入时的瞬态响应 下一步 仿真激励突然消失时，电路的响应 仿真有初始条件状态下的零输入响应即可 视频输入的响应 21.11.11 与王凯师兄讨论 已经完成的工作： 使用pyspice，仿真出电阻网络对于特定信号的响应 下一步计划： 利用四边形连接方式，仿真出： 对于静态图片的响应 对于动态图片的响应，做成视频 改为六边形连接方式进行仿真。 需要六边形超分辨率的知识，数学上暂时存在困难，需等待师兄仿真完成。
ToD-BERT the Paper 数据集 不同的数据集可以帮助模型达到不同的熟练效果 MetaLWOZ 预测数据 … ToD-BERT怎么训练的？ mlm contrastive function 两者都有误差，因此才可以被训练。 空间结构能够捕获差异，发现细微结构。 在服务器上运行ToD-BERT训练 进入服务器，激活环境source activate todbert_env 进入/media/HD1/dche/ToD-BERT文件夹cd /media/HD1/dche/ToD-BERT 查看GPU资源占用情况nvidia-smi，然后选择目前占用情况较低的一张GPU进行训练即可 运行训练shell脚本文件CUDA_VISIBLE_DEVICES=0 ./run_tod_lm_pretraining.sh 0 bert bert-base-uncased save/pretrain/ToD-BERT-MLM --only_last_turn --data_path ./../dialog_datasets。根据第三步选择的几号卡，就把对应的0改成几，此处默认单卡训练。如果一切正常的话，再读入数据集数据后，就会开始训练了，有进度条出现就Ok了。常见的没跑起来的情况是CUDA out of memory。 ToD-BERT本地调用 将ToD-BERT模型下载至本地 包含ToD-BERT所需的python包，并定义模型路径 import torch from transformers import * BERT = <path_to_the_downloaded_tod-bert> # 注意此处的路径要使用从根目录开始的绝对路径，而非从用户~目录开始的相对路径。 model_class, tokenizer_class, config_class = BertModel, BertTokenizer, BertConfig tokenizer = tokenizer_class.from_pretrained(BERT) tod_bert = model_class.from_pretrained(BERT) 使用ToD-BERT文档中的示例 # Encode text input_text = "[CLS] [SYS] Hello, what can I help with you today?...