Python 学习随记

Python Module Python Module 导入方法 import <module name>调用这个方法导入的module中的函数时,需要<module name>.<function name>格式进行使用 from <module name> import <sth>从某个模块中引入某些特殊函数等引入现在所在的全局命名空间中,直接使用<sth>就可以进行使用。这里引入的可以是一个子包,也可以是子包中的任意对象。 from <module name> import *将模块中所有对象引入,直接使用原模块中的名称即可使用 搜索路径 导入一个模块时,Python 解析器对模块位置的搜索顺序是: 当前目录 如果不在当前目录,Python 则搜索在 shell 变量 PYTHONPATH 下的每个目录。 如果都找不到,Python会察看默认路径。UNIX下,默认路径一般为/usr/local/lib/python/。 模块搜索路径存储在 system 模块的 sys.path 变量中。变量里包含当前目录,PYTHONPATH和由安装过程决定的默认目录。 命名空间和作用域 变量:名字与匹配对象的对应 命名空间:记录了所有名字-对象对应关系的字典 python表达式可以访问全局/局部命名空间,重名时局部命名空间优先。 使用global语句可以告诉python变量属于全局变量。ex.global x 导入本地自定义包 文件结构 main.py package |--__init__.py |--module1.py |--module2.py 包是一个分层次的文件目录结构,它定义了一个由模块及子包,和子包下的子包等组成的 Python 的应用环境。 简单来说,包就是文件夹,但该文件夹下必须存在__init__.py 文件, 该文件的内容可以为空。__init__.py 用于标识当前文件夹是一个包。 假设module1.py中有函数func1(),则在main函数中可以使用以下集中方式进行包导入: import mymodule.module1此时对应func1()的调用为mymodule.module1.func1(),前缀较长,比较繁琐。 import mymodule.module1 as m1此时对应func1()的调用为m1.func1() from mymodule import module1此时对应func1()的调用为module1....

November 22, 2021 · 2 min · Andyliu

大创对话系统21.11.22组会

问题 设备选择: 主要参数:内存 GPU 设备:jetson更好 树莓派算力有限,人工智能框架支持不官方 jetson有关方支持 tensor+树莓派能媲美jetson+tensor IO口 Tod-BERT fine tune 精调后的inference time & 内存占用? ToD-inference time 单位? 任务 树莓派装pytorch ToD-BERT 在树莓派上训练、推理 ToD-BERT fine tune ToD-BERT inference time 想测在一个卡上batch size = 1时候的推理时间 cuda.event时间数值的单位? time包中测出来的时间? 10ms级别 使用time包测量的方法 服务器CPU运行测量 training 限制CPU核心数量4 batch size = 1,2,4 重新配置conda环境,安装CPU版本pytorch 配置conda环境教程 用time模块测量 立项答辩 突出动机 抓住评委兴趣 语速、文字减少,减少技术细节 突出重音、重点 每人提2条意见 应用场景 边缘端部署 内存需求 算力需求

November 22, 2021 · 1 min · Andyliu

希尔伯特曲线项目每周进展

21.12.17 与王凯师兄讨论 已完成 根据具体电路电阻参数,完成最大电流信号、最小电流step的估计 下一步 SPAD导通电阻误差10%的情况下,数值解出对于电流值的影响 画出电流大小分布图、累积概率图 调整SPAD参数,使得最小电流精度与最大电流值之比为8bit(最差12bit) 21.12.10 与王凯师兄讨论 已完成 3阶、4阶信号最小step、最大值数量级估计 下一步 拿到SPAD导通以及截至电阻,算出具体最小step、最大值 最小step用作器件精度要求,最大值用于器件量程要求 21.12.03 与王凯师兄讨论 已完成 两光子信号的分辨方法。 下一步任务 电流精度问题,考虑器件电阻(三极管导通电阻)的问题。 结合半导体CMOS工艺M1层方块电阻进行计算。 21.11.25 与王凯师兄讨论 已完成 电流信号最小step 电流信号大小极差 考虑信号传输时间的条件下,2光子的应对策略 下一步任务 不用考虑信号传输时间,两光子同时到达的情况如何分辨? 参考以往论文 如何使用更少的信息分辨? 21.11.11 与王凯师兄讨论 已经完成的进展 希尔伯特曲线位置到平面位置映射 单光子信号函数关系(电流、时间差) 下一步任务 推导单光子电流信号范围、min step 两光子信号的分辨(电流+时间差) 能否只用电流不用时间差?(对于极端状况不行?) 时间差能否被分辨? 不同位置信号乱序到达,如何处理 统一单光子与多光子探测方法

November 22, 2021 · 1 min · Andyliu

视网膜初级处理项目进展

21.12.10 与王凯师兄讨论 已完成 Photoreceptor 论文阅读 依据“抑制能力”进行调参 空间频率信号仿真 Pyspice任意源使用方法 下一步 学习使用pyspice lib文件导入以及使用方法 仿真Photoreceptor电路 21.12.03 与王凯师兄讨论 已完成 仿真图像激励突然消失时的瞬态响应 仿真结果视频输出 下一步 依据视网膜边缘抑制能力调整电路参数 不同空间频率信号仿真 阅读文献,仿真更复杂的模型。 Photoreceptor 取对数电路 关于项目目的 人的视觉信号,在视锥细胞、视杆细胞层面信息量有1Tbps,但是传入人脑的信息只有10Mbps。这充分说明在观察一幅图像时,不需要那么多的信息,不需要记录每一个像素点的灰度信息。例如自然界中成像结果中大部分信息是缓变的,不需要每个像素点都按照绝对大小所需的数据精度进行记录。因此希望探究视网膜对于信号的处理方法,理论上建模出其提取的图像信息,再进行优化,指导新型成像器件、新型图片格式的形成。 而且,上述涉及到的操作可以不通过额外、单独的处理电路进行处理,而是在器件层面直接进行处理。远景目标考虑使用SNN(Spike Neuron Network,脉冲神经网络)完成整个图像的输入输出。 21.11.25 与王凯师兄讨论 已完成 Pyspice仿真静态图像阶跃输入时的瞬态响应 下一步 仿真激励突然消失时,电路的响应 仿真有初始条件状态下的零输入响应即可 视频输入的响应 21.11.11 与王凯师兄讨论 已经完成的工作: 使用pyspice,仿真出电阻网络对于特定信号的响应 下一步计划: 利用四边形连接方式,仿真出: 对于静态图片的响应 对于动态图片的响应,做成视频 改为六边形连接方式进行仿真。 需要六边形超分辨率的知识,数学上暂时存在困难,需等待师兄仿真完成。

November 22, 2021 · 1 min · Andyliu

ToD-BERT 相关内容

ToD-BERT the Paper 数据集 不同的数据集可以帮助模型达到不同的熟练效果 MetaLWOZ 预测数据 … ToD-BERT怎么训练的? mlm contrastive function 两者都有误差,因此才可以被训练。 空间结构能够捕获差异,发现细微结构。 在服务器上运行ToD-BERT训练 进入服务器,激活环境source activate todbert_env 进入/media/HD1/dche/ToD-BERT文件夹cd /media/HD1/dche/ToD-BERT 查看GPU资源占用情况nvidia-smi,然后选择目前占用情况较低的一张GPU进行训练即可 运行训练shell脚本文件CUDA_VISIBLE_DEVICES=0 ./run_tod_lm_pretraining.sh 0 bert bert-base-uncased save/pretrain/ToD-BERT-MLM --only_last_turn --data_path ./../dialog_datasets。根据第三步选择的几号卡,就把对应的0改成几,此处默认单卡训练。如果一切正常的话,再读入数据集数据后,就会开始训练了,有进度条出现就Ok了。常见的没跑起来的情况是CUDA out of memory。 ToD-BERT本地调用 将ToD-BERT模型下载至本地 包含ToD-BERT所需的python包,并定义模型路径 import torch from transformers import * BERT = <path_to_the_downloaded_tod-bert> # 注意此处的路径要使用从根目录开始的绝对路径,而非从用户~目录开始的相对路径。 model_class, tokenizer_class, config_class = BertModel, BertTokenizer, BertConfig tokenizer = tokenizer_class.from_pretrained(BERT) tod_bert = model_class.from_pretrained(BERT) 使用ToD-BERT文档中的示例 # Encode text input_text = "[CLS] [SYS] Hello, what can I help with you today?...

November 21, 2021 · 2 min · Andyliu

在Nginx服务器上部署SSL证书

申请证书 在腾讯云SSL证书界面申请即可,过程很快,十分钟就通知证书申请成功。 下载证书并上传至云服务器 在腾讯云SSL证书面板,找到要部署网站的证书,点击右侧的下载按钮即可下载 zip包文件结构: 由于使用Nginx服务器,需要使用的文件全部放在Nginx文件夹下: 将这两个文件复制到服务器Nginx安装路径下,我服务器上的安装路径为/etc/nginx: root@VM-24-3-ubuntu:/# mv /home/ubuntu/download/1_comfluter.life_bundle.crt /etc/nginx root@VM-24-3-ubuntu:/# mv /home/ubuntu/download/2_comfluter.life.key /etc/nginx root@VM-24-3-ubuntu:/# cd /etc/nginx root@VM-24-3-ubuntu:/etc/nginx# ll -s total 80 4 drwxr-xr-x 8 root root 4096 Nov 21 10:05 ./ 4 drwxr-xr-x 115 root root 4096 Nov 15 15:50 ../ 4 -rw-rw-r-- 1 ubuntu ubuntu 3921 Nov 21 08:37 1_comfluter.life_bundle.crt 4 -rw-rw-r-- 1 ubuntu ubuntu 1700 Nov 21 08:37 2_comfluter.life.key 4 drwxr-xr-x 2 root root 4096 Nov 15 16:48 conf....

November 21, 2021 · 2 min · Andyliu