机器学习笔记之类别特征处理
Reference
机器学习笔记之类别特征处理
机器学习笔记之目标检测
数据集
COOC
算法
RCNN算法详解
VSCode debug配置文件设置
基础设置
设置运行目录
1234{ "cwd": "${workspaceRoot}", // 工作目录 "cwd": "${fileDirname}" // 父目录}
设置参数
1args=["--do_train","--do_eval"]
设置环境变量
12"env":{ "PYTHONUNBUFFERED":"1", "CUDA_VISIBLE_DEVICES":"5"}
配置python调试单独文件
可实现类似pycharm中为每个文件定义单独的调试配置
12345678910111213141516{ "name": "umtner-MT", "typ ...
VSCode必装插件
万能语言运行环境 Code Runner
Git
Git Graph
Git History
ICON
Material Icon Theme
theme
One Dark Pro
训练时的学习率调整:optimizer和scheduler
最近在用mmdection框架修改网络的时候发现,网络训练起来一直都不收敛,训练一小会就换全部变nan,检测了好久都没有发现什么问题,最终修改了学习率,终于可以收敛了。但是关于怎么调整学习率一直都还没有掌握。因此特意写了这一篇进行总结。
1.optimizer.step()和scheduler.step()的区别
optimizer.step()和scheduler.step()是我们在训练网络之前都需要设置。我理解的是optimizer是指定使用哪个优化器,scheduler是对优化器的学习率进行调整,正常情况下训练的步骤越大,学习率应该变得越小。optimizer.step()通常用在每个mini-batch之中,而scheduler.step()通常用在epoch里面,但是不绝对。可以根据具体的需求来做。只有用了optimizer.step(),模型才会更新,而scheduler.step()是对lr进行调整。通常我们在scheduler的step_size表示scheduler.step()每调用step_size次,对应的学习率就会按照策略调整一次。所以如果scheduler ...
计算机网络
应用层
CDN(ContentDeliveryNetwork)详解
pytorch之permute()用法
将tensor的维度换位。
参数: - dims (int …*) - 换位顺序
例:
12345>>> x = torch.randn(2, 3, 5) >>> x.size() torch.Size([2, 3, 5]) >>> x.permute(2, 0, 1).size() torch.Size([5, 2, 3])
Reference
Pytorch之permute函数
pytorch之repeate()用法
pytorch之repeate()用法
当repeate参数个数和tensor的形状个数一样时,每个参数分别表示对应维度复制的次数
当参数不一样时,首先在第0维扩展一个维度,维数为1,然后按照参数指定的次数进行复制
1234import torcha = torch.tensor([[1, 2, 3], [1, 2, 3]])a.shape
torch.Size([2, 3])
123# repeat参数比维度多,在扩展前先讲a的形状扩展为(1,2,3)然后复制b = a.repeat(1, 2, 1)print(b.shape) # 得到结果torch.Size([1, 4, 3])
torch.Size([1, 4, 3])
12c = a.unsqueeze(1)print(c.shape)
torch.Size([2, 1, 3])
12d = c.repeat(1,2,1)print(d.shape)
torch.Size([2, 2, 3])
Reference
pytorch中repeat()函数理解
Python中删除文件的几种方法
删除文件
很多时候开发者需要删除文件。可能是他错误地创建了文件,或者不再需要该文件。无论出于何种原因,都有一些方法可以通过Python来删除文件,而无需手动查找文件并通过UI交互来进行删除操作。
使用Python删除文件有多种方法,但是最好的方法如下:
os.remove()删除文件
os.unlink()删除文件。它是 remove()方法的Unix名称。
shutil.rmtree()删除目录及其下面所有内容。
pathlib.Path.unlink()在Python 3.4及更高版本中用来删除单个文件 pathlib模块。
os.remove() 删除文件
Python中的OS模块提供了与操作系统进行交互的功能。OS属于Python的标准实用程序模块。该模块提供了使用依赖于操作系统的功能的便携式方法。
Python中的 os.remove()方法用于删除文件路径。此方法无法删除目录。如果指定的路径是目录,则该方法将引发 OSError。
注意:可以使用 os.rmdir()删除目录。
句法:
以下是 remove()方法删除Python文件的语法:
1os.remove(pa ...
shutil的常用方法
1from shutil import copyfile
shutil
是一种高层次的文件操作工具
类似于高级API,而且主要强大之处在于其对文件的复制与删除操作更是比较支持好。
使用方法
copyfile( src, dst) 从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉
copymode( src, dst) 只是会复制其权限其他的东西是不会被复制的
copystat( src, dst) 复制权限、最后访问时间、最后修改时间
copy( src, dst) 复制一个文件到一个文件或一个目录
copy2( src, dst) 在copy上的基础上再复制文件最后访问时间与修改时间也复制过来了,类似于cp –p的东西
copy2( src, dst) 如果两个位置的文件系统是一样的话相当于是rename操作,只是改名;如果是不在相同的文件系统的话就是做move操作
copytree(olddir,newdir,True/Flase) 把 ...