知识图谱
基础
入门
综述
【综述专栏】什么是知识图谱|知识图谱入门|概述
行业知识图谱构建综述
知识图谱嵌入内容整理
知识图谱嵌入(KGE)主流模型简介
推荐算法常用评价指标:NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
基础知识
知识表示
问答
什么是实体对齐、实体消歧、属性对齐?
Others
维特比算法
Viterbi:DP搜索最优状态序列
定义:Viterbi变量δt(i)δ_t(i)δt(i)是在时间t时,模型沿着某一条路径到达SiS_iSi,输出观察序列O=O1O2⋅⋅⋅OtΟ=O_1O_2···O_tO=O1O2⋅⋅⋅Ot的最大概率为:
δt(i)=maxq1q2⋅⋅⋅qt−1P(q1q2⋅⋅⋅qt=Si,O1O2⋅⋅⋅Ot∣i)δ_t(i)=\max_{q_1q_2···q_{t-1}} P(q_1q_2···q_t=S_i, O_1O_2···O_t|i)
δt(i)=q1q2⋅⋅⋅qt−1maxP(q1q2⋅⋅⋅qt=Si,O1O2⋅⋅⋅Ot∣i)
维特比算法实现
如何通俗地讲解 viterbi 算法?
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687from ...
算法
经典算法
动态规划
决策树
决策树
决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和C5.0等。决策树是一种树形结构,其中每个内部节点表示一个属性上的判断,每个分支代表一个判断结果的输出,最后每个叶节点代表一种分类结果。
决策树是一种十分常用的分类方法,需要监管学习(有教师的Supervised Learning),监管学习就是给出一堆样本,每个样本都有一组属性和一个分类结果,也就是分类结果已知,那么通过学习这些样本得到一个决策树,这个决策树能够对新的数据给出正确的分类。这里通过一个简单的例子来说明决策树的构成思路:
给出如下的一组数据,一共有十个样本(学生数量),每个样本有分数,出勤率,回答问题次数,作业提交率四个属性,最后判断这些学生是否是好学生。最后一列给出了人工分类结果。
然后用这一组附带分类结果的样本可以训练出多种多样的决策树,这里为了简化过程,我们假设决策树为二叉树,且类似于下图:
通过学习上表的数据,可以设置A,B,C,D,E的具体值,而A,B,C,D,E则称为阈值。当然也可以有和上图完全不同的树形,比如下图这种的:
所以决策树的生成主要分以下两步,这两步通常通过学习已经知道 ...
Pytorch
环境安装
windows
PyTorch环境配置及安装
1conda install pytorch torchvision torchaudio torchtext cudatoolkit=10.1 -c pytorch
windows下安装anaconda+pytorch1.0+cuda10+配置pycharm
windows10安装cuda
显卡驱动版本一定要大于cudatoolkit版本
Ubuntu16.04下cuda和cudnn的卸载和升级和环境配置
用pip卸载,conda卸载不干净
查看pytorch对应的cuda版本
Mac:
Mac版本安装Anaconda及使用教程
Macbook air m1安装python/anaconda全过程(图文)
Mac M1安装anaconda与pycharm与pytorch与jupyter
torch.version.cuda
基础知识
batch_size的理解
PyTorch之前向传播函数forward
参考资料
简书笔记01
接口
torch.unsqueeze()
Dataloader重要参数与内部机制
torch.nn ...
transformers篇-BertTokenizer.encode_plus()方法
🖥定义
123456789101112131415161718192021def encode_plus( self, text: Union[TextInput, PreTokenizedInput, EncodedInput], text_pair: Optional[Union[TextInput, PreTokenizedInput, EncodedInput]] = None, add_special_tokens: bool = True, padding: Union[bool, str, PaddingStrategy] = False, truncation: Union[bool, str, TruncationStrategy] = False, max_length: Optional[int] = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: Optional[int] = None, ...
torch.nn.LSTM()详解
输入的参数列表包括:
input_size 输入数据的特征维数,通常就是embedding_dim(词向量的维度)
hidden_size LSTM中隐层的维度,bidirectional =True时,hidden_size 减半
num_layers 循环神经网络的层数
bias 用不用偏置,default=True
batch_first 这个要注意,通常我们输入的数据shape=(batch_size, seq_length, embedding_dim),而batch_first默认是False,所以我们的输入数据最好送进LSTM之前将batch_size与seq_length这两个维度调换
dropout 默认是0,代表不用dropout
bidirectional默认是false,代表不用双向LSTM
输入数据包括input,(h_0,c_0):
input就是shape=(seq_length, batch_size, input_size)的张量
h_0是shape=(num_layers*num_directions, batch_size, hidden_s ...
硬件检测
硬件检测
硬盘速度
MacOS
DiskSpeedTest
windows
ASSSD
CrystalDisk
十大磁盘检测工具
D3H驱动下载
驱动下载
更新驱动教程
jupyter入门
入门
Jupyter Notebook介绍、安装及使用教程
安装
1conda install jupyter notebook
进入笔记
1jupyter notebook
增删虚拟环境
Jupyter Notebook 增加kernel的方法
Jupyter Notebook导入和删除虚拟环境
在Jupyter Notebook中选择特定的虚拟环境
123conda install -n pytorch ipykernelconda activate pytorchpython -m ipykernel install --user --name pytorch --display-name pytorch3.7
删除 jupyter kernelspec remove pytorch
显示列表 jupyter kernelspec list
Reference
关于 Jupyter Notebook 中 No module named ‘torch’ 的解决办法
vim常用命令详解
📝凡凡总结
命令
说明
常用易忘操作
选择文本
命令
说明
ggVG
选中全部的文本
v
从光标当前位置开始,光标所经过的地方会被选中,再按一下v结束
V
选中整行,从光标当前行开始,光标经过的行都会被选中,再按一下V结束
Ctrl + v
从光标当前位置开始,选中光标起点和终点所构成的矩形区域,再按一下Ctrl + v结束
特殊移动操作
命令
说明
0
移至行首
$
移至行尾
gg
移至全文首行
G
移至全文末行
nG
移至第n行
ctrl + g
查看当前行数
ctrl+O
后退一次的光标位置
ctrl+I
前进一次的光标位置
删除操作:
命令
说明
dd
删除(剪切)整行
ndd
删除向下n行
x
删除光标处字符
dnw
删除n个单词
de
从光标删到词末
d$
从光标删到行末
复制粘贴
命令
说明
y
复制 (默认是复制到"寄存器)
p
粘贴 (默认从"寄存器取出内容粘贴)
+y
复制到系统剪 ...