Posts

逻辑回归原理补充

在本科机器学习课程上讲了逻辑回归的相关内容. 感觉有些部分课堂上讲的比较粗,回来补充一些公式的推导和清晰一点的定义.

CTC前缀分数计算

CTC(连接主义的时序分类)是一种在长度不同的序列中计算损失的方式。 对于不定长的模型输出和标签,在没有给定对齐的情况下计算概率和梯度,从而进行模型的训练。

在基于Attention的模型中,使用hybrid ctc+attention的方式训练,在解码过程中,进一步利用训练时CTC头部的信息,可以计算CTC前缀得分,加入到Beam Search解码中。这里前缀得分的计算方式与CTC Loss的前向后向算法的前向部分比较类似。

PyTorch中No Weight Decay策略

Weight Decay权重衰减机制是一个比较常用的训练策略。 但是在某些场景下,需要在训练的时候关闭WeightDecay。

HRNet

HRNet是CVPR2019提出的一种非常强的Backbone,论文参考arXiv,代码已经开源github(用于分割的代码还没有全部开源)。

2021分割新进展

扫了一些分割方面论文,截止日期2021-12-29

离散信号最大熵定理

对于离散信号,当所有信源符号出现的概率相等的时候取到最大的熵。