基于距离学习的经典三 Center Loss

内容纲要

Center Loss

是为了生成更具有鉴别性的特征而设计的。center loss 公式就是下面这个 loss 的后半部分,\boldsymbol{c}_{y_{i}} 代表 class y_{i} 的中心。


\mathcal{L}=\mathcal{L}_{S}+\lambda \mathcal{L}_{C} \\

=-\sum_{i=1}^{m} \log \frac{e^{W_{y_{i}}^{T} \boldsymbol{x}_{i}+b_{y_{i}}}}{\sum_{j=1}^{n} e^{W_{j}^{T} \boldsymbol{x}_{i}+b_{j}}}+\frac{\lambda}{2} \sum_{i=1}^{m}\left\|\boldsymbol{x}_{i}-\boldsymbol{c}_{y_{i}}\right\|_{2}^{2}

什么是更具有鉴别性?

不仅仅是分开,而且类内variance小(挨得紧),这样分开得更加明显。
center_loss_descriminative_feature
这样当我们用邻近算法(生产中比较常用)来鉴别人脸或者相似文章检索等等,这种具有良好聚类特性的特征向量,(对比softmax 得到的)就不容易有很多重叠情况而误判。

对比triplet loss 和 contrastive loss 带来了什么不一样?

不需要踩各种复杂的采样的坑,采样之后的imblance又是坑里面的另外一个坑。

为什么只用 softmax 得到的向量就不具备这个特性呢?

TODO

参考

A Discriminative Feature Learning Approach for Deep Face Recognition
【Technical Review】ECCV16 Center Loss及其在人脸识别中的应用

发表评论

电子邮件地址不会被公开。 必填项已用*标注