M3AE: Multimodal Representation Learning for Brain Tumor Segmentation with Missing Modalities

 

摘要

 

提出SimCLR,用于视觉表征的对比学习,简化了最近提出的对比自监督学习算法,为了理解是什么使对比预测任务能够学习有用的表示,系统研究了提出框架的主要组成部分,发现:

1)数据增强的组成在定义有效的预测任务中起着关键的作用

2)在表示和对比损失之间引入一个可学习的非线性变换,大大提高了已学习表示的质量

3)与监督学习相比,对比学习受益于更大的批量规模和更多的训练步骤

SimCLR学习的自监督表示训练的线性分类器达到了76.5%top-1精度,比之前的技术水平提高了7%,与监督ResNet-50的性能相匹配。

 

 

方法

  1. 对比学习框架

 

 

随机采样一个minibatch的数据(N个样本),定义生成的增强样本对的对比预测任务,得到2N个数据点,给定一个正例对,将其它2(N-1)个增强样本当作负例,相似性度量采用余弦距离,则正例对(i,j)的损失函数为:

 

 

τ代表温度参数,最后的损失是计算所有正例样本对,包含(i,j)(j,i),称之为NT-Xent (the normalized temperature-scaled cross entropy loss)

 

提出的方法可总结为:

 

 

 

实验

1. 投影头实验发现:

  1. 非线性投影比线性投影好(>3%),比不投影高很多(>10%
  2. 隐藏层在投影头前面比在层后面要好

 

2. NT-Xent损失与其它常用对比损失函数的比较(logistic lossmargin loss):

 

  

3. 采用不同标签训练时的指标对比:

 

公众号 

 

热门相关:斗神战帝   寂静王冠   仗剑高歌   天启预报   刺客之王