发表于2019 Interspeech。 将半监督方法Mean Teacher用于Google Speech Commands和UrbanSound8Ku数据集，其关键在于对音频数据的扰动，包括时间和频率转换、高斯噪声、环境噪声和Mixup，所用的音频数据均被转换为频谱图图像。环境噪声和Mixup两种方法是独立添加的，为防止互相影响。实验结果显示Mixup的效果要好于添加环境噪声。 ...
2020年1月21日于Arxiv公开，https://arxiv.org/abs/2001.07685 FixMatch整合了一致性正则化与伪标签两种方法。文中将数据增强分为弱增强和强增强，弱增强为标准的平移与翻转，强增强为RandAugment或CTAugment，之后接Cutout。FixMatch的流程如下：首先，将未标记图像的弱增强版本输入模型中以获得预测值。预测值高于某个阈值时，预测值将会转换为one-hot伪标记。然后，将对同一张图片的强增强版本计算输入模型获得预测。通过标准的交叉熵损失，使其在强增强版本上的预测与伪标记匹配。 ...
ICT **问题：**不同的一致性正则化技术选择不同的未标记数据扰动。随机扰动是一个简单的方案，但其对于高维度数据十分低效。VAT等模型探索能够使模型预测变化最大化的扰动，但这类方法需要额外的计算，而且有研究表明对抗性扰动训练可能会影响泛化表现。 ...
深度学习发展初期，训练深度的网络比较困难。对神经网络来说，一个好的初始化可以让结果更稳定，迭代次数更少，因此利用无标签数据让网络有一个好的初始化成为一个研究热点。 ...
概述 传统监督学习通过对大量有标记的训练样例进行学习以建立模型用于预测未知样例的标记。在实际应用中，往往可以容易地收集到大量未标记的样本，而对这些数据赋予标记则往往需要耗费大量的人力物力。例如在进行计算机辅助医学影像分析时, 可以从医院获得大量医学影像, 但如果希望医学专家把影像中的病灶全都标识出来则是不现实的。 ...