Few Shot Learning-备忘

Meta Learning

Meta-learning与有监督训练不同，Meta-learning是learn-to-learn。目前既是中过你喝情况下，引导算法走最佳路径至收敛。大致可分为learning good weight initializations、meta-models that generate the parameters of other models以及learning transferable optimizers。其中MAML属于第一类。 一种训练pretrained model的方式，有大量其他task的数据，同时用少量新task数据来训练一个强泛化性的模型。MAML的训练方式允许我们用大量老数据训练得到一个有很好鲁棒性的初始化权重。训练时以task为单位，多个task对应一个batch，每个task由support set和query set组成。

Few Shot Learning

什么是Few-shot Learning？ 也是一个机器学习分支，是Meta Learning在监督学习领域的应用。

Meta learning，又称learning to learn，在meta training阶段将数据集分解为不同的meta task，去学习类别变化情况下模型的泛化能力，在meta testing阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。

C-way K-shot问题：C个类别，每类K个样本，构成一个meta-task，作为模型的support set输入，再从这C类的剩余数据中抽取一批样本作为预测对象。训练过程中，每次训练都会采样得到不同的meta-task，总体来看，训练包含了不同的类别组合，这种机制使得模型学会不同meta-task中的共性部分。

Few-shot machine Learning，如何在小数据集上做可信预测，是Meta learning的一种，核心思想是去训练可以预测相似性的函数。 两类方法来解决该问题：

• Dat