在迁移学习中如何选择数据

在迁移学习中如何选择数据

防止负迁移
对于迁移学习而言，选择数据的最主要的动机是为了防止负迁移，如果训练数据源的信息不仅没有用，反而会对目标域上的工作适得其反，便会产生负迁移。负迁移的典型例子是情绪分析：如果我们训练一个模型来预测图书评论的情绪分析，我们可以期待模型在书评这个域做的很好。然而，如果将这个模型迁移到电子产品的评论中，结果就是负迁移，我们模型学习到的术语与书籍情绪有关，而对于电子产品的评论则意义不大。
在从一个源到一个目标域的适应性的经典场景中， 我们唯一可以做的是创建一个能够解开这些从意义上转变的模型。然而，在两个非常不同的域之间进行适应仍然会频繁地失败或者模型表现非常差劲。
在现实世界中，我们通常可以访问多个数据源。在这种情况下，我们可以做的一件事是对我们的目标域最有帮助的数据进行训练。 然而，我们尚不清楚如何确定源数据对目标域的有用性的最佳方法。 现有工作通常依赖于源和目标域之间的相似度度量。在这种情况下，一件我们可以做的事情就是对我们的目标域最有帮助的数据进行训练。然而，确定源数据对目标域的有用性的最佳方法是雾里看花。 现有工作通常依赖于源和目标域之间的相似性度量。