Multitask
Language Models are Unsupervised Multitask Learners
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ OpenAI blog, 2019 ......
GPT-2 《Language Models are Unsupervised Multitask Learners》解读
背景 GPT1采用了pre-train + fine-tuning训练方式，也就是说为了适应不同的训练任务，模型还是需要在特定任务的数据集上微调，仍然存在较多人工干预的成本。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练 ......
youtube点击位置纠偏论文：《Recommending What Video to Watch Next: A Multitask Ranking System》
背景 在推荐系统存在两个难题： 1. 需要同时优化点击、观看时长、点赞、打分、评论等多个目标，如何同时建模多个目标 2. 存在position bias，即同个视频放在不通位置上点击率等会不同，如何建模position bias youtube这篇论文采用了MMOE来建模多目标，并用一个shallo ......