深度学习中预训练模型是指什么?如何得到?

Question

如题所述

Answer 1

通俗的例子是：武侠小说中，一个人若想成为武林高手，需要有扎实的内功基础，内功修炼好之后，再去学各种招式，就能够非常轻易的上手并发挥其最大效用。

比如说金庸小说《倚天屠龙记》的主角张无忌，在偶然习得内功《九阳真经》之后，再学“乾坤大挪移”、“太极拳”、“太极剑”等招式就如鱼得水，进步神速。小说中的“修炼内功”就可以理解为“预训练”的过程。

预训练模型把迁移学习很好地用起来了，让我们感到眼前一亮。这和小孩子读书一样，一开始语文、数学、化学都学，读书、网上游戏等，在脑子里积攒了很多。当他学习计算机时，实际上把他以前学到的所有知识都带进去了。

如果他以前没上过中学，没上过小学，突然学计算机就不懂这里有什么道理。这和我们预训练模型一样，预训练模型就意味着把人类的语言知识，先学了一个东西，然后再代入到某个具体任务，就顺手了，就是这么一个简单的道理。