[人民日报]Bert怎样实现mask的[每日推荐]

Bert怎样实现mask的

已邀请:
在句子中随机遮盖15%的单词,通过学习来预测这些词是什么,同时15%的词中有80%用[mask]来替换,10%用原词,剩余的10%用随机词来替换。
在判断两个句子是否连续,从数据集选择两个句子,其中一个句子是上一个句子的下一句的概率为50%,剩下的50%是由数据中随机选取的一句话

要回复问题请先登录注册