CLM

因果语言模型

因果语言模型，这里的思想是预测一个给定句子中的蒙面标记，但与MLM不同，这个模型被只考虑发生在它左边的单词来做同样的事情(理想情况下，这个可以是左的或者右的，想法是使它是单向的)。