登录社区云，与社区用户共同成长
邀请您加入社区
BERT，全称 Bidirectional Encoder Representations from Transformers，是 Google 于 2018 年提出的一种预训练语言模型。它的核心思想是使用Transformer 编码器结构，通过双向上下文建模学习文本的语义表示。传统的语言模型往往是单向的，比如左到右（GPT）或右到左（ELMo），因此在预测一个词时只能看到部分上下文。
