↑: [[G検定に関する知識]] - 双方向LSTMで文全体を見て単語ベクトルを生成する分散表現モデル（2018） - word2vecの弱点（同じ単語に1ベクトル）を克服: 文脈によって異なるベクトルを生成 - 例: 「明るい性格」と「明るい部屋」の「明るい」に違うベクトルを割り当てる - BERTやGPTにつながる「文脈つき単語埋め込み」の先駆け - cf. [[word2vec]], [[BERT]], [[双方向RNN]], [[分散表現]] - Petersら 2018。Embeddings from Language Models の略 - アーキテクチャは**双方向LSTM（biLSTM）**。TransformerのSelf-Attentionで双方向文脈を捉えるのは[[BERT]] ← ELMoとBERTの混同に注意 - 生成特化モデルではなく文脈依存の単語埋め込みを提供する手法。GPTの直接の前身というよりBERTへの橋渡し