↑: [[G検定に関する知識]] - 単語の[[分散表現]]を獲得するための代表的手法 - 2つの手法がある - [[CBOW]]：周辺語から中心語を予測 - [[スキップグラム]]：中心語から周辺語を予測 - 学習結果として得られた重みを単語ベクトルとして利用する - 得られるベクトルは低次元（100〜300次元程度）の**密ベクトル**。語彙サイズ次元の疎なワンホットとは異なる ← 重要 - 浅いニューラルネットで学習する。AttentionやTransformerは使わない ← ひっかけ - 意味の演算が可能：王 − 男 + 女 ≒ 女王 - 文脈非依存の固定ベクトル（「bank」の銀行／土手を区別できない）。文脈依存は[[ELMo]]・[[BERT]] - 単語を意味を持つ低次元ベクトル（分散表現）に変換するモデル（Google, 2013） - ワンホットが数万次元なのに対し、数百次元で済む - 弱点: 同じ単語には1つのベクトルしか割り当てない（文脈を無視）→ ELMoで解決 - 学習方法: CBOW（周辺→中心）と Skip-gram（中心→周辺） - cf. [[CBOW]], [[Skip-gram]], [[ELMo]], [[分散表現]], [[fastText]]