↑: [[G検定に関する知識]] - 文書における単語の重要度を評価する統計的手法 - **TF（出現頻度）× IDF（逆文書頻度）**で計算 - TF：その文書内でその単語が何回出るか - IDF：多くの文書に現れる単語のスコアを下げる（希少な単語ほど高い） - **希少な単語ほど重要度が高くなる** - ニューラルネットワーク不要（統計的手法） - 文脈・語順は理解できない（[[BoW]]ベース） - 「てにをは」など頻出語のスコアを下げ、専門用語のスコアを上げる - 「よく出て、かつ珍しい単語ほど重要」という重み付け手法 - TF（Term Frequency）: その文書内での出現頻度（多さ） - TF × IDF = 重要度。助詞のような頻出語は重みがほぼゼロになる - 検索エンジンや文書分類で今でも現役の技術 - cf. [[BoW]], [[n-gram]], [[分散表現]]