↑: [[G検定に関する知識]] - 大量のテキストや音声を集めたもの。ラテン語で「集まり」を意味する - 自然言語処理・音声処理に不可欠なデータセット - 2種類：生コーパス（テキスト・音声をそのまま収録）、注釈付きコーパス（品詞や固有表現のタグ付き・使いやすいがコスト高） - 代表例：Wikipedia（百科事典テキスト）、Common Crawl（ウェブ全体を巡回して収集）、青空文庫（日本語文学作品） - コーパスの質と量が言語モデルの性能に直結する - cf. [[オープンデータセット]], [[データの収集・加工・分析・学習]] - ラベルの有無を問わない（「ラベル付きデータのみを指す」は誤り）。BERT・GPTの事前学習データはほとんどが**ラベルなしの生テキスト**（自己教師あり学習で学ぶ）← ひっかけ - SNSデータの収集・利用はプラットフォームの利用規約（スクレイピング禁止規定等）・個人情報保護法を確認する