↑: [[G検定に関する知識]]
- 大量のテキストや音声を集めたもの。ラテン語で「集まり」を意味する
- 自然言語処理・音声処理に不可欠なデータセット
- 2種類:生コーパス(テキスト・音声をそのまま収録)、注釈付きコーパス(品詞や固有表現のタグ付き・使いやすいがコスト高)
- 代表例:Wikipedia(百科事典テキスト)、Common Crawl(ウェブ全体を巡回して収集)、青空文庫(日本語文学作品)
- コーパスの質と量が言語モデルの性能に直結する
- cf. [[オープンデータセット]], [[データの収集・加工・分析・学習]]