< back English ver.

金融文書を用いた事前学習言語モデルの構築と検証

鈴木 雅弘, 坂地 泰紀, 平野 正徳, 和泉 潔

人工知能学会第27回金融情報学研究会, pp. 5-10, Oct. 9, 2021

Conference

人工知能学会第27回金融情報学研究会 (SIG-FIN)

Abstract

BERTを始めとする事前学習言語モデルは、様々な自然言語処理のタスクにおいて成果を上げている。これらのモデルの多くはWikipediaやニュース記事などの一般的なコーパスを用いているため、専門的な単語が使用される金融分野においては十分な効果が得られない。本研究では決算短信や有価証券報告書から事前学習言語モデルを構築する。また金融ドメインのタスクによって汎用モデルとの性能を比較する。

Keywords

事前学習モデル; 自然言語処理; BERT;

Paper

PDF, Official page

bibtex

@inproceedings{Suzuki2021-sigfin27,
  title={{金融文書を用いた事前学習言語モデルの構築と検証}},
  author={鈴木, 雅弘 and 坂地, 泰紀 and 平野, 正徳 and 和泉, 潔},
  booktitle={人工知能学会第27回金融情報学研究会},
  pages={5-10},
  url={https://sigfin.org/?027-02},
  year={2021}
}