< back 日本語版

Construction and Validation of a Pre-Training Language Model Using Financial Documents [in Japanese]

Masahiro SUZUKI, Hiroki SAKAJI, Masanori HIRANO, Kiyoshi IZUMI

The 27th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence, Oct. 9, 2021

---

Conference

The 27th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence (SIG-FIN)

Abstract

BERTを始めとする事前学習言語モデルは、様々な自然言語処理のタスクにおいて成果を上げている。これらのモデルの多くはWikipediaやニュース記事などの一般的なコーパスを用いているため、専門的な単語が使用される金融分野においては十分な効果が得られない。本研究では決算短信や有価証券報告書から事前学習言語モデルを構築する。また金融ドメインのタスクによって汎用モデルとの性能を比較する。

Keywords

事前学習モデル; 自然言語処理; BERT;

---

Paper

PDF, Official page

---

bibtex

@inproceedings{Suzuki2021-sigfin27,
  title={{Construction and Validation of a Pre-Training Language Model Using Financial Documents [in Japanese]}},
  autor={Masahiro SUZUKI and Hiroki SAKAJI and Masanori HIRANO and Kiyoshi IZUMI},
  booktitle={The 27th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence},
  pages={5-10},
  url={https://sigfin.org/?027-02},
  year={2021}
}

---