Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model [in Japanese]

Masahiro SUZUKI, Hiroki SAKAJI, Masanori HIRANO, Kiyoshi IZUMI

The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence, pp. 132-137, Mar. 12, 2022

Conference

The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence (SIG-FIN)

Abstract

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

Keywords

事前学習モデル; 追加事前学習; 自然言語処理; BERT; ELECTRA;

Paper

PDF, Official page

doi

10.11517/jsaisigtwo.2022.FIN-028_132

bibtex

@inproceedings{Suzuki2022-sigfin28,
  title={{Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model [in Japanese]}},
  author={Masahiro SUZUKI and Hiroki SAKAJI and Masanori HIRANO and Kiyoshi IZUMI},
  booktitle={The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence},
  pages={132-137},
  doi={10.11517/jsaisigtwo.2022.FIN-028_132},
  url={https://sigfin.org/?028-24},
  year={2022}
}