< back 日本語版

Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model [in Japanese]

Masahiro SUZUKI, Hiroki SAKAJI, Masanori HIRANO, Kiyoshi IZUMI

The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence, Mar. 12, 2022


Conference

The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence (SIG-FIN)

Abstract

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

Keywords

事前学習モデル; 追加事前学習; 自然言語処理; BERT; ELECTRA;


Paper

PDF, Official page


bibtex

@inproceedings{Suzuki2022-sigfin28,
  title={{Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model [in Japanese]}},
  autor={Masahiro SUZUKI and Hiroki SAKAJI and Masanori HIRANO and Kiyoshi IZUMI},
  booktitle={The 28th meeting of Special Interest Group on Financial Informatics of Japanese Society for Artificial Intelligence},
  pages={132-137},
  url={https://sigfin.org/?028-24},
  year={2022}
}