< back English ver.

事前学習と追加事前学習による金融言語モデルの構築と検証

鈴木 雅弘, 坂地 泰紀, 平野 正徳, 和泉 潔

人工知能学会第28回金融情報学研究会, pp. 132-137, Mar. 12, 2022

---

Conference

人工知能学会第28回金融情報学研究会 (SIG-FIN)

Abstract

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

Keywords

事前学習モデル; 追加事前学習; 自然言語処理; BERT; ELECTRA;

---

Paper

PDF, Official page

doi

10.11517/jsaisigtwo.2022.FIN-028_132

---

bibtex

@inproceedings{Suzuki2022-sigfin28,
  title={{事前学習と追加事前学習による金融言語モデルの構築と検証}},
  author={鈴木, 雅弘 and 坂地, 泰紀 and 平野, 正徳 and 和泉, 潔},
  booktitle={人工知能学会第28回金融情報学研究会},
  pages={132-137},
  doi={10.11517/jsaisigtwo.2022.FIN-028_132},
  url={https://sigfin.org/?028-24},
  year={2022}
}

---