金融特化大規模言語モデルの構築と検証

平野正徳, 今城健太郎, 齋藤俊太, 岡田真太郎, 的矢知樹, 谷口徹, 太田佳敬

人工知能学会第33回金融情報学研究会, pp. 142-149, Oct. 20, 2024

Conference

人工知能学会第33回金融情報学研究会 (SIG-FIN)

Abstract

本研究では､金融に特化したLLMの構築に取り組んだ｡まず､ﾄﾞﾒｲﾝ特化のｺｰﾊﾟｽを構築し､そのｺｰﾊﾟｽを用いた継続事前学習を実施した｡その上で､金融に特化した金融知識の有無を確認するﾍﾞﾝﾁﾏｰｸを使用し､性能を評価した｡さらに､ﾓﾃﾞﾙﾏｰｼﾞを行い､ｲﾝｽﾄﾗｸｼｮﾝへの対応能力をﾓﾃﾞﾙに付与することで､金融のｲﾝｽﾄﾗｸｼｮﾝﾓﾃﾞﾙを構築した｡ｲﾝｽﾄﾗｸｼｮﾝﾓﾃﾞﾙの性能を評価するために､金融に特化した生成の良さを確認するﾍﾞﾝﾁﾏｰｸを使用し､その性能を比較した｡これらの取り組みを通じてLLMを金融に適合させることができることを示した｡

Keywords

LLM; 金融; 継続事前学習; モデルマージ; ベンチマーク;

doi

10.11517/jsaisigtwo.2024.FIN-033_142

bibtex

@inproceedings{Hirano2024-sigfin33,
  title={{金融特化大規模言語モデルの構築と検証}},
  author={平野 正徳 and 今城 健太郎 and 齋藤 俊太 and 岡田 真太郎 and 的矢 知樹 and 谷口 徹 and 太田 佳敬},
  booktitle={人工知能学会第33回金融情報学研究会},
  pages={142-149},
  doi={10.11517/jsaisigtwo.2024.FIN-033_142},
  year={2024}
}