< back English ver.

日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング

鈴木 雅弘, 平野 正徳, 坂地 泰紀

第20回テキストアナリティクス・シンポジウム, Sep. 6, 2023

Conference

第20回テキストアナリティクス・シンポジウム

Abstract

本研究では，日本語インストラクションデータを用い，日本語と英語のそれぞれをベースにした大規模言語モデル (LLM) に対してLoRAチューニングを行った．チューニングしたモデルに対し定量と定性による両面から評価を行い，日本語インストラクションデータによるチューニングの効果を確認した．また幅広いインストラクションデータや実際のモデルが出力した文字列による評価の必要性など，日本語における大規模言語モデルや言語資源における課題を明らかにした．

Keywords

大規模言語モデル; 日本語; インストラクションチューニング;

Paper

Official page

bibtex

@inproceedings{Suzuki2023-textanal20,
  title={{日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング}},
  author={鈴木, 雅弘 and 平野, 正徳 and 坂地, 泰紀},
  booktitle={第20回テキストアナリティクス・シンポジウム},
  url={https://ken.ieice.org/ken/paper/20230906NCwg/},
  year={2023}
}