< back English ver.

日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング

鈴木 雅弘, 平野 正徳, 坂地 泰紀

[Preprint] June 23, 2023

Abstract

本研究では，日本語インストラクションデータを用い，日本語と英語のそれぞれをベースにした大規模言語モデル (LLM) に対してLoRAチューニングを行った．チューニングしたモデルに対し定量と定性による両面から評価を行い，日本語インストラクションデータによるチューニングの効果を確認した．また幅広いインストラクションデータや実際のモデルが出力した文字列による評価の必要性など，日本語における大規模言語モデルや言語資源における課題を明らかにした．

Keywords

大規模言語モデル; 日本語; インストラクションチューニング;

doi

10.51094/jxiv.422

bibtex

@preprint{Suzuki2023-llm-ja,
  title={{日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング}},
  author={鈴木, 雅弘 and 平野, 正徳 and 坂地, 泰紀},
  doi={10.51094/jxiv.422},
  year={2023}
}