by 臼田勤哉
日本経済新聞社は、経済情報に特化した大規模言語モデル「NIKKEI Language Model(NiLM・にるむ)」を開発した。
インターネット上の公開情報は利用せず、約40年分の日本経済新聞や日経産業新聞、日経MJ、日経ヴェリタス、NIKKEI Prime、日経BPの各媒体など、日本経済新聞社グループが著作権や使用権を持つ記事のみを使用し、日本の経済情報に専門特化した言語モデルとなる。
4月時点では、一般公開されているモデルを起点としない独自の事前学習を完了。最大で130億パラメーターのモデルを構築して性能を検証している。
また、最大700億パラメーターのモデルをファインチューニングした大規模言語モデル(LLM)の開発も完了。記事要約や最新ユースに関する知識など、社内の独自タスクにおいて性能改善を確認した。また、MetaのLlama 2の700億パラメーターモデルやLlama 3の80億パラメーターモデルなどをベースにデータを追加学習させている。
現在学習に利用している記事のみでも、WikipediaやCommon Crawlなどのデータセットを用いず、日本語コーパスのトークン量は約1億規模となり、「日本経済新聞社グループにしかできない最高品質の大規模言語モデル」としている。
今回開発したモデルは、日経イノベーション・ラボによるAIプロダクト群の研究開発などでの利用を検討。経済に専門特化したLLMを今後様々な研究開発で利用する。
