大規模言語モデル（LLM）とは - WOR(L)D ワード

　大規模言語モデル（LLM：Large Language Models）とは、テキストデータを対象とする多様なタスクで高い性能を発揮する機械学習モデルです。ニュース記事の生成、トピック分類、チャットボットといったさまざまな用途で活用が進んでいます。代表的なLLMとして、OpenAIの「GPT」、Googleの「PaLM」などがあげられます。特にGPTはChatGPTの中核として活用が進んでいます。

　大規模言語モデルは、文章に登場する単語やフレーズの登場確率を統計的に学習した「言語モデル」を巨大化させたものです。人工知能（AI）の世界では「スケーリング則」と呼ばれる重要な法則があります。これは2020年にOpenAIから報告された法則であり、「モデルサイズ」、「学習に使用するデータ量」、「計算機資源」を増やせば増やすほど人工知能は高性能になるというものです。このスケーリング則を参考に言語モデルを巨大化させることで、自然言語処理モデルの性能が飛躍的に向上しています。その成功例の1つが、OpenAIの開発したGPTと言えるでしょう。

　スケーリング則に従った性能の向上には現時点では明確な限界が見えておらず、モデルの巨大化により更なる性能向上が予想されています。一方で、モデルの巨大化には「電力」「GPU資源」「冷却装置」といったさまざまなコストが要求されます。そのため、「従来と同じサイズのモデルの省電力化」や「中規模言語モデルの高性能化」といった研究開発も注目されています。

レポート・コラム

大規模言語モデル（LLM）

関連するウェビナー

関連するITソリューション

レポート・コラム