時系列基盤モデルとは、株価や為替、気温等の時系列データを大量に用いて事前学習された、さまざまな時系列予測に特化した機械学習モデルです。
本記事では、時系列基盤モデルとは何か、どのようなことができるのか、そして今後の展望について詳しく解説します。
時系列基盤モデルとは
時系列基盤モデルとは、大規模な時系列データを用いて事前学習された、時系列データの予測に特化した機械学習モデルです。経済や天候等の広範な時系列データで事前学習されているため、追加学習することなくさまざまな時系列データについて過去の情報から未来を予測することができます。近年、ChatGPTをはじめとする大規模言語モデル（以降、LLM）により自然言語処理モデルの精度が大きく向上したことを受け、時系列予測の分野でも、どのような時系列データにも対応可能な大規模な基盤モデルを作る動きが広がっています。また時系列基盤モデルには予測タスクだけでなく、異常検知や分類のタスクを行えるモデルも存在します。
時系列基盤モデルが研究され始めた背景
近年、時系列予測の分野では、深層学習モデルが ARIMAやGARCH等の古典的な手法を上回る性能を出しています。同時に、自然言語処理の分野ではChatGPTのような大規模言語モデルが急速に発展し、大量のテキストデータを学習することで、追加学習することなくゼロショットで多くのタスクに対応できるようになりました。これらの背景からテキストデータと同じように、大量の時系列データで学習した大規模な基盤モデルは、未知のデータに対しても有用な予測を行うことができるのではないかという考え方が生まれ、時系列基盤モデルが研究されるようになりました。
また、LLMを使った時系列予測も研究されてはいるものの、時系列基盤モデルのサイズは最も小さい7Billionのモデルでさえ、LLMの100分の1～3分の1程度であることから、モデルサイズあたりの性能は時系列基盤モデルの方が優れていると言われています。
公開されている主な時系列基盤モデル
時系列基盤モデルの研究にはGoogle LLC, Amazon.com, Inc, Microsoft Corporation, Salesforce, Inc, IBMといった米国のIT企業がすでに参入しています。2023年10月から論文の公開がはじまり、続々と新しいモデルが開発されています。公開されている主な時系列基盤モデルは表の通りです。
| モデル | モデルサイズ | 開発元 | 論文公開日 | ファインチューニングのコード公開有無 |
|---|---|---|---|---|
| TimeGPT | 未公開 | Nixtla | 2023/10/5 | ○ |
| Lag-Llama | 2.45M | Morgan Stanley, ServiceNow Research, Université de Montréal, Mila, McGill University | 2023/10/12 | ○ |
| TimesFM | 200M | Google Research | 2023/10/14 | ○ |
| Granite Time Series TTM | 805K | IBM Research | 2024/1/8 | ○ |
| Moirai | 14M, 91M, 311M | Salesforce AI Research, Singapore Management University | 2024/2/4 | ○ |
| Moment | 40M, 125M, 385M | Carnegie Mellon University, University of Pennsylvania | 2024/2/6 | ○ |
| Chronos | 20M, 46M, 200M, 710M | Amazon Web Services, UC San Diego, University of Freiburg, Amazon Supply Chain Optimization Technologies | 2024/3/12 | ○ |
| VisionTS | 112M, 330M, 657M | Zhejiang University, State Street Technology (Zhejiang) Ltd, Salesforce Research Asia | 2024/8/30 | ✕ |
| Time-MoE | 113M, 453M, 2.4B | Princeton University, Squirrel Ai Learning, Griffith University | 2024/9/24 | ○ |
| Mamba4Cast | 27M | University of Freiburg, ELLIS Institute Tübingen | 2024/10/12 | ✕ |
| Moirai-MoE | 117M, 935M | Salesforce AI Research, National University of Singapore, The Hong Kong University of Science and Technology | 2024/10/14 | ○ |
| FlexTSF | 61M | Leibniz Universität Hannover, Nanyang Technological University | 2024/10/30 | ○ |
| ElasTST | 未公開 | The Hong Kong University of Science and Technology, Microsoft Research Asia | 2024/11/4 | ✕ |
| UTSD | 未公開 | Nanjing University | 2024/12/4 | ✕ |
出所：大和総研作成
時系列基盤モデルの登場により可能になったこと
時系列基盤モデルの登場によって、これまでの時系列予測モデルでは実現できなかった「ゼロショット予測」、「ファインチューニング」、「ゼロショットでの時系列データの埋め込み表現の作成」の3つが可能になりました。
ゼロショット予測
ゼロショット予測(zero-shot forecasting)とは、未知のデータに対して追加の学習を行わずに予測を行うことです。
例として気温の予測を行う場合を考えてみましょう。既存のモデルであれば、1年分の訓練データを用意し、その訓練データを使ってモデルの学習を行ってから、最新の2カ月分の入力データをもとに、未来の2カ月分の予測を行うというような方法になります（図1）。
一方、時系列基盤モデルであれば、事前学習されているため、訓練データを使ってモデルの学習をする過程が不要になり、最新の2カ月分の入力データを用意するだけで未来の2カ月分の予測を行うことができます（図2）。
ゼロショット予測ができることによって、これまで十分な量（例でいうと1年分）の訓練データが用意できずモデルの学習が行えなかった時系列データでも、時系列基盤モデルであれば予測が可能になります。また、これまで時系列予測は統計手法の専門知識を持った人がデータを分析し、モデルを設計する必要がありましたが、その過程も不要なため、誰でも簡単に時系列予測を行うことができるようになります。
ファインチューニング
ファインチューニングとは、学習済みモデルの一部あるいはすべてのネットワークパラメータを新しいタスクのために微調整する手法です。時系列基盤モデルも学習済みモデルであるため、ファインチューニングが可能です。予測したい時系列データを使ってファインチューニングを行うことで、そのデータに合わせてパラメータを調整し予測精度を上げることができます。
図3はChronos-T5(Small)というモデルでゼロショット予測（紫）とファインチューニングを行ってからの予測（ピンク）をBenchMark IIというデータを使って比較したグラフです。グラフのWQLとMASEはどちらも予測精度を測る評価指標のことです。これらの指標は値が小さいほど予測の誤差が小さく、精度が高いと言えます。
グラフからわかる通りWQLとMASEのどちらの評価指標でもファインチューニングを行ってから予測を行う方が、ゼロショット予測を行うよりも精度が高くなっていることが確認できます。そのため、少量でも訓練データが確保できる場合はファインチューニングを行ってから予測を行うことで、時系列基盤モデルの予測精度が上がる可能性があります。
ゼロショットでの時系列データの埋め込み表現の作成
埋め込み表現（embedding）とは、文章や画像等のデータをAIが扱いやすい数値ベクトルに変換する手法のことです。埋め込み表現を用いることでそれらのデータについてAIを使用して検索や分類ができるようになります。図4は時系列データの埋め込み表現のイメージです。
埋め込み空間では同じドメインの時系列データどうしや、異なるドメインでも関連性のある時系列データどうしの距離が近くなります。
これまでは時系列データを埋め込み表現に変換する場合、事前学習されていない機械学習モデルを使っていました。一方で時系列基盤モデルであれば、ゼロショット予測と同様に追加の学習なしに埋め込み表現を作成することができます。これにより、訓練データが確保できずに埋め込み表現を作成できなかった時系列データでも、埋め込み表現を作成できるようになり、より多くの時系列データの検索や分類が可能になります。また広範なドメインの時系列データを使用して学習していることから、これまで類似性がないと思われていた異なるドメイン間での時系列データの類似性を発見できる可能性もあります。
時系列基盤モデルの今後
時系列基盤モデルが登場した当初はモデルサイズが数百Million程度のものが多かったのですが、2024年9月にモデルサイズがBillionを超えるモデル(注1)が発表されました。このBillionサイズのモデルが既存モデルの精度を超えていることから、今後はモデルサイズを大きくして精度を上げていく方向に研究が進んでいくと考えられます。
また当初は自然言語処理分野からの応用でTransformerベースのアーキテクチャを使っていましたが、画像処理分野のDiffusionベースのアーキテクチャを使った時系列基盤モデルの研究 (注2) も始まっており、今後は時系列基盤モデルに最も適したアーキテクチャが開発されていくことが期待されます。
大和総研では、LLMをはじめとしたAI・データ活用ソリューションの開発を行っています。ITソリューションサービスサイトからお問い合わせください。
参考文献
(注1) Xiaoming Shi et al.「Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts」
https://arxiv.org/abs/2409.16040
(注2) Xiangkai Ma et al. 「UTSD: Unified Time Series Diffusion Model」
https://arxiv.org/abs/2412.03068
関連するソリューション
レポート・コラム
2024年11月1日
金融経済分析を変える自然言語処理の力② 大規模言語モデルの登場と今後の展望 2024年11月01日 | 大和総研 | 島本 高志
