大和総研コーポレートIT部の城石賢蔵です。
大和総研ではMicrosoft Azure（以下、Azure）、AWS、Google Cloud、Oracle Cloud Infrastructureなどのパブリッククラウドを用途に応じて使い分け、さまざまなサービスを提供しています。またMicrosoftのSaaSであるMicrosoft 365（Exchange Online、SharePoint Online、Teams）やPower Platform（Power Automate、Power BI）を社内業務の効率化のために利用しています。
SaaSの運用管理における課題の1つに「ログデータの管理」があります。
Microsoft 365とPower Platformでは操作履歴が「監査ログデータ」として蓄積され、各サービスの管理ポータル上で参照することができます。監査ログデータは「設定操作の事後監査」や「サービスの利用状況の集計・分析」などに利用できます。
ただしログデータを抽出して他のサービスやプロダクトで利活用するためには、管理ポータルから手動でエクスポートするか、REST APIなどのインタフェースを使用する必要があります。また、エクスポートしたログデータを「どこに」「どのようにして」保管するかも重要な命題です。
大和総研ではMicrosoft Sentinel（以下、Sentinel）をMicrosoft Azure（以下、Azure）と組み合わせ、Microsoft SaaSのログデータをコーポレートデータプラットフォーム（自社が保有するデータを適切に蓄積・加工・分析できるようにするためのデータ活用基盤。詳しくは先行ブログ「Microsoft Azureのセキュリティ対策のポイント」、「Microsoft Azureで実現するクラウドへのセキュアなデータ連携」をご覧ください）上で「セキュアに長期保存」するという運用を行っています。また、連携したログデータを「利活用を効率化するために一次加工」し「ビジネスインテリジェンス（以下、BI）ツールを利用してレポート化」するという取り組みを開始しています。
このようにMicrosoftのサービスを連携活用することには大きなメリットがあります。大和総研の取り組みの中で見えてきた連携活用のポイントを本ブログで紹介します。
Microsoft 365の運用管理をされているシステム担当のみなさんのご参考となれば幸いです。
なお大和総研ではMicrosoft 365、Azureをはじめ、AWS、Google Cloud、Oracle Cloud Infrastructureなどのパブリッククラウドの導入に関するご相談を承っております。ぜひご用命ください。
- はじめに - ソリューションの全体像（ログデータの連携経路と利活用例）
- ポイント① - Sentinelデータコネクタ：ログデータをAzureログ管理用ワークスペース（Log Analytics Workspace）に自動連携
- ポイント② - Log Analytics Workspaceデータエクスポート：ログデータをクラウドストレージ（Azure Data Lake Storage）に自動エクスポート
- ポイント③ - Azure Data Factory：データ利活用の効率化のためにデータを一次加工
- ポイント④ - Power BI：データの自動更新機能を備えたレポートでデータ集計・分析結果を公開
- おわりに
- 関連するITソリューション
はじめに - ソリューションの全体像（ログデータの連携経路と利活用例）
今回紹介するログデータの連携経路は下図の通りです。
「Sentinelデータコネクタ（①データ抽出、②データ格納）」と「Log Analytics Workspaceデータエクスポート（③ログデータエクスポート）」を利用してMicrosoft 365とPower PlatformのログデータをAzureのクラウドストレージ（Azure Data Lake Storage）へ連携します。
出所：大和総研作成
そしてログデータの利活用例には「Azure Data Factoryによるデータの一次加工」と「Power BIによるレポート化」があります。この2つについては章「ポイント③ - Azure Data Factory：データ利活用の効率化のためにデータを一次加工」および章「ポイント④ - Power BI：データの自動更新機能を備えたレポートでデータ集計・分析結果を公開」で詳しく紹介します。
この構成のもとでログデータを運用することには以下の3つのメリットがあります。
- Azureにセキュアに連携できる
ログデータの伝送はAzureグローバルネットワーク（Microsoftサービス間通信）の内部で完結し、公衆インターネットを経由することはありません - Azureでセキュアに保管できる
ログデータをプライベート化した（ネットワーク閉域化技術により公衆インターネットから隔離した）クラウドストレージに保管します - 他のサービスやプロダクトにスムーズに連携できる
ログデータをファイルとして保管するため、他サービス・プロダクトへの連携を柔軟に行うことができます。また利活用に先立ちAzure Data Factory（データ統合サービス）を使用してデータを任意に加工することができます
なお、上にあげたメリットの「1.」「2.」については先行ブログ（「Microsoft Azureのセキュリティ対策のポイント」、「Microsoft Azureで実現するクラウドへのセキュアなデータ連携」）で詳しく紹介しています。ぜひご一読ください。
ポイント① - Sentinelデータコネクタ：ログデータをAzureログ管理用ワークスペース（Log Analytics Workspace）に自動連携
SentinelはクラウドネイティブのSIEM（Security Information and Event Management）ソリューションです。セキュリティ情報やセキュリティイベントの管理のためのさまざまな機能を持ちますが、本ブログではデータコネクタ機能に焦点を当てます。
- Microsoft Sentinel – クラウドネイティブの SIEM ソリューション | Microsoft Azure
- Microsoft Sentinel データ コネクタ | Microsoft Learn
データコネクタにより、Sentinelが収集したデータはリアルタイムでAzureログ管理用ワークスペース（Log Analytics Workspace）に自動的に連携されます。
SentinelにはMicrosoftサービスのデータを連携するためのデータコネクタが標準実装されています。大和総研のコーポレートデータプラットフォームでは下表にあげたデータコネクタについて試験運用を完了し、順次本格運用を開始しています。
コネクタ |
ログテーブル（ログデータセット） |
格納データおよび特記事項 |
|---|---|---|
| Microsoft 365 | ・Microsoft 365テナント監査ログ | 下記サービスの監査ログを格納 ・Exchange ・SharePoint ・Teams 上記以外のサービスのサポートは開始されていない |
| Entra ID | ・Entra ID監査ログ | 下記に関するシステムアクティビティログを格納 ・ユーザとグループの管理 ・マネージドアプリケーション ・ディレクトリアクティビティ |
| ・Entra IDユーザサインインログ | ユーザによるEntra IDへのサインインログを格納 | |
| Power Automate | ・Power Automate監査ログ | Power Automateに関連するアクティビティの追跡のための監査ログを格納 パブリックプレビュー中 |
| Power BI | ・Power BI監査ログ | Power BIに関連するアクティビティの追跡のための監査ログを格納 パブリックプレビュー中 |
出所：Microsoftの2024年2月時点の公開情報（Microsoft Learn）を基に大和総研作成
データコネクタの運用には注意したいポイントがあります。
- サービスステータス
2024年2月時点で「パブリックプレビュー中」のステータスであるものが複数あります。またサービスを正式開始していても、連携元サービスが生成する全ての種類のログをサポートしていないケースがあります。そのためコーポレートデータプラットフォームでは試験運用により「連携可能なログの種別や範囲を正確に把握したうえで」本格運用を開始しています。 - 利用料金
データコネクタの利用料金は「ログテーブルの種類（課金対象であるか否か）」と「連携したデータの容量」に基づいて決定されます。Microsoft 365やEntra IDなど一般的に利用頻度の高いサービスは、生成されるログが多量となるため、利用料金が高額になりやすいです。利用料金についても試験運用のなかで把握しておくことが推奨されます。 - 権限（ロール）
Microsoftサービス用のデータコネクタの場合、設定操作のために2種類の権限が必要です。
①AzureにおけるSentinelとLog Analytics Workspaceの操作権限（Azureロール）
②ログデータの連携元サービスの操作権限（Entra IDロール）
ポイント② - Log Analytics Workspaceデータエクスポート：ログデータをクラウドストレージ（Azure Data Lake Storage）に自動エクスポート
Log Analytics WorkspaceはAzure MonitorやSentinelなどの監視ソリューションが収集するログデータを管理するためのクラウドワークスペースです。
Azure Monitorはクラウド環境とオンプレミス環境の両方に対応した監視ソリューションであり、大和総研のコーポレートデータプラットフォームでは運用開始当初からAzure各サービスのログデータの収集のために利用しています。
Sentinelの導入により、Azure各サービスのログ、Microsoft 365各サービスのログ、そしてPower Platform各サービスのログを1つのLog Analytics Workspaceで一元管理できるようになります。
さて、Log Analytics Workspaceについてログデータの利活用という観点で述べると、同ワークスペースではKustoという照会（クエリ）言語を使用してログデータを精密に集計・分析することが可能です。しかしインタフェースはKustoクエリやREST APIなどに限られるため、他サービスやプロダクトへのデータ連携に適しているとは言えません。
そこでコーポレートデータプラットフォームではデータエクスポートという機能を追加導入しました。
データエクスポートとはLog Analytics Workspaceに伝送されたログデータをAzureイベントハブ（Azure Event Hubs）やAzureストレージに自動的にエクスポートする機能です。エクスポートされたデータはファイルとしてストレージ上に保管されます。
コーポレートデータプラットフォームを運用する上で、当該機能には2つの課題がありました。
課題A：全てのログテーブルをサポートしていない
2024年2月時点でデータエクスポート機能はLog Analytics Workspaceの全てのログテーブル（ログデータセット）をサポートしていません。目的とするログテーブルがサポート対象であるか否か、Microsoftの公開情報により事前に確認する必要があります。
なお表1にあげたログテーブルについては全てサポートの対象です。また、Azureストレージに対してはデータエクスポートが正常に行われることをコーポレートデータプラットフォームの実環境において確認しています。
課題B：エクスポートデータの構造を指定できない
エクスポート先をAzureストレージとする場合、データはJSON形式のファイルとして、5分間隔でストレージに出力されます。エクスポート後のデータの構造を変更することはできません。
データエクスポートの即時性（データが発生してからファイルに出力されるまでの時間の短さ）は十分と言えます。しかし、エクスポートされたデータを「ファイルとして」運用するにはさらに2つの課題がありました。
a) ファイルに格納されるログデータの属性情報（ログレコードの生成日時の情報など）がエクスポート先コンテナのディレクトリツリー上の各フォルダ名にセットされる。コーポレートデータプラットフォームでは階層型名前空間（ディレクトリツリー構造）を有効にしたAzure Data Lake Storageを運用しているため、ディレクトリツリーの構造は図2の通り複雑となり、コンテナを外部から参照して目的とするファイルを特定する際に考慮が必要になる。
b) Microsoft 365監査ログデータの場合複数のサービスのイベントログが1ファイルに格納されることになるため、5分単位に分割されていてもファイル容量は大きくなる。
出所：大和総研作成
以上の課題を解決しデータを「使いやすく」するため、「Azure Data Factoryによるデータの一次加工」というプロセスを追加しました。ポイント③で詳細に説明します。
ポイント③ - Azure Data Factory：データ利活用の効率化のためにデータを一次加工
Azure Data Factoryはデータ統合サービスです。先行ブログ「Microsoft Azureで実現するクラウドへのセキュアなデータ連携」では「データ連携」機能について紹介しましたが、本ブログでは「データ加工」機能に焦点を当てます。
Azure Data Factoryの機能の1つである「マッピングデータフロー」により、データをさまざまなかたちに変換することができます。
一例として、Microsoft 365監査ログデータの一次加工（集約・分割）のフローを以下に紹介します。
A) データ集約
加工前のデータ（5分間分のログデータを格納するJSONファイル）を読み込み、1週間分のログデータを格納する集約後データを生成する。
B) データ分割
集約後データの項目「イベント種別」を基準としてデータをイベント別に分割し、個別のJSONファイルに出力する。
下図は加工前データと加工後データの構成の抜粋です。Microsoft 365監査ログデータ（Exchange、SharePoint、Teamsで発生した各種イベントのログを格納）から「SharePoint – ファイルアクセスログ」「SharePoint – ファイル編集ログ」の1週間分のデータが格納されるファイルを生成していることを表しています。
なお、Microsoft 365監査ログには多数のイベント種別があり、実環境ではより複雑な分割処理を行っています。ここであげたものは一例に過ぎませんのでご注意ください。
出所：大和総研作成
データの一次加工により、目的とするログデータにアクセスしやすくなりました。またファイルを目的別に分割したことにより、連携にかかる時間やリソースを最適化することができました。
ポイント④ - Power BI：データの自動更新機能を備えたレポートでデータ集計・分析結果を公開
ログデータの利活用の一例として「Power BIレポートによるデータ集計・分析結果の公開」を紹介します。
Power BIはビジネスインテリジェンスのための統合プラットフォームです。大和総研のコーポレートデータプラットフォームではMicrosoft 365とPower Platformの監査ログデータから各サービスの利用状況・利用傾向を集計・分析し、レポートとして社内公開する運用の準備を進めています。
コーポレートデータプラットフォームでは図4の通り環境を構成し試験運用を行っています。この構成には以下の3つのメリットがあります。
- Microsoftのプライベートネットワーク化技術（ネットワーク閉域化技術）を活用してレポートをセキュアに作成できること
- 同上の技術を活用してレポートをセキュアに公開できること
- 同上の技術を活用して「レポートデータのセキュアな自動更新」を実現できること
レポートの作成から公開までのフローには3つのポイントがあります。
A) レポートの作成
レポートの作成は社員用端末においてPower BIのクライアントツールである「Power BI Desktop」を使用して行います。レポートの作成にあたりPower BI DesktopからコーポレートデータプラットフォームのAzure Data Lake Storage内のデータに直接アクセスしますが、Azureのプライベートネットワーク（Azure ExpressRoute、Azure Virtual Network、Private Link）を使用するためセキュリティは保たれます。
B) レポートの公開
Power BI DesktopからPower BI（パブリッククラウドサービス）へのレポートデータの発行も上記したプライベートネットワークを使用します。
また、2024年2月時点ではレポートは社内のみに公開する方針としており、「大和総研の企業内ネットワークからのプライベートネットワークを経由するアクセス」以外のアクセスを禁止しています。
さらに、レポートのアクセス認証にEntra IDのアカウント情報とグループ情報を利用することによって、社員や部署の単位での厳密なアクセス権限設定を実現しています。
C) レポートデータの自動更新
オンプレミスデータゲートウェイというゲートウェイサーバをAzure Virtual Network内に配置することによって、Azure Data Lake Storage内のデータに基づいてレポートデータを「セキュアに」「定期自動更新」する体制を実現しています。なお、オンプレミスデータゲートウェイは利用者側で保守を行わなければならないリソースであり、アプリケーションと仮想マシン（Azure VMなど）の保守コストが発生しますので注意が必要です。先行ブログ「Microsoft Azureで実現するクラウドへのセキュアなデータ連携」で紹介したAzure Data Factory用「セルフホステッド統合ランタイム」と同種のアンマネージドリソースです。
出所：大和総研作成
コーポレートデータプラットフォームではPower BIを標準BIツールとし、活用を推進する方針です。
また、Power BI以外のBIサービス、BIプロダクトの導入も検討しています。各サービス・プロダクトのクロスレビューも追って記事化します。
おわりに
今回は「Microsoft SaaSサービスのログデータ連携・利活用」をテーマとしてMicrosoftのパブリッククラウドサービスの連携活用の事例を紹介しました。
今回紹介したSentinelは多機能なサービスであり、注目しています。焦点を当てたデータコネクタに関してもMicrosoftサービスのログデータだけでなく、「SysLog」などの標準規格に準じたログデータの収集にも対応しています。ログデータの収集範囲を他のパブリッククラウドサービスやインターネットサービスに拡大することも検討しています。
大和総研はこれからもパブリッククラウドサービスの調査、検証、導入のサイクルを進めていきます。成果は順次ブログにて発信します。どうぞご期待ください。
（本ブログの内容は2024年2月時点のものです）
関連するITソリューション
大和総研では、Azure等のパブリッククラウドを活用したデータ利活用・データ分析基盤構築支援サービスを行っています。ITソリューションサービスサイトからお問い合わせください。
データ利活用・データ分析基盤構築ソリューション｜大和総研 (dir.co.jp)
※Microsoft 365、Power Platform、Azureは、米国 Microsoft Corporationの米国およびその他の国における登録商標または商標です。
