大規模監査ログの効率的な保存と管理（OVEN）

3. 必要最小限の機能提供

• 監査ログの特性を考慮し、必要な機能のみを提供し、不必要な機能は排除します。
• 監査ログは保存後に修正されず、明示的な削除も不要です。
  • 保存および検索機能のみを提供します。
• 監査ログは時系列順で保存され、時間範囲内でのリスト検索機能のみを提供します。

詳細説明

Diary Overview

監査ログ管理に必要な機能のみを提供

監査ログは保存後に変更されず、明示的な削除も必要ありません。したがって、保存と検索機能のみを提供します。

• 保存 (WRITE)

  • 監査ログは、速い書き込み性能を持つ HotStore に保存されます。
  • 保存されたログは一定期間経過後、ColdStore に時間単位でまとめて移動します。

• 検索 (READ)

  • 監査ログを検索します。
  • 検索は、時間範囲内でリストに対する検索機能のみを提供します。

内部の保存空間に依存しない一貫した検索機能を外部に抽象化して提供します。

大容量ログを効率的に保存するため、BLOB ストレージと連携

ColdStore に移動されたログは、内部の Cabinet Blob ストレージに保存されます。

• Cabinet は Blob ストレージとして、S3 などのオブジェクトストレージと連携してログデータを保存します。
• Blob ストレージに保存された監査ログは、WORM（Write Once Read Many）特性を持っており、保存されたログデータは変更できず、検索のみが可能です。

検索および外部連携のためのデータ保存形式

監査ログでは、ロググループ名と保存された時系列時間情報が最も重要で、検索時には必須の情報となります。

• 大容量のログデータを保存し、検索する際には、一般的に使用されるパスベースのパーティショニングを使用して、検索および外部連携を容易にします。

  • collection=${COLLECTION}/date=${DATE}{HOUR}.gz
    • ロググループ名
      • ${COLLECTION}
    • 時間
      • ${DATE}: ログが保存された日付
      • ${HOUR}: ログが保存された時間
  • 例
    • collection test-log
      • 保存されたログ: 2024年1月1日 19:00:00 〜 2024年1月2日 01:00:00 (UTC)

  Collection	Date	Hour
  collection=test-log/	date=2024-01-02/	01.gz
  		02.gz
  	date=2024-01-01/	23.gz
  		22.gz
  		21.gz
  		20.gz
  		19.gz

  
  

  上記のパスベースのパーティショニングは、外部 OLAP ストレージと連携してログデータを効率的に検索するための方法です。

  • 以下は、Athena を使用して S3 に保存された Diary ログを直接検索および分析する例です。

  Athena連携およびクエリ例

  • Example: S3に保存されたDiaryログのAthena連携テーブル作成例

  CREATE EXTERNAL TABLE test_log (
      `record_uuid` STRING,
      `created_at` STRING,
      `data` STRUCT<
          msg: STRING,
          time: STRING,
          level: STRING,
          request_id: STRING,
          operation_id: STRING
      >
  )
  PARTITIONED BY (
      `date_created` STRING
  )
  ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
  STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
      OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
  LOCATION 's3://${S3_BUCKET_ROOT_PATH}/collection=test-log/'
  TBLPROPERTIES (
      'classification' = 'json',
      'compressionType' = 'gzip',
      'projection.enabled' = 'true',
      'projection.date_created.type' = 'date',
      'projection.date_created.format' = 'yyyy-MM-dd',
      'projection.date_created.interval' = '1',
      'projection.date_created.interval.unit' = 'DAYS',
      'projection.date_created.range' = '2024-12-01, NOW',
      'storage.location.template' = 's3://${S3_BUCKET_ROOT_PATH}/collection=test-log/date=${date_created}/'
  );
  
  

  • 連携テーブル作成後、SQL を使用した照会および分析の例

  SELECT date_created, data.level, count(*)
  FROM test_log
  GROUP BY date_created, data.level
  ORDER BY date_created, data.level;
  
  

  
  
  
  
  

  内部照会パフォーマンスのためのブルームフィルター

  照会時に時間範囲外のログデータをフィルタリングする機能が必要です。

  • ColdStore には 1時間単位で大量のログが Blob 形式で保存されているため、フィルタリング条件を満たさない Blob データを照会するのは性能的に非効率です。
    • 各時間単位の Blob に対してブルームフィルターを作成し、フィルタリング条件を満たさない Blob をスキップすることで、照会性能を向上させます。
  • ブルームフィルターは、確率的に False Positive が発生する可能性がありますが、False Negative は発生しないことが保証されています。
    • 上記の特性を利用して、確実に存在しない Blob はスキップし、存在すると誤検出された False Positive Blob は Blob が照会されるだけで、ロジック内で再度フィルタリングされます。
  
  
  

  ブルームフィルターを利用した不必要なアプローチをスキップした性能向上と False Positive の例 (出典: https://en.wikipedia.org/wiki/Bloom_filter)

  
  

  結論と期待される効果

  QueryPie の新しい監査ログモジュール「OVEN」は、既存の監査ログの保存と管理に関する以下の2つの問題を解決するために設計されました。

  • 大容量ログ管理の効率性
  • 外部連携の効率性

  監査ログ管理モジュール OVEN は、S3 のような大容量ストレージと連携し、保存および照会に関する機能を一貫したインターフェースで提供し、開発の利便性を高めます。さらに、外部連携を考慮した設計により、Athena や Hive などの OLAP ストレージと即座に連携でき、大規模なデータ分析作業を容易に処理できます。

  
  
  
  
  

  従来の監査ログ保存管理に比べ、OVEN は以下の効果が期待できます。

  1. コスト削減
  • AWS S3 を活用した Blob ストレージで、大規模データを経済的に管理できます。
  2. 大規模監査ログの保存・照会機能開発の利便性
  • 監査ログの保存および照会に必要な機能のみを提供し、開発および運用の複雑さを削減できます。
  • 内部ログが保存される HotStore / ColdStore の種類は OVEN 内部で管理されており、ログを保存または照会する開発者はこれを意識する必要がありません。
  3. 拡張性と互換性
  • 標準化されたデータ構造により、Athena や Hive などのツールと即座に連携可能で、大規模データ分析作業を簡単に処理できます。
  • 外部連携を考慮した設計により、さまざまな分析および可視化ツールとの統合が柔軟に行えます。

  今後

  現在、S3 および S3 互換ストレージの中で MinIO を正式サポートしており、今後さまざまな大規模ストレージとの連携をテストおよびサポートする予定です。

  S3互換ストレージサポート (正式サポート、テスト中)

  • AWS S3 (正式サポート)

  • MinIO (正式サポート)

  • Google Cloud Storage (サポートテスト中)

  S3非互換ストレージサポート (予定)

  • Azure Blob Storage (予定)
  • Ceph (予定)
  • Swift (予定)

  また、外部連携のための標準的なガイドと例を提供し、さまざまな分析および可視化ツールとの連携を容易にサポートする予定です。

  外部連携ガイドおよび例

  1. 効果的なリアルタイムデータ可視化連携のための Lambda を利用した OpenSearch 連携、Kibana 可視化例
  2. DataWarehouse ETL 用の Athena / EMR(Spark) を利用したデータ分析パイプライン構築ガイド