こんにちは。CHEQUERのCore/Cloud PlatformチームリーダーのAndrewです。本記事では、検索データシステムと企業データシステムのアーキテクチャの変化について説明し、これらの変化を基に検索技術がセキュリティ領域でどのように活用されているのかについて解説します。

特に約20年間にわたり、検索ドメインで培ってきた私の経験を基に、企業セキュリティの未来とQueryPie製品の発展の方向性に関する私の見解も一緒に紹介したいと思います。

‍

検索データシステムのアーキテクチャの変化‍

検索技術は、ユーザーの問い合わせに対する正解を迅速に見つけるため、データを事前に索引付けするシステムです。索引は、様々なソースからデータを収集、分類および加工するプロセスを経て作成され、関連システムは大容量データを処理するために分散システムで構成されます。詳しくは、AWSが発行したホワイトペーパーに掲載されたストリームアーキテクチャ(リンク)の概念をご参照ください。

検索データシステムのアーキテクチャは多くの進化を経て、現在は検索にディープラーニングを融合させるさまざまな試みが行われています。類似文章の検索、関連画像の検索、動画推薦などにスピーディーに適用されているのが、その代表例です。

かつては単純なETL形式でデータを専用ストレージに集め、定期的に索引付けするプロセスが一般的なものでした。しかし、技術の発展と共に、ビッグデータ分析のためのHadoop (ハドゥープ)システムの導入や、さまざまなクラスタリングおよび分析作業が活性化し、検索の精度が著しく向上しました。

その後、検索にディープラーニングが適用されるにつれ、インファレンスシステムが構築され、ディープラーニングに基づく結果物がビッグデータ・クラスタリングおよび分析に利用されるようになり、自然言語に基づく検索技術を乗り越えて、様々な領域で活用されるきっかけとなりました。検索データシステムのパイプラインが、様々なニーズに持続的に対応するのに適した構造へと進化したのです。

‍

‍

‍

企業データシステムのアーキテクチャの変化‍

デジタルトランスフォーメーションの時代に合わせて、企業のデータシステムのアーキテクチャも変革を遂げました。これは、クラウドベースのサービスへの移行、データ中心の意思決定の採用、リアルタイムデータ処理および分析の必要性の増加、AIと機械学習の統合、柔軟性と拡張性を重視した運用、マルチおよびハイブリッドクラウド戦略の策定、そしてAPIおよびマイクロサービスベースのアーキテクチャへの移行を加速させます。

このような企業データシステムのアーキテクチャの変化を理解することは、セキュリティ領域で極めて重要です。特に、機微データのフローとその過程で使用される様々なシステムのアクセス制御方法について、踏み込んで考える必要があります。例えば、SaaSシステムやNoSQLに機微データを保存する場合や、ディープラーニングの学習データから機微データを除外する場合、Kubernetes（k8s）システムを使用したプライベートクラウドを構築する場合など、様々な状況において、アクセス制御システムの開発は不可欠です。

‍

‍

予防的な推薦方式で進化を遂げるセキュリティ技術‍

セキュリティ技術も、検索技術と非常に類似したアプローチを持っています。セキュリティ技術は、様々なソースやシステムで生成されたデータを収集・分類・加工し、タグ付けすることによって、セキュリティ担当者に現状を知らせ、必要なときに適切な措置を取らせる推薦システムの一種です。現在はルールに基づいて既知の脅威を制御していますが、これからは潜在的な脅威となる要素を先に見つけ出し、事前に防いで備える方向へと進化することが期待されています。

また、アクセス制御システムにおいても、ユーザーの行動を高次元のベクトル空間に変換するエンベディング技術を適用することができます。ネットショッピングプラットフォームやストリーミングサービスでユーザーの検索、購入、視聴行動をエンベディングして、個別化された推薦サービスを提供するのと同様の方法です。

このプロセスで、正常なユーザー行動は似た特性を共有するベクトル空間にクラスタ化され、異常な行動は別のベクトル空間に位置してエンベディングされます。この際、異常なベクトルを迅速に識別し、該当する状況に適した対応策をセキュリティ担当者に推薦することで、事前に適切な措置が取れるようにサポートすることができます。

機微データに対する制御方式も同様です。セキュリティ担当者がシステムの変化に応じ、定期的にデータを調査して設定するのではなく、自動化されたシステムに基づいてデータを分類・タグ付けし、セキュリティ担当者に適切な対応策を推薦する方向に発展していくでしょう。

セキュリティ技術は、現在の企業システムの変化に敏感に対応できる方法へと変化しており、CHEQUERもこの方向性に合わせたQueryPie製品の開発を進めています。検索ドメインで様々なシステムを運用してきた私の経験を基に、この時代が求める最適なセキュリティ製品を継続的に提供できるように頑張っていきます。CHEQUERの今後の動きに多くのご関心と激励をお願いします。

それでは、興味深いテーマでまたお会いしましょう。ありがとうございました。