クラウドセキュリティ製品の技術検証での気づき

目次

• はじめに
• 対象読者
• 注意事項
• 気づき
• まとめ

はじめに

　こんにちは。DTSクラウド活用推進担当の芹澤です。主に最新技術の技術検証を担当しています。

　今回は、クラウドセキュリティ製品(SaaS製品)の技術検証における複数製品の比較評価分析における気づきを簡単にまとめてみました。

対象読者

　複数製品の技術検証・評価・分析について興味のある技術者

注意事項

　本記事はあくまで当社における参考事例となります。ご自身が携わるプロジェクトや要件に沿った形で、必要に応じて参考にして頂けますと幸いです。

　記事の内容は、汎用的な内容になるように心掛けています。例としてクラウドセキュリティ領域を取り上げています。

気づき

　検証・評価・分析の3つの観点でまとめました。

１．検証

・複数の製品を検証する

　複数の製品を検証することで、個々の製品の特徴が浮かび上がります。最初の製品のテストではわからなかった製品の長所や短所が、他の製品の検証の過程でわかってくることがよくあります。

・検証は再現性を確保

　検証資材や手順は、IaCコード化や自動化するなどで再現性を確保します。再現性はテストの品質と効率性に寄与します。

・つまずきポイントは、ドキュメントに残す

　エンジニアにとってよくあることだと思いますが、一般公開された資料や手順の通りにテストしても、思う通りにうまくいかないことに直面します。うまくいかなかった箇所と調べた解決方法は、技術補助資料としてまとめることで、再発によるタイムロスを防ぎます。資料は公式ドキュメントの情報やURLを引用したうえで補足情報とします。重複記述を避ければ、将来のドキュメント更新の手間を減らせます。

２．評価

・評価項目

　評価項目を、定量的、定性的の2種類に分けて評価します。

・定量的評価

　製品の個々の機能の検証結果を基に、評価項目を設け、定量的に評価します。定量的とは尺度を数字にすることです。評価基準を明確にすることで、製品を比較しやすくします。

　定量的評価項目には例えば以下の様な項目があります。

　・製品が対応するフレームワークの件数

　・対応するクラウドプロバイダの種類と数

　・デフォルトのポリシー件数

・定性的評価

　人間の直感的な感覚などは、なかなか数字に置き換えられません。これらも評価対象としたい場合は、定性的な評価項目とします。人による判断のぶれがおきないよう、評価指標を、具体的な日本語で定義します。

　評価時には、判定理由のコメントを入れます。担当や評価者が製品で異なる場合は、レビューで評価基準のすり合わせを行います。

　定性的な項目も評価に盛り込む理由は、利用者や意思決定者にとって、これらも重要な要素となることもあると考えるためです。

　ドキュメントや、スペックや理論値、机上ではわからない、使ってみたことの実感も、評価結果としてまとめます。

　定性的評価項目には例えば以下の様な項目があります。

　・UIが直観的にわかるか

　・UIの操作が快適か

　・ドキュメントの判読の容易性

・グルーピング

　評価の結果内容を分析するために、評価項目をグルーピングします。グルーピングは、業務の工程で分類するとわかりやすくなります。

　CNAPP製品のグルーピングには例えば以下の様な項目があります。

　・検出

　・防御

　・調査

　・フォレンジック分析

　・対応

・評価表

　グルーピングできたらマトリクス形式で、評価表を作成します。不足があれば、追加で検証を行い、評価表を充実させます。

３．分析

・分析結果レポート

　分析した結果をレポートにまとめます。

　評価表から製品の強みなどを分析します。レポートにまとめる際には、模式図とレーダーチャートが有効です。

・模式図

　製品の複雑な機能については、個別に模式図を作成することは有効です。ここでいう模式図とは、製品のホームページやマニュアルに掲載されたアーキテクチャ図や構成図ではなく、機能の原理的な模式図という意味です。

　例：コンテナの脅威検出を行うメカニズムの模式図（サンプル）

・レーダーチャート

　一般的な手法ですが、レーダーチャートは有効です。評価結果を数値としてポイント化し、グルーピングした項目でチャート化します。

　例：レーダーチャートのイメージ図（サンプル）

まとめ

　最後まで読んでくださり、ありがとうございます。

　複数の製品を比較検証するには、多角的な評価と分析が必要になります。今回の記事にしたことで、自分の中でも再度整理が行えてよかったです。

　この記事が、技術検証・評価・分析に携わる方にとって、すこしでも参考になれば幸いです。