MITRE ATT＆CK評価の導入は、サードパーティによるセキュリティ評価の業界において歓迎すべき出来事と言えます。MITRE ATT＆CKフレームワークによる評価の実践は、セキュリティ業界全体、さらにセキュリティ市場でサービスが提供される個々のセキュリティ製品の進歩を支援する上で待ち望まれた大きな一歩と言えるでしょう。
これらの評価から得られる知見は非常に有益です。しかし一部の専門家を除き、評価結果の正しい理解はそう簡単ではないことも事実です。評価結果の情報は貴重であると同時に密度が高いため、データの確認、解釈、提示などの方法が多岐に及びます（事実、各ベンダから公表されたブログ記事や業界記事からでもその傾向が分かるでしょう）。評価結果の公開後、今後数週間で評価結果のデータ確認作業を続ける必要があるでしょう。
こうした確認作業が進むにつれ、より多くの点が明らかになってきます。当記事では、評価結果についてトレンドマイクロが確認した10の重要ポイントを解説します。
1. 初回の評価結果の重要性
- トレンドマイクロは、初回の全体的な検知率を巡るテストで1位にランクされました。この点で当社は、製品の初期設定を条件にしたテストで検知率トップのベンダと言えます。今回の評価テストで各ベンダは、最初のテスト結果をもとに製品を調整して検知率を高める再テストを実行できました。最終的なMITRE ATT＆CKの評価結果は、すべて製品設定変更後の結果を提示しています。初期設定での検知率を評価すると、当社は、21ベンダ中で最も多く検知領域をカバーしていました。
- こうした製品の調整作業は状況に応じて重要度が異なり、すぐに変更できない仕様の製品であるケースなどの条件も考慮することが必要です。最初のテスト結果から攻撃者の挙動を把握した上で製品を調整することは難しくはないでしょう。しかし現実世界では、攻撃を受けた利用者にそのようなセカンドチャンスは与えられていません。他方、当社も含め各ベンダにとっては製品の改善点を特定する上でこうした再テストは有用であると言えます。
- 当社は闇雲に検知率を高める努力をしていたわけではありません。設定変更に伴う部分を除外しなかった場合でも、91％以上の検知率を示し、参加ベンダ中で第2位を保持していました。
2. 検知項目における優先順位の重要性
- 検知項目には上図のようなさまざまなタイプがあり、それぞれ階層的に示されます。
- 一般検知（General）の場合、不審点が指摘されたものの、この段階では特定の戦術（Tactic）や手法（Technique）は把握されていません。
- 戦術（Tactic）の検知は、戦術（Tactic）の目的（認証情報へのアクセス等）が把握されたことを意味します。
- そして手法（Technique）の検知は、特定の不正な挙動（認証情報の保存等）が把握されたことを意味します。
- 当社は、手法（Technique）に対する検知で優位性を示しており、これは優れた検知項目として認識されています。通常、最初の評価結果で手法（Technique）が識別されれば、それに関連する戦術（Tactic）が自ずと決定されます。特定の手法（Technique）に適用される戦術（Tactic）の項目数は限られているからです。各ベンダの評価結果を比較すると、全体的に戦術（Tactic）の検知が低い傾向にあり、最初に手法（Technique）を識別すべきという点は、全体で共通する優先順位となっています。
- 同様に、手法（Technique）に対する検知と比較して、一般検知（General）が低かった点も肯定的に捉えられます。一般検知（General）は、全般的にファイルのシグネチャに関連付けられており、これはウイルス対策への依存が低いことを意味しています。
- テレメトリーでの高評価も特筆に値します。これによって、セキュリティアナリストは、攻撃者の活動が守るべき情報資産に対してどの程度の広さや深さに及んでいるかという詳細を可視的に把握できるからです。
3. アラート数は多ければ良いというわけではない
- 一般的に検知数と同じ数のアラートが必要であると思われがちですが、実際は、すべての検知が同じ深刻度ではない点から、それらすべてにアラートが必要なわけではありません（個々の検知は攻撃の一部分を対象とするものであり、個別の攻撃全体に向けたものでない点も留意が必要です）。
- このためアラートが多すぎると、逆に利用者側にとってノイズとなり、多数のアラートから最も重要なものを判別することが難しくなります。
- このため、手法（Technique）といった深刻度の高い検知に関連するアラートに注目した場合、当社の評価結果は最小限かつ有意性のあるアラートのみを選択する上での優位性が示されました。
4. 特筆されるMDRサービスの役割
- 当社のMDRサービスのアナリストは「delayed detection」、つまり検知内容の分析による判定に大きく貢献しました。この項目は、自動的に判定される検知ではなく、MDRサービスなど人による対応を伴う領域となります。
- Delayed detectionに関する評価結果からは、他の検知を補完する1つの方法として、MDRサービスの有意性がうかがえました。今回の評価結果にMDRサービスが対象に含まれていたならば、テレメトリーとも連携してMDRサービスが他の検知項目を十分に補完した結果が示されたはずでしょう。
- ただしこの場合、人による対応が伴うdelayed detectionは、単に他の検知項目が逃したものを補完するだけではないという点も留意が必要です。同じ内容の検知が他の項目でも識別される可能性はあり、検知項目の間では重複が存在するからです。
- 当社の検知対象は、人による対応が伴わない場合でも約86％を示し、MDRサービスの人による対応が伴うと91％に増加しました。
5.ブロック機能も評価対象としては必要
- MITRE ATT＆CKの評価では、攻撃からのブロックや保護の機能はテスト対象になっておらず、発生したイベントを検知する製品効果のみに限定され、その意味では攻撃の防止は評価対象ではありませんでした。
- この評価対象の有無はトレンドマイクロにとって重要です。当社の哲学は、できる限り攻撃をブロックして被害を事前に防止することで、利用者側で削除や緩和などの手間を最小化する点にあるからです。今後の改善点として期待しています。
6. Windows以外も評価対象に含まれる必要がある
- MITRE ATT＆CKの評価では、Windowsのエンドポイントとサーバのみが対象であり、例えば、Linuxは対象外となっていました。当社は、Linux向けにも大きな機能を発揮しています。
- その意味では今後、対象となるオペレーティングシステム（OS）がさらに広がることを期待しています。実際、MITRE ATT＆CKでは、次回のテストでLinuxのシステムも対象になることを発表しています。
7. 評価結果が示すトレンドマイクロ製品の方向性
- MITRE ATT＆CKの評価 でまず優先されるべき対象は、前述した手法（Technique）に対する検知など、主要な検知項目と言えます。その上で、相関分析を考慮したさらなる各種検知項目に注目することで、最初の検知結果を超えてどのような攻撃が実際に発生したのかの把握することができます。
- 相関分析の前提となる主要な手法（Technique）に対する検知で当社は満足の行く結果を示しました。この意味では、Detection ＆ Responseの新しいコンセプト「Trend Micro XDR」において当社が注力し、今後提供予定の中核機能である相関分析をアピールする上で好条件の結果と言えます。
- なお、MITRE ATT＆CKの評価では、メールセキュリティを含む相関分析は対象となっていません。当社の相関分析では、MITRE ATT＆CKが対象部分だけでなく、他の対象を含んだ相関分析によるセキュリティソリューションが提供可能です。
8. 製品のさらなる向上に寄与する評価結果
- MITRE ATT＆CKの評価によって得られた知見は、非常に貴重であり、セキュリティソリューションの改善点特定にも役立ちます。当社は、これらの知見に基づいた各種製品の更新にも着手しています。
- また、検知に特化した製品の場合でも、今回の評価結果は、顧客側のSOCの知見を強化し、製品への効果的な設定を支援する情報として役立ちます。
- なお、前述のとおり、MITRE ATT＆CKのテストでは二度目に設定変更が許可されており、これにより検知率が向上しましたが、この点に関してはむしろ、絶えず変化する脅威状況にすばやく適応できることを示したとも言えます。
9. セキュリティ業界全体への貢献
- MITRE ATT＆CKを、評価のフレームワークとして捉えることは重要ですが、それと同時にセキュリティ業界全体で共有し、さまざまな貢献が可能なナレッジベースと認識することも重要であると言えます。
- 攻撃者がどのように振る舞い、何を目的にし、どのような手法を駆使するかといった情報をより良く説明できる共通言語とフレームワークを確保することで、セキュリティ業界全体の向上につながります。
- トレンドマイクロでは、MITRE ATT＆CKのフレームワークのマトリックスに対しても新たな手法等の情報を提供し続けており、同時に当社製品のアラート、検知内容の記述、パラメータの検索といった部分の共通言語としても活用しています。
10. MITRE ATT＆CK本来の目的を正しく理解すること
- MITRE ATT＆CKは、各ベンダの製品に対して点数によるランク付けを行い、単純な優劣を比較するためのものではありません。その点では、他の評価テストやアナリストレポートと異なり、どれが最も優れているかといった業界のリーダー格を決めるためのものではありません。
- MITRE ATT＆CKは、複数の要素から評価されるため、まさしく当記事でも示したとおり、評価結果の表示や、解釈、提示といった点でさまざまな方法が可能となります。
- 各企業は、MITRE ATT＆CKのフレームワークや評価結果の理解だけでなく、これらの情報を前にして自社の優先順位とニーズが何であるかを理解することが重要となります。これによって初めて、評価結果を個々の事例に即した形で正しく把握できるからです。
- こうした点で、ご利用のセキュリティベンダの支援を受けながら最も意味のある評価結果の理解に至ることをお勧めします。そしてこのような支援も、セキュリティソリューションを提供する各ベンダの責任と言えます。
参考記事：
- 「Trend Micro’s Top Ten MITRE Evaluation Considerations」
By Trend Micro
翻訳： 与那城 務（Core Technology Marketing, Trend Micro™ Research）