本記事では、「人工知能（AI）」の悪用、濫用の現状と共に、将来的にサイバー犯罪者が人工知能の技術を悪用し不正に利益を得ると想定されるシナリオについて考察します。本記事の内容はトレンドマイクロ、国連地域間犯罪司法研究所（UNICRI）、そして欧州刑事警察機構（Europol）の三者による共同研究に基づいています。
人工知能は他分野と相互関係を持つコンピュータ科学のサブフィールドであり、効率性の向上と共に、より高度な自動化および自律性に寄与します。現在既に、人工知能のサブフィールドである「機械学習（ML）」により大量のデータを解析してアルゴリズムからパターンを発見する技術の利用が、官民双方で拡大しています。2020年には37%の企業や法人組織が、すでに何らかの形で人工知能をシステムやプロセスに統合しています。これらの技術を活用したツールを利用することで、企業は収益増加に寄与する顧客の購買行動をより正確に予測できます。2018年に事業評価額が1兆ドル（約105兆円）に達したAmazonのように、人工知能と機械学習を搭載したツールの助けを借りて、収益性の高いビジネスを構築可能となった企業も存在します。
人工知能、特に機械学習は、ビジネス、重要なインフラストラクチャ、そして産業に対応しており、新型コロナウイルスの世界的大流行のような社会が抱える最大の課題を解決するのに役立ちます。その反面、これらの技術は、デジタル、物理的、政治的な脅威を広範的に表面化させる恐れもあります。企業と個人利用者はまた、人工知能を悪用しようとする攻撃者から安全を守るためには、人工知能システムの脅威と潜在的な悪用の可能性を特定して理解する必要があります。
■現在のAIとMLの誤用・悪用
大量のデータを解析して自動予測を提供し、発生するパターンを発見するなど、人工知能や機械学習システムがビジネス上で不可欠となるのは、サイバー犯罪者が不正な利益を得ることを目的としてそれらの技術を悪用するのと同様です。
●ディープフェイク
人工知能の悪用で認知度の高いものにディープフェイクが挙げられます。ディープフェイクは、人工知能技術を利用して、音声や映像コンテンツを細工または操作して、あたかも正規のものであるかのように装います。「ディープラーニング」と「フェイクメディア」を組み合わせた「ディープフェイク」は、技術的な対応策を用いても、即座に正規のコンテンツと区別することが難しいため、偽情報を利用するキャンペーンでの悪用が懸念されています。インターネットやソーシャルメディアが広く利用されているため、ディープフェイクは、世界中の多様な地域の何百万人もの個人に、異例の速度で到達することが可能です。
ディープフェイクは、不正な目的で多くの個人に関する事実を歪曲する深刻な恐れがあります。その例として、マレーシアの政治家の補佐官が閣僚と性的関係を持つ姿を撮影したとされるディープフェイク動画が挙げられます。2019年に公開されたこの動画では、対象の閣僚を汚職疑惑で調査するよう要求しています。特筆すべき点として、この動画が公開された結果、連立政権が不安定化したことで、ディープフェイクが政治的に影響を及ぼす恐れがあることも証明されました。一方、別な例では、 英国に本拠を置くエネルギー会社を狙う攻撃者が、ディープフェイクの音声技術を使って会社のCEOの声で支払いを了承するなりすまし音声に騙され、約20万英ポンド（約26万米ドル、約2700万円）をサイバー犯罪者の銀行口座に送金してしまった事例があります。
ディープフェイクに関しては、いかにほんものそっくりで信憑性が高く、不正使用される可能性があるのかを理解することが不可欠です。皮肉なことではありますが、ディープフェイクは人工知能の悪用の可能性について、人々を教育する有用なツールにもなるでしょう。2018年、Buzzfeedは俳優であり監督でもあるジョーダン・ピール氏と協力して、元アメリカ大統領であるバラク・オバマ氏のディープフェイク動画を制作しました。この動画は、ディープフェイクがもたらす潜在的な脅威について認識を高め、偽装された動画を含むインターネット上の投稿を信用する前に、注意を払うことの重要性に対する認識を高める目的で制作されました。
●人工知能対応のパスワード推測
サイバー犯罪者は、ユーザのパスワードを推測するアルゴリズムを改善するために機械学習を採用しています。「HashCat」や「John the Ripper」のような従来のアプローチはすでに存在しており、対象のハッシュ値に対応するパスワードを識別するために、さまざまなバリエーションをパスワードハッシュと比較します。ただし、ニューラルネットワークや「GAN（Generative Adversarial Networks、敵対的生成ネットワーク）」を使用することで、サイバー犯罪者は膨大なパスワードデータセットを解析し、統計的分布に適合するパスワードのバリエーションを生成可能になります。これにより将来的には、より正確で対象を絞ったパスワード推測が可能になり、利益を得るチャンスが増えると考えられています。
トレンドマイクロは2020年2月のアンダーグラウンドフォーラムの投稿から、14億件の認証情報を解析し、パスワードのバリエーションルールを生成する機能を備えたパスワード解析ツールのGitHubリポジトリを発見しました。
図：パスワード解析ツールのGitHubリポジトリの例
●S N S上でのなりすまし
サイバー犯罪者は、人工知能を悪用して人間の行動を模倣しています。例えば、人間の使用パターンを模倣することで、Spotifyなどのソーシャルメディアプラットフォームでボット検出システムを正常に複製することが可能です。そしてサイバー犯罪者は、この人工知能を利用したなりすましを通じて、不正システムを収益化し、特定のアーティストを対象とする不正な再生や通信を生成すると見られます。
フォーラム「nulled[.]to」上で広告されていた人工知能対応のSpotify用ボットは、複数のSpotifyユーザを同時に模倣する能力を持っているとされています。検出を避けるために、ボットは複数のプロキシを利用し、特定の曲のストリーミング数を増やして収益化します。さらに検出を回避するために、ランダムな曲のプレイリストではなく、人間の音楽的嗜好に沿ったプレイリストを作成します。
フォーラム「blackhatworld[.]com」の書き込みでは、偽のアカウントを作成して「いいね！」を生成し、フォローバックを実行可能なInstagram向けのボットを作成する可能性について議論されています。このボットに適用されている人工知能技術は、選択やドラッグなどのコンピュータ上のユーザの自然な動きも模倣する恐れがあります。
図： Spotify向けボットの広告を特集したアンダーグラウンドフォーラム上の投稿例
図：Instagram向けボットに関するアンダーグラウンドフォーラム上のディスカッション
●人工知能を利用したハッキング
サイバー犯罪者は、脆弱なホストをハッキングするA Iフレームワークも武器化しています。一例として、トレンドマイクロは、ML対応の侵入テストツール「DeepExploit」の使用に興味を示したTorumユーザを確認しました。加えて、このユーザは、DeepExploitを情報収集、細工、脆弱性テストタスク用の侵入テストプラットフォーム「Metasploit」と接続するためのインターフェース手法を知ろうとしていました。
トレンドマイクロ は「rstforums[.]com」上で、認証解除攻撃によるWi-Fiハッキング用に開発されたツール「PWnagotchi1.0.0」に関して議論しているスレッドを確認しました。PWnagotchi 1.0.0はニューラルネットワークモデルを使用し、ゲーミフィケーション戦略でハッキング性能を向上させます。システムがWi-Fi認証の解除に成功すると、報酬を受け取り、自律的な動作の改善を学習します。
トレンドマイクロは上述の投稿の他に、「cracked[.]to」上で、オープンソースのハッキングツール集を列挙した投稿もありました。挙げられたツールの中には、データ漏えいで取得した大規模なパスワードのデータセットを解析可能なAIを基盤としたソフトウェアが存在していました。 このソフトウェアは、「hello123」を「h @ llo123」に変更してから「h @ llo！23」に変更するなど、人間がパスワードを変更および更新する際の傾向を学習するようにGANを訓練することで、パスワード推測機能を強化します。
図：DeepExploitの使用について尋ねるダークネットフォーラムのユーザ
図：PWnagotchi1.0.0の説明に関する投稿
■今後の人工知能と機械学習の誤用および悪用
今後、サイバー犯罪者は様々な手法でAIを悪用するでしょう。サイバー犯罪者は、攻撃範囲や規模を拡大し、検出を回避し、攻撃経路および攻撃対象領域としてAIの悪用を目的にAIに目を向ける可能性が高いです。
トレンドマイクロでは、サイバー犯罪者はソーシャルエンジニアリング手法を介して企業を狙った不正活動を実行するためにAIを使用すると予測しています。サイバー犯罪者はAIを利用することで、コンテンツ生成による攻撃の最初のステップを自動化し、ビジネスインテリジェンスの収集を改善し、攻撃の影響を受ける可能性のあるユーザとビジネスプロセスの両方が侵害された場合の検出率を向上させることが可能です。これにより、フィッシングやビジネスメール詐欺（BEC）など、さまざまな攻撃を通じて、より迅速かつ正確に企業から詐取する恐れがあります。
AIは、暗号通貨取引慣行を操作するために悪用される可能性もあります。たとえば、トレンドマイクロはblackhatworld[.]com上の投稿で、より向上した予測と取引の開発を目的とした、過去のデータから成功した取引戦略を学習可能なAIを搭載したボットに関するディスカッションを確認しました。
上述の議論とはまた別に、AIは将来、個人に危害を加えるなど、身体的損傷を与える目的で使用される可能性があります。実際に、1グラムの爆薬を乗せたAI搭載の顔認識機能付きドローンが開発されています。小鳥や昆虫に似せて目立たないようにデザインされたこれらのドローンは、マイクロターゲティングや単独実行の爆弾テロにも利用でき、携帯電話のインターネット経由で操作することも可能とされています。
AIおよびML技術には、視覚認識、音声認識、言語翻訳、パターン抽出、意思決定機能など、さまざまな分野や産業における、正当なユースケースが多く存在します。しかし、これらの技術が犯罪や不正な目的で悪用されていることも事実です。そのため、これらの技術の悪用手法、その能力やシナリオ、そして攻撃経路を理解することが急務となっています。こうした理解を深めることで、システム、デバイス、および一般の人々を高度な攻撃や悪用から万全に保護することが可能です
ディープフェイクの背後にある技術およびその他のMLおよびAIを搭載した技術が今後どう悪用される恐れがあるのかについての詳細は、以下のレポートを参照ください。
- https://documents.trendmicro.com/assets/white_papers/wp-malicious-uses-and-abuses-of-artificial-intelligence.pdf
- https://documents.trendmicro.com/assets/primers/primer-malicious-uses-and-abuses-of-artificial-intelligence.pdf
参考記事：
- 「Exploiting AI:How Cybercriminals Misuse and Abuse AI and ML」
By Trend Micro
翻訳：下舘 紗耶加（Core Technology Marketing, Trend Micro™ Research）