こんにちは！山崎光春です。
生成AIを搭載したアプリケーションを標的とする新たなマルウェア「Morris II」が登場した。Cornell Tech、イスラエル工科大学、Intuitionの研究者らが発表した論文によると、Morris IIは特殊なプロンプトを使って生成AIの出力をジャックし、自己複製を行うことで感染を広げるという。
Morris IIは、36年前に登場した初期のインターネットワーム「Morris Worm」をオマージュした名称を持つ。感染したアプリがこのプロンプトを生成AIに与えると、生成AIは攻撃者の意図した悪意ある動作を実行し、プロンプト自体も出力に含めて自己複製する。これにより、Morris IIは生成AIエコシステム内の他のアプリへと自律的に広がっていく。
研究チームは、RAG（Retrieval Augmented Generation）を利用した生成AI（ChatGPT、Gemini Pro、LLaVA）を用いたメールアシスタントアプリを標的に、Morris IIの実際の動作を確認した。その結果、画像ファイルに細工を施してプロンプトを埋め込み、メールの添付ファイルから感染を広げるケースでは、大量のスパムメール送信を引き起こすことができた。また、アプリがメールの文脈に応じて関連情報を検索する際、データベースにプロンプトを紛れ込ませて感染し、個人情報を窃取することにも成功した。
Morris IIは、テキストや画像などさまざまな形式の入力データを介して感染し、生成AIの出力をジャックすることで波及と攻撃を実現している。ユーザーの操作を一切必要とせず、生成AIを内包するシステムの脆弱性を突くゼロクリック型の攻撃であることから、検知や防御が非常に難しいとされる。
企業は既存の製品やプラットフォームに生成AIを統合することで、コンテンツ生成の自動化、不要なユーザー操作の削減、複雑なタスクの効率化を目指しているが、このような新たな脅威にも注意を払う必要がある。生成AIを搭載したアプリケーションの開発者は、セキュリティ対策の強化に取り組むことが重要だ。
Cohen, Stav, Ron Bitton, and Ben Nassi. "Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications." arXiv preprint arXiv:2403.02817（2024）.
生成AI搭載アプリを狙うマルウェア「Morris II」 Gemini ProやGPT-4搭載アプリを介して個人情報窃取に成功（ITmedia NEWS） - Yahoo!ニュース https://news.yahoo.co.jp/articles/25a5e521155e4bb6f303be8592c5435eb4fc22b6
