生成 AI セキュリティの歩き方
Author : 長谷 有沙, 藤浦 雄大
こんにちは ! AWS Professional Services でセキュリティコンサルタントをしております長谷有沙です。
この記事は、生成 AI セキュリティについて情報収集をしたい ! けれども実際何からどうみたらいいんだろう・・・とお悩みの方向けの記事です。生成 AI に詳しくない方をメインに考えていますが、生成 AI の知識はあるがセキュリティ対策については自信がない方にも役立てるものとなっています。
実際、生成 AI は話題になっている一方で、知識の体系化が整理されている最中で、知識獲得のための確立した方法論がない状況です。
そこで本記事では、生成 AI セキュリティについての AWS の翻訳ブログをレベル、分野別に整理していきたいと思います。なお、本記事でのレベル分けについては、生成 AI のセキュリティを学んでいく上でより理解が進みやすいと思われる順で整理しています。
初級では、生成 AI で考慮が必要なセキュリティリスクをユースケース別に整理したフレームワークを通じて学べます。中級ではセキュリティ対策の具体的な内容に踏み込んでいき、上級では生成 AI の仕組みなどよりテクニカルな領域をカバーします。そのため、実際の記事内で記載されているレベルと GAP がある可能性があります。
(※ご紹介記事は 2024 年 12 月現在の公開情報です)
生成 AI のセキュリティ記事のご紹介
現時点でリリースされている生成 AI のセキュリティ記事の全体感を表すと下記のようになります。
各レベルで役立つブログ記事は、上の図のそれぞれの分野に分けてご紹介します。それぞれの分野の定義は以下のとおりです。
| セキュリティデザイン / Secure Design | 生成 AI を用いたアプリケーションを開発したい時に参考になるアーキテクチャ検討の考え方を学べる記事をまとめています。 |
| セキュリティ運用 / Security Operation | 生成 AI ワークロードのセキュリティの運用の理解に役立つ記事を掲載しています。 |
| ガバナンス & 倫理 / Governance & Ethics | 生成 AI 特有とも言える AI 倫理やコンプライアンスの考慮点を解説した記事を掲載しています。 |
| 高度な AI 知識 / Advanced Knowledge | セキュリティの要素のみではなく、生成 AI の仕組みの知見も深めたい方向けです。 |
基礎レベル
生成 AI のパターン分類と、それぞれのパターン分類で考慮が必要なセキュリティリスクについての理解を深めます。まずはこちらの記事を読んでいただいた後に、この記事でご紹介する記事をご覧いただくと理解が進みやすいです。
生成 AI をセキュアにする: 生成 AI セキュリティスコーピングマトリックスの紹介 »
AWS から発信されている生成 AI のセキュリティに関する基本的な知識の基礎となる記事です。生成 AI の基礎知識として、この記事を読んでいただければと思います。 生成 AI の利用シナリオを 5 つのスコープに分類し、それぞれのスコープに応じたセキュリティリスクと対策を理解することができます。また、自社の生成 AI 利用におけるセキュリティ戦略を立てる方法を学ぶことができます。
中級レベル
基礎レベルの知識を押さえた上で、基本的なセキュリティ対策として何をすればいいのかを押さえていきたい方向けです。
セキュリティデザイン
Amazon Bedrock を活用した RAG チャットボットアーキテクチャのハードニング: 安全な設計とアンチパターン緩和のためのブループリント »
RAG (検索拡張生成)* チャットボットアーキテクチャのセキュリティ強化に関し、セキュアな設計原則や一般的なアンチパターンをベースに、RAG チャットボットの実装におけるセキュリティベストプラクティスや、AWS のサービスを活用したセキュリティ強化の具体的な方法が解説されています。
* RAG (検索拡張生成) は、大規模な言語モデルの出力を最適化するプロセスです。そのため、応答を生成する前に、トレーニングデータソース以外の信頼できる知識ベースを参照します。大規模言語モデル (LLM) は、膨大な量のデータに基づいてトレーニングされ、何十億ものパラメーターを使用して、質問への回答、言語の翻訳、文章の完成などのタスクのためのオリジナルの出力を生成します。RAG は、LLM の既に強力な機能を、モデルを再トレーニングすることなく、特定の分野や組織の内部ナレッジベースに拡張します。LLM のアウトプットを改善するための費用対効果の高いアプローチであるため、さまざまな状況で関連性、正確性、有用性を維持できます。
OWASP Top 10 for LLM を活用した生成 AI アプリケーションの多層防御セキュリティ設計 »
生成 AI アプリケーションのセキュリティ強化について、OWASP Top 10 for Large Language Model Applications を活用した多層防御アーキテクチャの設計方法を学べます。AWS のサービスを活用したセキュリティ対策の具体的な実装方法も紹介されており、実践的な知識を得ることができます。
生成 AI をセキュアにする: 関連するセキュリティコントロールの適用 »
生成 AI システムのセキュリティリスクと、それに対する AWS の包括的なセキュリティコントロールについて学ぶことができます。特にデータ保護、アクセス管理、ネットワークセキュリティなどの重要な側面に焦点を当て、生成 AI の安全な実装と運用に関する実践的な知識を提供しています。
Amazon Verified Permissions と Amazon Bedrock エージェントを使用した安全な生成 AI アプリケーションワークフローを設計する »
Amazon Verified Permissions (スケーラブルできめ細かな権限管理および認可サービス) と Amazon Bedrock のエージェント (API を呼び出しタスクを実⾏する Agent 機能をフルマネージドで提供するサービス) を使用して、安全な生成 AI アプリケーションのワークフローを設計する方法を紹介しています。細かなアクセス制御の実装方法や、ユーザーの役割や属性に基づいたセキュアなデータアクセスの設計について学ぶことができます。具体的な保険金請求システムの例を通じて、実践的な実装方法が解説されています。
生成 AI のためのネットワーク境界でのセキュリティ保護 »
生成 AI ワークロードを保護するためのネットワークセキュリティについて解説しています。
特に、AWS の Amazon VPC、セキュリティグループ、ネットワークアクセスコントロールリスト (NACL) 等のネットワーク制御機能を活用し 、生成 AI システムへの不正アクセスやデータ漏洩を防ぐための戦略と実践的なアプローチが詳細に説明されています。
プロンプトエンジニアリングによる、Amazon Bedrock でのセキュアな RAG アプリケーション »
プロンプトのフィルタリングをしてくれるサービスである Amazon Bedrock ガードレールは 2025 年 12 月現在日本語対応がされていないので、現時点ではプロンプトエンジニアリングによる保護が代替手段となります。具体的な攻撃事例とその対策方法、またその検証結果をまとめられています。
階層化された認可による Amazon Bedrock エージェントのデータプライバシー強化 »
Amazon Verified Permissions を用いて、Bedrock エージェント にユーザーの認可情報を伝搬させるアイデアについて整理されています。エージェントをアクセス制御と一緒に利用するシーンで参考になります
セキュリティ運用
生成 AI ワークロードのインシデント対応方法論 »
生成 AI ワークロードにおけるインシデント対応の方法論について、具体的なセキュリティイベントのシナリオに沿って説明されています。
ガバナンス & 倫理
生成 AI の利用に関する規制、プライバシー、コンプライアンスの課題について解説しています。1 つ目はスコーピングマトリックスを用いて生成 AI の導入や利用に関するリスクと注意点を知ることができます。2 つ目は信頼できる公平な AI システムを構築できるよう、原則やベストプラクティスを解説しています。
ISO 42001: 責任ある AI を推進する新たな基礎となる国際規格 »
ISO/IEC42001 は、AI システムの倫理的で責任あるライフサイクル管理のための国際標準規格です。構成要素である AI の透明性、公平性、プライバシー保護などの原則を組み込み、顧客や規制当局の信頼を得られるよう体系的な枠組みについて解説します。 AWS はこの規格の策定に貢献し、この規格に準拠したサービスを提供しております。
Amazon Bedrock アプリケーションにおける責任ある生成 AI のコアディメンションに対応するための考慮事項 »
Amazon Bedrock applications における責任ある AI 開発について説明しています。安全性、制御可能性、公平性、透明性、真実性と堅牢性、説明可能性、セキュリティとプライバシー、ガバナンスといった観点から、責任ある AI 開発のための考慮事項や戦略を学ぶことができます。Amazon Bedrock の機能を活用した具体的な実装方法も紹介されています。
上級レベル
中級レベルの記事を読んだ上で読んでいただけると理解がスムーズになる記事や、 セキュリティをより強化する上で押さえておくと便利な知見や方法論が記載された記事です。
セキュリティデザイン
生成 AI アプリケーションで使用するデータを保護するための効果的なデータ認可メカニズムの実装 »
生成 AI ワークロードにおけるデータセキュリティとデータ認可の重要性について説明しています。生成 AI を使用する際の機密データに関するリスクと、それらを軽減するための戦略を学ぶことができます。特に、Amazon Bedrock のエージェントを使用した強力な認可の実装方法が詳細に解説されており、セキュアな生成 AI アプリケーションの構築に役立つ具体的な指針が提供されています。
セキュリティ運用
生成 AI ワークロードのセキュリティリスクを評価するための脅威モデリング »
生成 AI ワークロードに対する効果的な脅威モデリング (潜在的な脅威を特定するためのアクティビティ) の主要なステップについて説明しています。生成 AI アプリケーションの設計段階でセキュリティリスクを特定し、適切な対策を実装するための実践的なアプローチを学ぶことができます。AWS Threat Composer ツール (AWS が提供する脅威モデリングプロセスを簡素化できる脅威モデリングツール) を使用した具体的な例も含まれており、脅威モデリングプロセスの各段階で期待されるアウトプットや検討結果の例が詳細に解説されています。
高度な AI 知識
コンテキストウィンドウオーバーフローとその対策 »
生成 AI モデルの複雑な動作、特に生成 AI モデルがどのように処理して返答を生成するか、このプロセスの中心には「コンテキストウィンドウ」と呼ばれる重要な要素があり、それについて紹介しています。コンテキストウィンドウを超えるとどうなるか、技術的な詳細や実験結果、潜在的な応用例についても記述されています。
さいごに
生成 AI のセキュリティに関するブログ記事は今後もどしどしと増えていく予定です ! 生成 AI セキュリティの基礎的なフレームワーク理解に本記事をぜひご活用ください。
筆者プロフィール
長谷 有沙 (Hase Arisa)
アマゾン ウェブ サービス ジャパン合同会社
AWS Professional Services 事業部 セキュリティコンサルタント
IT コンサルタントして金融の全世界 CRM 導入や製造業での IoT プロジェクトに従事後、AWS に入社。入社後は製造向けの Solutions Architect として従事した後、本年よりコンサルタントに再び舞い戻った鮭系コンサルタントです。現職では生成 AI のセキュリティワークショップや AWS Summit Japan で生成 AI セキュリティについて登壇をするなど、外部発信にも力を入れています。
家庭では愛犬達に天下を握られています。
藤浦 雄大 (Yuta Fujiura)
アマゾン ウェブ サービス ジャパン合同会社
AWS Professional Services 事業部 セキュリティコンサルタント
グローバルプロジェクトの PM や、マレーシア、シンガポールへの駐在を経て AWS に入社。現職では生成 AI セキュリティのリードを担当。また生成 AI セキュリティや責任ある AI に関する知見を日本のお客様に日本語で届けるために、本記事で紹介されているようなブログ翻訳も行っています。
余暇はブロックでオリジナル作品を作っています。
AWS を無料でお試しいただけます