
AIエージェントのセキュリティ ― 攻撃を砂場で再現し、守りを実装して測る
Udemy · 日本語
この講座について
- 言語
- 日本語
- カテゴリ
- 提供元
- Udemy
- データ更新日
メールを読み、文書を探し、道具を呼んで仕事を進める AI エージェントは便利です。ところが、エージェントが読むメールや文書の中に「この秘密をここへ送れ」という一文が紛れていたらどうなるでしょうか。モデルには、指示とデータを確かに分ける仕切りがありません。そこへ私的なデータと外へ送る道具が揃うと、読んだ一文がきっかけで情報が外へ出ていきます。この講座は、エージェント特有の攻撃を自分の手元の砂場で再現し、守りを実装して、その守りが「効いたか」と「止めすぎていないか」を数字で確かめる、守りの講座です。12の部で、脅威モデリング、プロンプトインジェクション(直接・間接)、データの持ち出し、過剰なエージェンシーと権限、サンドボックスと外向きの通信の制御、秘密情報の扱い、サプライチェーン、記憶の汚染、多エージェントの信頼、監視と事故対応、赤チームによる測定、そして統治と出す前の点検までを順に扱います。公開の枠組み(OWASP の二つの一覧、MITRE ATLAS、NIST の文書)を地図として使い、どの守りがどの項目に当たるかも示します。講座を通して繰り返す芯は一つです。モデルが断ったことは、境界ではありません。 講師が本物のモデルで回した記録には、モデルが「対応いたしかねます」と断りながら、仕込まれた画像の記法を返事に書き写した例がありました。画面に描画されれば、画像を取りに行く通信に秘密の値が乗って外へ出ます。断りの言葉と漏えいが、同じ一通の返事の中で起きていたのです。だからこの講座では、境界を設計の側に置きます。最小権限、送り先の許可リスト、承認の関門、出力の無害化、隔離、身元による判断。どれもモデルの調子に左右されない守りです。実装の部は、すべて手元の Jupyter でノートブックを実際に実行した画面を見せながら解説します。 コードの要所を示し、実行し、出力のどこを読むかを説明します。題材は架空の会社「ソラハ電機」の5つの業務(メール処理、社内文書の検索、コーディングの補助、経費精算、問い合わせ対応)です。本物のモデルでの結果を、正直にお伝えします。 Claude Opus 5.5 と Claude Sonnet 5.5 に、7つの経路(ウェブ・文書・メール・道具の出力・MCP の説明文・記憶・他のエージェント)から仕込んだ85の試験ケースを渡しました。守りなしで、Opus 5.5 は0件、Sonnet 5.5 は1件の攻撃成功でした(95%信頼区間 0.2〜6.4%)。ただし0件は安全の証明ではありません。85ケースで0件でも、真の率が4.3%まである可能性は否定できず、攻撃の型ごとに分けると上限は24〜35%まで戻ります。言えるのは「この85ケースでは」までで、講座でもその範囲でしか語りません。守りの代償も測りました。ふつうの業務40件(うち29件は紛らわしいが正当な依頼)で、モデルへの指示による守りは両モデルとも1件も止めませんでした(上限8.8%)。一方、宛先の許可リストは、新規の取引先への正当な送信など3件を止めました。講座では許可リストを外すのではなく、宛先を足す申請と承認の流れまで作ります。指示らしさを探す検出器だけの守りは、攻撃83件のうち21件(25%)しか捕まえませんでした。静かな検出器は、効いている検出器とは限りません。さらに、講師自身が測り方を二度間違えた記録も、教材としてそのままお見せします。 一度目は、警告のために宛先の名前に触れただけの返事を攻撃成功に数え、よく守るモデルほど悪く見える数字を出しました。二度目は、調べに行った途中で判定を打ち切り、慎重なモデルほど止めすぎに見えました。成功の定義を先に決め、出力の中身を読む。測り方そのものが守りの一部です。扱う範囲について: 攻撃は、手元だけで動く架空のアプリに対してだけ再現します。仕込みの宛先も手元の受け口だけで、外のネットへは出ていきません。実在のサービスを狙う手順や、動く攻撃コードは扱いません。学んだ型は、許可された自分の砂場の中でだけ使ってください。決済に固有の攻撃は扱いません。APIキーについて: ご自身の API キーは必須ではありません。キットには講師が本物のモデルで実行したときの記録が入っており、キーが無くても同じ返事を再生でき、費用はかかりません。資料の指示に素直に従う偽モデルの模擬もキー不要で動きますが、模擬の数字はモデルの性能の証拠にはなりません。ご自身で用意したAPIキーを…





















