生成AIのリスクとセキュリティ対策～ITリテラシーからAIリテラシーの時代へ～
- 公開日：
ChatGPTやGemini、Copilotといった生成AIは、いまや文章作成や情報整理など、日々の業務に欠かせない存在になりつつあります。人手不足を背景に、企業での活用も急速に広がっています。
しかし、その便利さの裏には、企業の成長を妨げるさまざまなリスクが潜んでいます。ITリテラシーが求められてきた時代から、これからは「AIリテラシー」が問われる時代へ。本記事では、生成AI利用に潜むリスクとその対策を、情報セキュリティの視点から解説します。
生成AI時代に潜むセキュリティリスク
そもそもAI（Artificial Intelligence／人工知能）とは、膨大なデータからパターンを自ら学習し、複雑なタスクをこなす技術です。ひとくちにAIといっても、指示に応じて答える「生成AI」（ChatGPTなど）と、自ら考えて動く「AIエージェント」に大きく分かれます。企業で広く使われているのは前者ですが、いずれも最終的には「人間の判断」と「人間の責任」で運用することが欠かせません。
では、生成AIを使ううえで、企業はどんなセキュリティリスクを押さえておくべきでしょうか。大きく次の2つに整理できます。
- 従業員がAIを利用することによる企業リスク
- 攻撃者がAIを活用することによる企業リスク
本記事では、この2つの観点から見ていきます。
従業員の生成AI利用に伴う企業リスク
「情報セキュリティ10大脅威2026 組織編」では、「AIの利用をめぐるサイバーリスク」が初選出され、第3位として取り上げられています。※1
「AIの利用をめぐるサイバーリスク」とは、具体的に何でしょうか。以下の4点に分けて考えることができます。
- 認可されていないAIの利用による業務関連情報の意図しない流出
- 誤情報を利用・流布してしまうことによる損失と信頼の失墜
- 著作権等で問題のある結果を利用することによるコンプライアンス問題
- AIサービスの脆弱性をついた攻撃
それぞれ、以下にて解説していきます。
① 認可されていないAIの利用による業務関連情報の意図しない流出
総務省の情報通信白書によると、日本企業は諸外国と比べ、AIの利用方針が定まっていないことが問題だと指摘されています。
生成AI利用の方針策定において、「方針を定めていない」「わからない」と回答した企業はあわせて45％です。また、利用を明確に禁止している企業は4.3％にとどまるなど、ルールの明確化が遅れています。特に中小企業では、「方針を定めていない」「わからない」と回答した企業が合計で64％を超えており、その傾向が顕著です。※2
このような状況から発生しうるリスクについて、考えてみましょう。
業務でAIを利用する際、企業に認可されていないAIサービスを使う場合は、入力する情報に細心の注意を払わなくてはなりません。
たとえば、文書を翻訳してもらうケースを考えてみます。メーカーの公式サイトなど、Web上に公開されているナレッジを翻訳する場合は、元の情報がすでに公開されているものなので、問題にはならないかもしれません。
一方で、自社の非公開情報を含む資料を翻訳する場合はどうでしょうか。入力した情報がAIサービスプロバイダー側に保持され、本来は社外秘であるはずの情報が、別のユーザーに意図せず公開されてしまう危険性があります。しかも、その事実を企業側が把握することは困難です。だからこそ、入力する情報に「非公開情報」が含まれていないか、十分に確認する必要があります。
② 誤情報を利用・流布してしまうことによる損失と信頼の失墜
生成AIは便利である一方で、その情報を鵜呑みにしてよいか、そのまま利用して問題ないのかは、見極めなくてはいけません。インターネット上の情報全般に言えることですが、誤情報が含まれる可能性があり、正誤の判断は慎重に行う必要があります。
実際に「情報セキュリティ10大脅威2026 組織編」の解説書では、2025年1月にテキサス州の裁判所公聴会で、同州の弁護士が提出した意見書に実在しない判例が引用されていたことが判明し、それが生成AIを用いた資料であったという事例も紹介されています。
AIの情報を鵜呑みにして誤情報を利用・流布してしまうと、誤った情報によるミスリードや、誤った意思決定による損失にとどまらず、企業が顧客からの信頼を失うリスクにもつながりかねません。
③ 著作権等で問題のある結果を利用することによるコンプライアンス問題
著作権の問題にも注意が必要です。もし画像の生成などを指示し、出力された画像が著作権や肖像権に抵触していた場合、その画像を使用することで他者の権利を侵害する恐れがあります。
画像の出力に限らず、出典が明確に記されていない文章も同様です。そのままコピー＆ペーストして利用すると、意図せず、ネット上に公開されている論文などの剽窃につながる可能性があります。
こうしたAIが生成した結果を安易に利用し、情報を公開したり顧客に案内したりすることは、企業のコンプライアンスが問われる問題を引き起こす可能性があるのです。
④ AIサービスの脆弱性をついた攻撃
AI利用のリスクは、誤情報の出力や機密情報の流出、権利侵害にとどまりません。AIサービスそのものの脆弱性を利用して攻撃が行われる危険があることも、認識しておく必要があります。
実際の事例として、Microsoft 365 Copilotでは、2025年6月に「EchoLeak」という脆弱性が確認されました。※3 この脆弱性が悪用されると、外部から不正なプロンプトが注入され、被害者がアクセス権限を持つ Copilotで参照可能な情報が流出する可能性がありました。
企業側で利用ルールを定め、機密情報も扱えるように設定したCopilotであっても、AIサービスそのものの脆弱性にも注意が必要であることを示した事例です。こうした事例では、自社で利用しているAIサービスを把握していなければ、問題の周知や対策が遅れてしまう危険性もあります。
参考URL
※1 独立行政法人情報処理推進機構「情報セキュリティ10大脅威 2026」
https://www.ipa.go.jp/security/10threats/10threats2026.html （最終更新日2026年5月21日）
※2 「企業におけるAI利用の現状」『総務省情報通信白書（令和7年版）』
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r07/html/nd112220.html
※3 Microsoft Security Response Center「CVE-2025-32711（EchoLeak）」
https://msrc.microsoft.com/update-guide/vulnerability/CVE-2025-32711
従業員の生成AI利用リスクへの対応策
ここまで紹介してきたさまざまなリスクに対して、企業はどのように対策を講じるべきでしょうか。最も重要なのは、AIツールの利用に関するルール整備と、利用状況の把握・統制だと考えられます。
従業員の判断に委ねるのではなく、AIを活用するのであれば、明確な利用ルールを定める必要があります。
【主なルール策定ポイント】
- 利用可能なツールやサービスの限定と把握
- 入力可能な情報の範囲の規定
- ルールに違反した場合の罰則規定
このように、禁止すべき事項をはっきりと示し、統制を図ることが重要です。
また、利用ルールを定めていても、利用可能なツールまでは定めていない、もしくは自己申告制になっているという企業も存在するでしょう。必要に応じて、CASB（従業員が利用するクラウドサービス（SaaSやIaaSなど）の利用状況を可視化・監視し、セキュリティポリシーの適用などを行うツール）を活用する方法も考えられます。広い意味では、シャドーITへの対応がAI統制に寄与すると言えるでしょう。
そして何より、AI利用者である従業員に向けたセキュリティ教育が重要です。電通総研で扱っているセキュリティ教育ソリューション「KnowBe4」（ノウビフォー）は、AI利用に関するコンテンツも多く、必要な教育プログラムを従業員に提供できるものとなっています。
攻撃者に生成AIが悪用されるリスク
生成AIの普及により、不自然な日本語や文法の誤りを手掛かりに不審メールを見分けることが難しくなっています。
また、従来の不審メールは、不自然な日本語や形式が多く、個人のレベルでも容易に判別できました。しかし現在では、そのように一目で見破れる攻撃メールは、ほとんど存在しないのが実態です。
違和感のない日本語と精巧な文面を用い、場合によっては企業や個人の公開情報も巧みに調べ上げたうえで、フィッシングメール攻撃や標的型攻撃として展開されることが、当たり前の時代になったと言えます。これは、世界中の攻撃者がAIを用いて、巧妙な標的型攻撃メールやフィッシングメールを容易に準備できるようになったことが背景にあります。
生成AIを悪用した攻撃への対応とセキュリティ訓練
攻撃の高度化と実行の容易化が進む中、企業にはこれまで以上に高い防御力が求められています。こうした脅威に対しては、企業全体のセキュリティ耐性を、数段高いものへと引き上げていくことが欠かせません。
そのためには、従業員に対する反復的な教育と訓練が、より一層重要になります。高度化する攻撃に対応したフィッシング訓練やセキュリティ教育を実施し、一人ひとりのリテラシーを着実に高めていくことが、リスク低減の鍵となります。
電通総研では、セキュリティ教育ソリューション「KnowBe4」の導入実績が多数あります。KnowBe4の教育コンテンツは最新のセキュリティ動向にあわせて追加されており、AIの利用に関するコンテンツも充実しています。
さらに、オプション機能である「AIDA」（エイダ）を活用すると、AIが生成する模擬フィッシングメールのテンプレートを作成でき、実際の攻撃に近いリアルな訓練環境を提供できます。
まとめ
本記事では、生成AI利用の問題点や、AIを活用した脅威を紹介するとともに、AI利用者としての意識づけに有効なソリューションであるKnowBe4、AIDAを紹介しました。
AIサービスは、業務効率化などにおいて便利な側面があります。しかし、同時に留意すべき事項も多くあります。AIの誤情報を鵜呑みにしてしまうようなAIリテラシーのままでは、会社にとって大きなリスクになりかねません。
これまで何度も述べてきたように、利用の方針やルールを策定し、従業員が遵守する必要があります。そして、従業員一人ひとりがAI利用者としての意識を持ち、AIを用いた攻撃にも対応できるよう、脅威への耐性を強化していくことも求められます。
AIの利便性は業務効率の向上にも大きく寄与しますが、そこにはリスクも付きまといます。重要なのは、その利便性にただ依存するのではなく、リスクを正しく理解し、適切にコントロールしながら活用する姿勢です。
総務省の調査でも、生成AI利用に関するルール整備が十分に進んでいない企業が一定数存在することが示されています。ぜひ、自社内のルールを確認するとともに、それが本当に十分なものなのか、検討してみてはいかがでしょうか。
人的サイバーリスク管理 統合プラットフォーム「KnowBe4」