


企業が生成AI(GenAI)の導入を急いでいる。OpenAIのChatGPT、AnthropicのClaude、GoogleのGemini、MicrosoftのCopilotなどの生成AIが、企業や個人ユーザーの間で急速に普及している。 業務効率を高め、革新的なサービスモデルを構築していく上で重要な役割を果たしている。
わが国の政府も、生成AIの活用に向けてN2SFという新しいセキュリティ体系へと移行しつつある。公共機関も生成AIを導入して業務を革新する必要があるためだ。
ガートナーのレポートによると、2024年時点で企業の70%が生成AI(GenAI)を導入しているか、または導入を検討中であることが明らかになった。
生成AI、企業変革の中心に立つ
生成AIは単なる技術ではなく、企業運営のあり方そのものを変える革新的なツールとして定着しつつある。MIT Technology Review Insightsが発表した「The Great Acceleration: CIO Perspectives on Generative AI」レポートによると、CIO(最高情報責任者)たちは生成AIがビジネス全体にAIを普及させる決定的な契機になると見ている。

caption - 生成AIを活用した企業向けアプリケーションとユースケース(資料:MITテクノロジーレビューインサイト)
マッキンゼー(McKinsey)によると、生成AIは年間2.6兆〜4.4兆ドルの経済的価値を創出すると予想されている。
AIの導入により、2040〜2060年の間に現在人間が行っている業務の半分以上が自動化される見通しだ。AIは単に仕事を代替するだけでなく、新たな機会を創出すると予測されている。
生成AIは非構造化データの処理に強みを持つ。企業はこれらを活用して隠れたデータを発掘し、価値を創出することができる。これに伴い、データインフラを柔軟かつ拡張可能に設計することが不可欠である。
多くの企業がChatGPTやGoogle Geminiのような外部AIを活用する一方で、企業データの保護やIP(知的財産権)の問題を懸念している。一部の企業は自社AIモデルの開発を推進しており、特にオープンソースモデル(LLaMA、Dollyなど)を活用したカスタマイズAIの構築に関心を示している。
AI導入に対する懸念
企業が生成型AIを導入する際、最も懸念しているのは、機密情報を保護しながら活用できるかどうかである。
生成型AIは、自動化、データ分析、セキュリティ強化、顧客対応など、多様な分野で劇的な効率性の向上をもたらす。しかし、同時に新たなセキュリティの脅威やサイバー攻撃の対象領域(アタックサーフェス)を拡大する主な要因としても作用している。
AIモデル自体の危険性や脆弱性だけでなく、それを支えるインフラにおいても攻撃対象領域が拡大している。特に、多くのAIモデルや学習データセットがオープンソースとして公開されており、開発者だけでなく、悪意ある攻撃者も容易にアクセスできる環境となっている。
AIモデルのセキュリティ脅威が現実化
最近、研究者たちは、オープンソースの生成AIモデルと学習データセットを提供する代表的なプラットフォームであるHugging Face(ハギングフェイス)で、数千個の悪意のあるファイルを発見した。
この中には、ユーザーのシステムに悪意のあるコードを注入できる、100個以上の悪意のあるモデルが含まれている。
ハッカーたちは、遺伝子検査企業「23andMe」を装った偽のプロファイルを設定し、ユーザーに破損したモデルをダウンロードするよう誘導した。このモデルはAWSのパスワードを盗み出す機能を備えており、数千回ダウンロードされた後にようやく通報され、削除された。
また別の事例として、ChatGPTのAPIで脆弱性が発見された。研究者たちは、わずか1つのHTTPリクエストで2つのレスポンスが生成される奇妙なコードパスを確認した。この脆弱性が解決されなければ、データ流出、サービス拒否(DoS)攻撃、権限上昇などの問題を引き起こす可能性があると警告した。さらに、ChatGPTのプラグインでも脆弱性が発見され、アカウント乗っ取りの可能性が確認された。
オープンソースライセンスとクラウドコンピューティングは、AIの発展を牽引する重要な要素であるが、同時にセキュリティリスクを増加させる要因でもある。AIモデル自体のセキュリティ問題だけでなく、クラウドの構成ミスや不適切なログ監視といった一般的なインフラセキュリティの問題も、重要な脅威として作用している。
AIモデル自体が新たな攻撃対象領域
テック大手やAIスタートアップ企業が膨大な資本と人材を投入してAIモデルを開発しているが、これが盗難に遭ったり、リバースエンジニアリング(逆コンパイル)されたりする可能性が高まっている。
AIモデルには機密情報が含まれる可能性があり、悪意のある組織に渡った場合、重要な機密が漏洩することになる。AIチャットボットが企業の内部情報を学習した場合、外部からの要求によって機密情報が流出する可能性が高い。
最も一般的なモデル盗難手法の一つが、モデル抽出(Model Extraction)攻撃である。攻撃者はAPIの脆弱性を利用してモデルにアクセスし、ブラックボックスモデル(例:ChatGPT)から十分なデータを収集した後に、これをリバースエンジニアリングすることができる。
ほとんどのAIシステムはクラウドベースで運用されている。クラウドはAIモデルを運用するために必要な、拡張可能なデータストレージと演算力を提供する。 アクセス性が高まるほど、攻撃対象領域(アタックサーフェス)も広がる。 攻撃者は不正なアクセス権限設定などの脆弱性を悪用する可能性が高い。
AIモデルを提供する企業は、一般的にAIチャットボットのようなクライアントアプリケーションを通じてサービスを提供する。もしAPIを介して使用するモデルを選択できる機能があれば、攻撃者はこれを悪用して非公開モデルにアクセスしようと試みる可能性がある。
ハッカーは、 AIモデルが誤ったデータを学習するように誘導し、誤ったセキュリティポリシーを適用させる攻撃手法を活用することができる。 AIセキュリティシステムを混乱させ、攻撃を検知できないようにする方式である。
企業がAIを導入する際に考慮すべきセキュリティ対策とは
AIの保護は、単なる機能的なセキュリティ問題を超え、モデルの保護、サプライチェーンの安全性、そして過度な自律性の制御といった複合的な要素を含んでいる。
企業はAIを開発または導入する際、セキュリティを最優先事項に置くべきである。レッドチーム活動や積極的なセキュリティテストを継続的に実施してこそ、脅威を最小限に抑えることができる。
AIを導入するにあたり、AIに高い権限を付与するとセキュリティリスクが増大する。
例えば、AIアシスタントがMicrosoft Teamsの会議録を要約するために、OneDrive内のすべてのファイルにアクセスできるとしたらどうだろうか?ハッカーがこの脆弱性を悪用して、機密データを奪取する可能性が高くなる。
企業は、導入初期はもちろんのこと、定期的に生成AIのセキュリティを点検しなければならない。APIおよびモデル保護のために、四半期ごとにセキュリティテストを実施する。オープンソースモデルを使用する場合、悪意のあるコードの検出や精密な分析を継続する必要がある。AIモデルを運用するクラウド環境やコンテナ、ネットワーク構成の確認も怠ってはならない。
セキュリティ対策
✔ AIの信頼性・リスク・セキュリティ管理(AI TRiSM)フレームワークの適用
📍 AIが処理するデータを検証し、AIモデルのセキュリティ性を継続的に評価
📍 AIモデルの異常行動検出(Content Anomaly Detection)機能の強化
✔ AIモデルおよびAPIのセキュリティ強化
📍 AIモデルが処理するデータの暗号化およびアクセス制御の適用
📍 APIの脆弱性分析およびセキュリティテストの実施
✔ クラウドベースのAIセキュリティ強化
📍 AIモデルをクラウドで運用する場合、クラウドセキュリティポリシーを適用
📍 AIが使用するデータストレージのアクセス管理を徹底的に実施
✔ AI利用ポリシーおよびガバナンスの構築
📍 AIが外部システムとどのように相互作用するかを明確に定義
📍 AI利用者のセキュリティ意識教育の強化

人気の記事








