image: inspiring.team / Shutterstock
猛烈なスピードで社会に浸透するAIの活用を後追いする形で、AIの安全性に関する規制や専門機関設立の動きもピッチを上げている。昨年末には、欧州連合(EU)はAI規制法案で大筋合意し、英国は他国に先駆けて「AI安全研究所」を発足した。こうした大局的な動向に隠れがちだが、技術面では、AIの開発・運用における現場レベルでの安全性確保に向けて、「AIのセキュリティ」という新たな領域に強みを持つスタートアップなどが活躍している。

※TECHBLITZでは、AIの安全性に関する国内外のスタートアップを独自に調査。記事後半では、中でも注目の5社を紹介します。

AIの安全性とは:
EYによると、AI(生成AIを含む)を利用する際には、主に4つのリスク「信頼性と正確性」、「プライバシーとセキュリティ」、「公平性とバイアス」、「コンプライアンス」が存在すると考えられるという*。これらのリスクを未然に防ぎ、AIが安全に社会で利用されるよう規則面と技術面での安全性確保が重要な課題となっている。

*EY公式HP / AIガバナンス態勢構築支援・サービス

<目次>
AIの安全性、ルールづくりは欧米先導
「信頼できるAI」で存在感示す日本発スタートアップ
TECHBLITZが選ぶ、AIの安全性に関連するスタートアップ5選
 1. Resistant AI(チェコ)
 2. HiddenLayer(米国)
 3. Robust Intelligence(米国)
 4. Saidot(フィンランド)
 5. Anthropic(米国)

\紹介企業5社の詳細はこちら/

AIの安全性、ルールづくりは欧米先導

 AIの安全性に関する規制の策定は、欧米が先導する形で進んでいる。特に、EUが2023年12月に大筋合意した「AI法案」は、世界初の包括的なAI規制案。施行は2026年の見通しだが、ルールづくりに長けたEUがここでも存在感を発揮し、世界の標準規格策定のベンチマークになるとの見方も強い。

 各国レベルでAIの安全性に関する専門機関を設立する動きも出始めていて、英国は2023年11月、初開催した「AI安全サミット」の場で、AIの安全性を評価する「AI安全研究所(AI Safety Institute)」を設立すると発表。米国でもAIの安全性に関する大統領令が発令されており、国立標準技術研究所(NIST)と民間企業が連携して英国と同様の専門機関の立ち上げに動いている。

 日本もこうした動きに歩調を合わせ、斎藤健経済産業相は昨年12月、やはり同様のAI安全性評価機関を、経産省所管の情報処理推進機構(IPA)に設置すると発表。安全性評価の調査や基準策定で米英などの機関と連携していくという。

AI安全サミットで登壇するスナク英首相(英首相官邸提供)

「信頼できるAI」で存在感示す日本発スタートアップ

 このように、国家レベルでは規制の枠組み作りが現在進行形で進められているが、AIの開発・運用の現場では、AIの信頼性やプライバシー保護、セキュリティ対策といった技術に強みを持ったスタートアップが少しずつ現れている。

「信頼できるAI」の社会実装を掲げるCitadel AIは、この分野で存在感を示す日本発のグローバルスタートアップ。同社によると、世の中に存在する約8割のAIアプリケーションが現実世界への導入時に何らかの障害を起こすといい、こうしたリスクを開発から運用のあらゆるフェーズで自動検証・品質管理できるのが特徴。

 特筆すべきは、同社が国際規格の代表的機関である英国規格協会(BSI)と提携を果たしたこと。世界中からノミネートされた54社のスタートアップの中から、たった1社のパートナー企業として採択された。BSIは、EUのAI法施行を見据えてノーティファイドボディ(認証機関資格)の取得に向けた取り組みを進めており、AIの国際規格とも近い位置にあるため、国際的な舞台でのCitadel AIのさらなる活躍が期待される。

image: Citadel AI

TECHBLITZ編集部が選ぶ、AIの安全性に関連するスタートアップ5選

 AIの安全性を巡っては、AIシステムの安全性を高めるセキュリティツールのほか、AIに関する規制をまとめるツールや、安全性に重きを置いたAIモデルなどが出てきている。TECHBLITZ編集部が選ぶ、AIの安全性に関連したスタートアップ5社はこちら。

1. Resistant AI

Resistant AI
AIシステムを標的とした不正や攻撃を検知
設立年 2019年
所在地 チェコ プラハ
 Resistant AIは、人工知能 (AI) を用いたシステムを標的にした不正や攻撃をAIで検知するセキュリティプラットフォーム。機械学習を活用し、AIシステムをターゲットとしたドキュメントの不正や攻撃を検知し、初期段階で防御する。Google Venturesが出資している。
image:Resistant AI

2. HiddenLayer

HiddenLayer
AI導入システムを対象とした脅威管理プラットフォーム
設立年 2022年
所在地 米国 テキサス州 オースティン
 HiddenLayerは、AIや機械学習、自然言語処理を活用するシステムを保護するセキュリティプラットフォーム。敵対的な攻撃、脆弱性、悪意のあるコードインジェクションからAIモデルを保護するツールを提供。
image:HiddenLayer

3. Robust Intelligence

Robust Intelligence
AIを活用した映像データの匿名化
設立年 2019年
所在地 米国 カリフォルニア州 サンフランシスコ
 Robust Intelligenceは、脆弱性を素早く特定してAIシステムを強固にするエンドツーエンドのAIセキュリティプラットフォーム。導入後も、本番データを継続的に検証し、アクティビティを可視化すると同時に、問題を検出した際には根本原因を分析/特定する。
image:Robust Intelligence

4. Saidot

Saidot
AIガバナンス用SaaS
設立年 2018年
所在地 フィンランド ヘルシンキ
 Saidotは、AIに関するガバナンスやポリシーを一貫して管理するプラットフォーム。AIに関する規制や法律が日々更新されていく中、同社は企業向けに、様々なAIモデルの情報源や使用例をまとめたカタログ / AIの評価ツール / AI安全性レポート作成などのツールを1カ所にまとめて提供している。
image:Saidot

5. Anthropic

Anthropic
安全性を重視し構築された生成AI
設立年 2021年
所在地 米国カリフォルニア州サンフランシスコ
 Anthropicは、安全性を重視するとともに大規模なタスクにも対応可能な生成AI / AIアシスタント「Claude」を展開。人間によるフィードバックではなく、憲法などに定義された価値を取り込むことで、有害、違法、差別的、非倫理的な回答生成の回避を目指す。カスタマーサービス、法的文書の解析、キャリアコーチング、バックオフィス業務支援などでの利用を想定。GoogleやAmazonが出資している。
image:Anthropic

\紹介企業5社の詳細はこちら/



RELATED ARTICLES
シリコンバレー在住・出張者必見、7月のおすすめイベント5選
シリコンバレー在住・出張者必見、7月のおすすめイベント5選
シリコンバレー在住・出張者必見、7月のおすすめイベント5選の詳細を見る
【2025年最新版】シリコンバレー出張ガイド、観光・グルメ・おみやげ編
【2025年最新版】シリコンバレー出張ガイド、観光・グルメ・おみやげ編
【2025年最新版】シリコンバレー出張ガイド、観光・グルメ・おみやげ編の詳細を見る
【2025年最新版】シリコンバレー出張で訪れたい、ビジネスマン必見スポット10選
【2025年最新版】シリコンバレー出張で訪れたい、ビジネスマン必見スポット10選
【2025年最新版】シリコンバレー出張で訪れたい、ビジネスマン必見スポット10選の詳細を見る
シリコンバレー在住・出張者必見、6月のおすすめイベント5選
シリコンバレー在住・出張者必見、6月のおすすめイベント5選
シリコンバレー在住・出張者必見、6月のおすすめイベント5選の詳細を見る
シリコンバレー在住・出張者必見、5月のおすすめイベント5選
シリコンバレー在住・出張者必見、5月のおすすめイベント5選
シリコンバレー在住・出張者必見、5月のおすすめイベント5選の詳細を見る
シリコンバレー在住・出張者必見、4月のおすすめイベント5選
シリコンバレー在住・出張者必見、4月のおすすめイベント5選
シリコンバレー在住・出張者必見、4月のおすすめイベント5選の詳細を見る

NEWSLETTER

TECHBLITZの情報を逃さずチェック!
ニュースレター登録で
「イノベーション創出のための本質的思考・戦略論・実践論」
を今すぐ入手!

Follow

探すのは、
日本のスタートアップだけじゃない
成長産業に特化した調査プラットフォーム
BLITZ Portal

Copyright © 2025 Ishin Co., Ltd. All Rights Reserved.