三井物産セキュアディレクションとChillStack、AIを守る技術に関する共同研究を開始 〜 AIに対する攻撃手法を検証・体系化、攻撃に対する防御技術の実証実験を実施 〜

 三井物産セキュアディレクション株式会社（代表取締役社長：神吉敏雄、以下「三井物産セキュアディレクション」）と株式会社ChillStack（代表取締役CEO：伊東道明、以下「ChillStack」）は、AI^*1の開発・提供・利用を安全に行うためのAIを守る技術に関する共同研究（以下「本共同研究」）を開始しました。

【本共同研究の背景】

 近年、AI技術の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術等、様々な分野でAIの社会実装が進んでいます。その一方で、AIに対する攻撃手法も数多く生まれ、防御技術の確立が急務となっています。しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術で対策することは非常に困難です。

 下図は、AI開発の工程^*2と、各工程で想定される脅威^*3の一例を示しています。

 各開発工程でセキュリティを考慮していない場合、攻撃者が細工したデータが学習データに注入されることで、AIにバックドアが設置されてしまう問題や、AIの入力データが偽装されることで、AIの判断に誤りが生じる問題等が顕在化するおそれがあります。

【共同研究概要】

 本共同研究では、既知の攻撃手法の検証と体系化を行いながら、新規の攻撃手法と防御技術の研究も同時に進めていきます。

【ハンズオン・トレーニング】

 実証実験の結果等を元に、AIの安全を確保する技術を普及する活動の1つとして、「一からAIの安全確保技術を習得」できるハンズオン・トレーニングを開発・提供します。

 2020年5月頃から、下記内容のハンズオン・トレーニングを提供開始する予定です。

・AIを騙す攻撃
人間には識別できない小さな変化を加えたデータを使用し、AIを意図的に騙す攻撃手法と対策を学びます。

・AIを乗っ取る攻撃
AIが学習するデータセットを汚染し、AIにバックドアを仕込むことでAIに意図した挙動をさせる攻撃手法と対策を学びます。

・AIシステムへの侵入
機械学習フレームワークの仕様を悪用し、システムへ侵入する攻撃手法と対策を学びます。

 なお、ハンズオン・トレーニングの内容を随時アップデートしながら、機械学習未経験者向けやAIセキュリティ上級者向けのトレーニング教材も今後提供していく予定です。

 三井物産セキュアディレクションとChillStackは、セキュアなAIを構築する支援を通じて、AI技術の発展に寄与してまいります。

*1 ディープラーニングをはじめとする機械学習を活用したシステムを指します。
*2 開発工程の一例であり、組織によっては別の開発工程を採用している場合もあります。
*3 脅威の一例であり、他にも考慮すべき脅威はあります。

【研究担当者】

名前	所属	活動歴
米山 俊嗣	三井物産セキュアディレクション 先端技術セキュリティセンター センター長	・Bug bounty hunter ・修正済みの脆弱性報告件数 (CVE*4取得) 47件（2016～） ・Hack2Win (CODE BLUE) 3位（2017） ・Black Hat Arsenal ASIA 登壇（2018, 2019） ・DEF CON DemoLabs 登壇（2018） ・Bsides Tokyo 登壇（2018） ・JANOG 41 Meeting 登壇（2018）
高江洲 勲	三井物産セキュアディレクション 先端技術セキュリティセンター セキュリティエンジニア	・セキュリティ・ネクストキャンプ講師（2019） ・SECCON ワークショップ講師（2019） ・Hack In The Box - AI Challenge 審査員（2019） ・CODE BLUE Briefings/Blue Box 登壇（2016, 2019） ・Black Hat Arsenal ASIA/USA/EURO 登壇（2016, 2018, 2019） ・DEF CON DemoLabs/AI Village 登壇（2018） ・BSides Singapore/Tokyo 登壇（2019） ・PYCON JP 登壇（2017）
廣田 一貴	三井物産セキュアディレクション 先端技術セキュリティセンター セキュリティエンジニア	・セキュリティ・キャンプ講師（2015, 2016, 2019） ・SECCON2013 東海大会優勝 ・SANS Netwars 3位（2014） ・電気通信大学　講演講師（2017～） ・サイバーセキュリティ関連書籍の執筆（2015～）
伊東 道明	ChillStack 代表取締役CEO	・IEEE CSPA 2018 Best Paper Award ・セキュリティキャンプフォーラム2018 最優秀賞 ・セキュリティ・ネクストキャンプ講師（2019） ・公益財団法人クマ財団2期生選出（2019） ・SECCON NOC運営（2017） ・SECCON ワークショップ講師（2019）
市川 遼	ChillStack テクニカルアドバイザー	・CTFチーム TokyoWesterns リーダー ・HITCON CTF Finals 3位（2019） ・DEF CON CTF Finals 出場（2018, 2019） ・WCTF 1位（2018） ・CODE BLUE Briefings 登壇・U25最優秀発表（2019） ・AIS3 (台湾) 講師（2019） ・NDSS Workshop on Binary Analysis Research (BAR) 招待講演（2019） ・ISUCON8 優勝（2018）
長澤 駿太	ChillStack データサイエンティスト	・Peakers Academy Gunosy Cup 3位（2019） ・DeNAデータ解析コンペティション 優勝（2019） ・Signate AI創薬 : 薬物動態パラメータ 銀メダル（2019） ・NLP若手の会 第14回シンポジウム 発表（2019） ・言語処理学会 第26回年次大会 投稿（2019） ・ACL網羅的サーベイ報告会 登壇（2019）

*4 Common Vulnerabilities and Exposures。製品やサービス等の脆弱性を識別する世界共通の識別子。

【会社概要】

【本件についてのお問合わせ】
三井物産セキュアディレクション株式会社
ai-sec@mbsd.jp

株式会社ChillStack
admin@chillstack.com