（SECCON実行委員／事務局長　園田　道夫）

今度NICTというところでセキュリティ人材育成研究センターという組織が立ち上がったんですが、最近そこでも働くようになった園田です。JNSA付近ではSECCONの実行委員もしています。

先日Interop2016にて、「人工知能の敵」というテーマで40分のパネルディスカッションを行いました。短い時間だったので触れられないテーマもありましたが、企画した側としてはIBMのワトソンの話が割と詳しく聞けて良かったと思っています。本稿ではそこで行われた議論も踏まえて、人工知能とセキュリティ、人工知能のセキュリティというテーマを展開していきたいと思います。

■人工知能の概要と活用

人工知能は概念的には機械学習などのアルゴリズムを部品的に用いて高度な推論を行うシステムですが、その前提には巨大なデータ量と計算機パワーがあり、これまでは机上のお遊びと言われても仕方の無いところでした。しかし計算機能力の向上やデータの巨大化がその能力を実地で試す機会を与えてくれるようになりました。実際さまざまな形で実装および実用が進み、この流れは非常に速く、人類が危機感を覚えるほどになっています。とはいえ個人的には、その危機感が現実のものになるのにはまだまだ時間がかかると思いますが。

サイバーセキュリティ分野でも活用されはじめています。どの分野でもそうですが、機械学習や人工知能に求められているのは、セキュリティ分野で言えば例えば過去に例が無いウイルスや攻撃があったときにそれをウイルスや攻撃として検知することです。つまり、過去の事例とそのまま、あるいは抽象化して照合判定するのではなく、それらを知識として飲み込んだ上で未知の事象にも対処できることが求められているのです。そして、今商用化が進んでいるのはそうした役どころのシステムが多くなっています。

■システムとしての人工知能のセキュリティ

人工知能のセキュリティを考える場合、まずは二つの観点があると思います。

一つ目はシステムとしてのセキュリティです。つまり、入力データに細工されての不当な操作を許さず、システムが保持する重要なデータを保護する、という観点ですね。

システムに対する攻撃の多くは、入力データの吟味が十分でないことを突かれてしまうものです。バッファオーバーフロー攻撃もSQLインジェクション攻撃も、その他の多くの攻撃も何らかの不正操作を狙うコードを「インジェクション」つまり「挿入」されたデータを適切に処理できないことが原因となって起きるものです。

人工知能システムもこの点は例外ではありません。システムとして入力データにきちんと備えていなければ、当然ながらバッファオーバーフローやデータベース操作攻撃を受けてしまうでしょう。そうした攻撃が成功すれば、内部で保持している学習結果のデータを汚染あるいは不正操作されてしまうことがあり得ますし、その結果判定や推論に影響が出てしまうこともあるでしょう。もっとも、保持しているデータはアルゴリズムが必要とするデータであり、対象となる事象のどういう特徴を定量化してそのアルゴリズムに渡しているのか、さらにそれらの特徴をどのように関係させて推論に結びつけているのかが理解できないと、望む操作をすることは難しいかもしれません。

ブラインドSQLインジェクション攻撃のように、相手の反応を見て操作したデータの影響を検討・吟味し、判断や推論を望む方向にねじ曲げていくことも考えられます。その場合、そうした攻撃は人間ではなく、それこそ学習型システムが行うというのが現実的かもしれません。ただし、攻撃が長期になれば効果が薄まってしまう可能性もありますし、短期で一気に行うと運営に検知されてしまう可能性もあります。このあたりは既存の攻撃と同じと言えそうですが、そうしたリスクをコントロールしながら外部から攻撃するのは難しいかもしれません。

■学習プロセスの保護

また、入力データの機械的な吟味の手段だけでなく、学習的な備えが万全でない場合もあるでしょう。例えば、まだ赤ちゃんに近い学習度なのにデータ入力を広く一般に開放してしまう場合などもそれに含まれます。十分な学習を行って自己が確立する前に過激な思想を過剰に吹き込まれて差別主義者になってしまったマイクロソフトの人工知能は、学習初期には良質なデータが重要であることを証明しています。また、同分野同目的の人工知能の精度や性能で競うような場合には、性格づけるための最初期の学習データセットもその材料の一つとなるでしょうし、保護される対象となるはずです。APTと呼ばれる攻撃も、もしかしたら将来はこうしたデータセットの汚染や破壊を目論むものになるかもしれません。

このように、システムとして見た人工知能には守るべきポイントが多数存在します。ちなみに、パネルディスカッションではこうしたポイントについての疑問を、IBMの大津留さんにぶつけてみましたが、ワトソンではきちんと考えられているということがわかったのは収穫でした。何ができる、ということは情報として伝わってくるのですが、なかなかシステムとして事例を元に検討することはできないので、良い機会だったと思います。

次回は二つめの観点であるデータの汚染などのテーマを掘り下げてみたいと思います。（後編に続く）

＃連載リレーコラム、ここまで

＜お断り＞本稿の内容は著者の個人的見解であり、所属企業及びその業務と関係するものではありません。

【部会・WG便り】

★「セキュリティ被害調査WG」では、今年度の活動メンバーを募集しています。
　次回WGが以下の日程で開催されますので、参加希望の方は、事務局までご連絡下さい。

　　＜次回WG＞
　日時：7/11（月）　16:00-18:00
　場所：JNSA事務局（西新橋）　会議室

★「IoTセキュリティWG」では、「コンシューマ向けIoTセキュリティガイド」を公開しました。ぜひご覧下さい。
　https://www.jnsa.org/result/iot/

★「セキュリティ市場調査WG」による「2015年度 情報セキュリティ市場調査報告書」を7月11日（月）に公開予定です。お楽しみに！
【事務局からの連絡、お知らせ】
★「第6回日韓情報セキュリティシンポジウム」参加申し込み受付中です。
　多くの方のご参加お待ちしております。
　　日時：2016年7月28日（木）10：00〜18：15（受付開始 9：30）
　　場所：秋葉原UDX Gallery Next-1 （東京都千代田区外神田4-14-1）
　　＜参加申込み＞プログラム下のお申込みフォームからお申込み下さい。
　　 https://www.jnsa.org/seminar/2016/0728/
　　※同時通訳があります。
★「RSA Conference 2016 APJ」の開催が迫ってまいりました。
　JNSA会員の方には100シンガポールドルの会員割引が適用されますので、参加をご検討されている方はぜひ御利用下さい。
　（割引コードが不明の方は事務局までお問合せ下さい）
　＜お申込みはこちら＞
http://www.rsaconference.com/events/ap16/register?utm_source=assoc-jnsa&utm_medium=email&utm_campaign=standardreg-2-keynotes-apj2016
★JNSAソリューションガイドはJNSA会員の製品・サービスの検索サイトです。
ぜひご活用下さい。
https://www.jnsa.org/JNSASolutionGuide/
☆コラムに関するご意見、お問い合わせ等はJNSA事務局までお願いします。

*************************************
JNSAメールマガジン　第90号
発信日：2016年7月8日
発行：　JNSA事務局　
*************************************