**********************************************************************
セッション : S2-b
テーマ : 機械学習モデルを搭載したセーフティクリティカルなシステムの品質保証
講師 : 桑島 洋, 中江 俊博
日時 : 2018年8月31日（金）09:00 ~ 10:17
参加人数 : 32 名 (終了時)
**********************************************************************
■ アジェンダ
・ 会社紹介
・ AIの説明
・ AI品質基盤・開発プロセス基盤開発へのデンソーの取り組み
・ AI品質技術の動向
・ デンソーの考える技術基盤の課題
■ 前半
□ 発表者
・ 中江さん
□ DENSO会社紹介
・ トヨタ系列の自動車部品を作るメーカー
- 売上 : 約5兆円
- 従業員 : グローバル約16万人 / 国内 約4万
- 自動車部品メーカーとしては世界第3位
- 拠点
- 本社 : 愛知県刈谷市
- 支社 : 東京など
- 東京拠点にも最近は力を入れている
- 東京に拠点を置いたほうがオープンイノベーション推進の上で地の利を出せる
- IT・AIの人材が東京に多い
- 日本橋・品川の社員数約200名
- 主な製品
- モビリティシステム
- ミリ波レーダ
- 画像センサ
- ドライバステータスモニタ
- 自動運転等の先進安全製品
- サーマルシステム（車内エアコン）
- パワトレ
- オルタネータ
- スタータ
- 電子システム
- 車載向けのICなど開発
- 自動車以外
- 生活機器・住宅機器は
- エアコン技術をつかったもの
- IoT・ロボット
- エネルギーマネジメント
- 今後力を入れていこうとしている
- 製品にAIを導入
- ミリ波レーダ、画像センサなどで一部採用
- 先行車との車間距離維持
- アダプティブクルーズコントロール
- 画像センサによるで物体検知の技術
- 今後AIが使われていく領域
- 農業・セキュリティ・情報ソリューション・ヘルスケア
・ 所属
- モビリティシステム事業グループの中の組織
- 自動運転、先進安全製品の開発
- コネクティッド・コックピッドの開発をしている事業グループの一員
- 部署のミッション
- 全社の共通基盤を開発
- プロダクト層、サービス層に対し縦櫛
- ビジネスエコシステム、モビリティサービス・・・
- 共通を開発して製品開発に活かす
- 人材、プロセス、アーキテクチャ、技術
- 先進パートナー
- それぞれ研究機関・大学と共同研究し新しい技術をインプット
- US・欧州・日本
- USは尖った製品、尖ったサービスを生み出す
- 取り組み最新のトレンドウォッチ
- EUは標準化を生み出す
- どうなっていくか相場感を見極める
- 日本はAI・機械学習においてリケン研究所と共同研究
- AI品質基盤、制御システム開発基盤、ソフトウェア技術・技法
□ AI品質基盤について
- AIが使われてきた時に 100%の結果を保証できない
- 自動運転などセーフティクリティカルなシステムでどう品質を保証していくかが大きな課題
- 課題を切り分けから始め、どこに力を入れていかなければいけないか考える
・ AIとは
- 人間の知的活動行動をコンピュータ化
- 身近な分野での利用例
- 不動産査定
- 入力
- 駅からの距離、部屋の広さ、築年数とかを
- 出力
- その物件はいくらで売れるのか 価格予測
- 質問解答
- IBMのwatson
- 音声認識、言語・問題理解、音声回答
- 医療
- 入力
- 医療画像
- 出力
- がん細胞
- インフラ
- 道路のひび割れを画像認識
- 現地でドローンを使い高架の橋梁などを撮影
- クラウド側のシステムに送信・学習データとして収集、ディープラーニングで学習
- 学習済みモデル使い、未知の画像を入力することで損傷判別・位置の可視化
- その他
- 囲碁将棋
- 自動車へのAI活用
- プリクラッシュセーフティといった歩行者や障害物を感知してシステムが自動検知
- ブレーキをかける予防安全
- 今後の利用
- 自動運転による判断操作
- 認識だけでなくステアリング操作まで行ってくれるところまで発展していくと予測
- 決められた区間の運送・任意区間の輸送
- 車内空間
- 室内環境の改良・快適性への適用
・ 言葉の定義(AI・機械学習)
- N社の資料をもとに整理
- 1950年からAIという言葉はある
- エキスパートシステムのようなルールベース
- 判断の軸を変えるなどしてきたが限界になった
- データからパターンを学ぶ"機械学習"という概念へ
- スパムメールの分類に昔から利用されてきた
- 2012年頃から深層学習(ディープラーニング)が出てきた
- 包含関係
- 人工知能の一部に機械学習、その中にディープラーニング
- ディープラーニングをAIという事が多い
- 今回は"AI"を"ディープラーニング"として用いる
・ ディープラーニングは何がすごいか
- 従来の識別手法 : パターン認識・マッチング
- 局所特徴量を使用
- 画像認識の場合の例
- 山のように積み重なった本の中から、特定の本の表紙を探す
- 点群の特徴ベクトルとして人間が考える
- 類似度を算出して近いものを線としてつなぐ
- 実現できているレベル
- 表紙が回転・大きさが変わるスケール変化には対応可能
- 特定のドメインで書いているもの
- 人検出など、特定のモノを検出するものはかなり高い
- よく考えられた特徴量
- 検出は難しいパターン
- 複雑な形
- 局所的に見るとそれぞれ全然違うパターン
- ピザやお好み焼きといった画像
- 全体的に見ると分かる
- 汎化能力の壁
- 2012年トロント大学のジェフリー・ヒントン教授をきっかけにAIが広まった
- ニューラルネット・ディープラーニングと呼ばれる手法を導入
- かなり高精度
- 画像認識のコンペティションでイメージネットのデータに対してラベル付けの精度を競争
- 初参加で初優勝
・ ディープラーニングは汎化能力について
- 車の絵から車の種類を分類
- 従来
- 特徴量を人間が設計
- サポートベクタマシンなどの分類手法に特徴量を入れる
- 特定の特徴量によって車と認識
- ディープラーニング
- 従来手法の"浅い学習"に対してニューラルネットワークのような"層を段階に分けて深いものにした"ものがディープラーニング
- 最初はランダムに初期化
- 学習画像をいれると何かしらの判定（でたらめな答え）が出てくる
- 誤差を修正ために、重みと呼ばれるつながりを徐々に修正
- エッジや丸といった模様→パーツ→ ・・・ → 概念
- 課題
- 従来は人間が判断条件を考えて設定していたが、今は機械がすべて行うのでブラックボックス化
- 間違えた時に、なぜ間違えたのか理由が分からない
- どう対応すべきかが課題
- 現在進行形でディープラーニングの技術を開発している
- 2012年は8層だったが、現在はは50, 100, 200層と深くなっている
- ブラックボックス化も加速
- 精度
- イメージセット : 100万枚の画像で1000個のカテゴリに分ける問題設定で精度検証
- 従来のエラー率 : 28% → 現在のエラー率:3%以下
- 人間の精度 : 5%
□ ここまでのまとめ
- AIのブラックボックス化対して、技術的な検証の指針がない
- 先進技術・産官学・社内事例からAI品質基盤・開発プロセス基盤開発に取り組んでいる
□ 品質保証について考える
・ 自動車を例に品質保証を考える
- 死亡事故が起きるか検証する場合に、どれだけ走れば良いか検証したグラフ
- 横軸が1億マイル(約1.6億km)あたりの事故件数
- 左のライン死亡事故率が1億マイルあたり1.09件
- 事故件数は平均
- グラフデータから検証のために事故の起こる確率から必要な走行距離を計算
- 自動運転による最大死亡事故率が1.09件/1億マイルであることを信頼度95%で示すために必要な無事故の走行距離は2.75億マイル
→ 自動運転の機能をアップデータするたびにその距離を走る必要があるのか
→ 膨大なデータが検証に必要になるが、現実的な検証は不可能である
・ AI品質基盤の具体的考え方
- データから学習済みモデルに機械学習を使い構築
- 従来 : 仕様書からプログラミングをしてソースコードにおとす
- 仕様書は人間が分かるように明示
- データを集める作業、タグ付けにおける課題
- 従来のソフトウェア開発には存在しない課題
- タグ付け作業はどれくらい必要なのか分からない
- 車や人を区別
- タグの仕様が分からない
- どのようなデータを自動車とみなすのか
- 出来上がった学習済みモデルもニューラルネットが膨大になるとブラックボックス化
- テストの十分性が保証できない
- データ品質、モデル品質とそれぞれとらえて課題解決に取り組んでいる
- AI品質課題の根本解決
- AIだけで解決ができない問題も出てくる
- 機械学習を含むシステムをどのように品質の問題を解決するか考えなければいけない
- 最近はソフトウェア工学の考え方をAIシステム向けに応用する動き
- 研究会
- 機械学習工学研究会
- 今年の4月にソフトウェア科学会から発足
- 5月のシンポジウムには500人が集まり開催
- 海外でもいくつか同様の研究会が立ち上がっている
- 標準化
- SOTIF(Safety Of The Intended Functionality)
- 機能安全の拡張版と考えられる動き
- ハードウェアの故障に限らない
- 認識に関して雨粒がカメラについている場合でも性能も確保できるかなども含む
- 業界・標準化の動向を把握
- ドイツ「PEGASUS」という取り組み
- 車両レベルでテストのシナリオ生成手法
- テストツールチェーンといった標準化する動き
- アメリカ「NHTSA」
- 日本における国土交通省に似た省
- 自動運転の安全ガイドラインの発行
- 事故の責任概念を定式化した安全ポリシー
- RSS (Responsibirity Sensitive Safty)
- 車両観点から見て下のシステムや機械学習モデルに対してどのような影響があるか
■ 後半
□ 発表者
・ 桑島さん
□ セーフティクリティカルな機械学習動作システムの品質保証の動向とデンソーの取り組み
・ 機械学習や検証に関するトップカンファレンスでのAI品質保証の研究に盛り上がりが見られる
- 代表的な会議
- 国際機械学習会議 ICML
- 国際人工知能会議 IJCAI
- 人工知能全体を対象
- コンピュータ支援検証に関する国際会議 CAV
- 論文が増えている
- それぞれの会議で増えている
- CAVが減っているが、2017に多く出て、2018におちついた 2016全くなかった
- セーフティクリティカルシステムにディープラーニングを載せたらどうなるかワークショップ
- 以前より学会で開かれる数が増えている
- 論文タイトルから見る
- ICMLで2017~2018にどのようなキーワードが増えたか
- 2倍以上増えたものに着目する
- Adversarial
- 品質もしくはセキュリティに関係
- 検証、技術を後で紹介
- 生成モデル
- generatrative adversarial TWORKS
- reinforcement
- 強化学習
- variational
- 変分法
- 他のトレンドも動いているなかでAI品質が大きい
- ニューラルネットワークなどの性能を少しでも上げる研究の落ち着き
- 性能は十分に上がったからでは
- 関心は性質の解明などに移っている
・ Adversarial Example
- ディープラーニングの学会で発表されたものが元
- ディープラーニングのモデル
- その中に何が映っているかつくった
- オリジナルはパンダと認識される
- ノイズをいれる
- 人間が見るとパンダに見える
- ディープラーニングはテナガザルと識別
- ディープラーニングを騙すノイズを作ることができると分かった
- どのようなノイズを入れたら騙せるかを研究
- 攻撃手法
- ノイズを入れたものをどうディフェンスするかも研究
- 重要なAI技術
- 車ドメインとの関係
1. 信号機の色認識
- 青信号、赤信号の判定
- 1ピクセルだけ色を変える
- 青信号の画像に赤のピクセルを一つ入れるで赤信号と誤認識
- 攻撃者がピクセルの色を変えたり、何らかの影響で変わった場合騙すことが可能
2. 標識認識
- stopサインにノイズを入れると30km速度制限
- 80km速度制限にノイズを入れると30km速度制限
- 簡単に騙される
・ 様々なAI品質の会議・ワークショップ
- 国際的な会議・学会
- 2018年の最初にSysML Conference
- System Machene Learning
- システムマシーンラーニング
- スタンフォード大学からがはじまり
- アカデミアのAI品質への関心も高まっている
- 日本 ： 機械学習工学研究会
- 発足
- 去年から非公式にconpass等で活動
- 今年の4月に正式に発足
- 目的
- 機械学習システムの開発テスト運用の方法論の体系化が趣旨
- これまでの活動
- 5月にキックオフ
- 7月にワークショップ
- 8月にソフトウェア学会の全国大会内で単独セッション
- 最近のイベント、ワークショップ
- デンソーがセーフティクリティカルのAIを搭載するシステムに関して発表
- NII（国立情報学研究所）のIさんと日本大学のMさん
- 機械学習システムにおける理論モデルの活用に関する発表
- JAXAの方
- 機械学習の応用システムの信頼性に関する発表
- その他
- テーマ別で議論する形式
- テスト手法・評価手法・データ開発環境・工数見積もり・運用
- 参加まとめ
- 主な議論内容
- 機械学習開発・運用環境
- 機械学習評価
- モデルの良し悪し
- 機械学習の体系化
- 機械学習のオープン化
- 組み込みに関する観点は無かった
- 組み込みシステムに機械学習に入るとどうなるか、ぜひ、SWESTで考えていただく・提案していただくと活動が進んでいくのでは無いかと思う
□ 海外の動向 ～説明可能AI～
- DARPA : 国防高等研究計画局
- AI : 普通は性能が非常に良い
- 意思決定やAIの行動をユーザに説明できない
- 克服・説明できるようにする
- 人間のパートナーとして説明できるAI
- XAI (Explainable AI)
- 理由を説明してくれない → 答え + 説明のAIをつくる
- 参加者
- 主要大学,研究所など
- ディープラーニングの中でそのまま説明
- 画像の中でどこでどのように対応しているかを明らかにすると説明性があがるのではないかという考え方
- ビル
- 窓の形など
- 家具
- 座る所のの形など
- 答えに至った理由を別の方法で説明
- 顔が怒っているか、笑っているかを最初に認識
- 怒っている顔であると認識した場合、その理由として類似した画像も出して説明
- 他にも異なる説明技術が研究されている
□ AI品質基盤の考える課題
・ 機械学習セーフティクリティカルシステムの開発時に解決しなければいけない課題の紹介
- 前半で紹介した考え方
- 車両システム（車両全体）としての品質保証
- 扱う製品が車部品である
- 車両の中の（サブ）システムとしての品質保証
- （サブ）システムの内部に組み込まれる機械学習モデルの品質保証
- 今回のスコープは機能開発の課題
- 機能開発の時点で機械学習のモデルを固めて、次の段階で実装
- 機能開発の時点で様々な課題がある
- 実装の課題が0かは分からない
→ 組み込みの観点からの課題は明らかでないので、組み込みシステム開発者の方と明らかにしたい
- 車両レベルの課題
- 車は高速道路や下道といった様々な道を走る
- 決まったところを走る車であれば完全にコントロール可能 → 自動運転は走る未知が決まっていない
- ゆりかもめなど
- 工事している・白線が消えかけているなどの条件は完全には把握できない
- 何が起こるか完全には分からない階層
- 理論的に、数学的に検証できるものではない
→ 実験的に、いろいろな道を走り、統計的性質を満たしていることを示す必要があると考える
- 何億マイルも走るという事につながる
- 自動運転車が走る物理環境の把握
- 長距離試験に該当する試験をいかに効率的に行うか
- 実験的な試験を解決のための技術
- 統計的な技術
- PEGASUS等の業界標準
- 高速道路をいかに長距離走り、シナリオをつくり検証する
- ドイツは高速道路が張り巡らされている
- 高速道路の一部でデータ収集し、シナリオの確認
- 天気、逆光のケース等
- PEGASUSプロジェクト
- データの集め方
- 自動運転でデータを集める
- 事故のデータベースでデータ集める
- シミュレータ・大規模テストコースで再現
- コンセプト
- 収集したデータを相互利用できるようなフォーマットに直す
- PEGASUSデータベースに入れる
- 検証する
- 自動運転を販売するために必要な品質基準
- シナリオの合格基準
- 自動実行するツール
- テスト、継続的インテグレ—ション、シナリオ準備等
- システムのレベルの課題
- 機械学習に関するモデルはボトムアップ
- これまではトップダウンに人が行い、仕様を作成してきた
- トップダウンとボトムアップの境目になる部分がシステム
- 機械学習モデルの不確実性
- 100%正解することは不可能
- 不正解の時の"プランB"をどのように用意するか
- 機械学習モデルは "Change Anything Change Everything"
- 一部のパラメタを直すだけで破綻
- もう一度学習しないといけなくなる
→ 基本は機械学習のモデルは一度作ったらできるだけ変えない
→ アーキテクチャ等が必要
- 技術としてソフトウェア工学やシステム工学がある
- DOER-CHECKERアーキテクチャ
- アルゴリズムに機械学習、外にセーフティチェックが入る
- 機械学習のモデルが変なことをすると止める
→ 機械学習をシステムに組み込むための工学が必要だと考える
- 機械学習作成時の課題
- 機械学習の流れ
- 訓練データ集める、パラメタを調整する、訓練データを追加、…
- データからボトムアップで訓練
- セーフティクリティカルなシステムをつくる上で要件定義が重要である
- テストデータの設計がセーフティクリティカルなシステムに使う上で必要
- 機械学習の開発プロセス
- 上位の要件定義受け取り後、環境設計と品質設計が必要
- 環境設計
- 日本で使われるか、アメリカか、晴れの日か、雨の日か
- テストデータの分布を設計が必要
- テストデータをどのくらい収集すれば十分かと明言できない
- 完了条件を要件として決めると良い
- 品質設計
- 晴れの日、雨の日の性能、人間を認識する性能、ゴミを認識する性能
- 機械学習のモデルは認識精度が良い・悪いといった観点でしか現在は考えられていない
- 性能以外にも様々な観点に考慮する必要がある
- 攻撃受けた時にどれくらい強いのか
- Advertise Exampleなどへの対応
- データ分布が変わってきた時に追随できるか
- 仕様定義（モデルを訓練するプロセス）
- 自動でやるプロセスで人が行うことはほとんどない（ハイパーパラメタのチューニングなど）
- 自動で行うが故に発生する問題
- 機械学習の訓練はハイパーパラメタを変更しながらの実験
- 実験を積み重ねることで良いものができることがある
- 何を変更して、何が良かった分からなくなる
- 再現できないようになることがある
- トレーサブルにすることが必要
- 検証と運用
- 環境の要件、テストデータ品質の要件、そして形式検証するプロパティを持ってきて検証
- 自動検証が注目 だがまだスケーラビリティは実用的なレベルには至っていない
- 機械学習モデルは間違えるフェーズが出てくる
- どのような時に、どのような間違いをしたかをグループ分けすることが重要
- テストデータの分布の事後設計
- 環境要件は事前に定義
- 実際のテストデータは環境要件に適したデータだったのかバリデーションする
- 現状はテストデータを与えられ、それで性能が良いか見るだけ
→ テストデータそのものも疑って、テストデータが良いものか、性能以外にも観点は無いかといった検証が必要
- 自動検証の技術紹介
- ニューラルネットを自動で検証
- 主要な検証
- 大域頑健性
- 少しの入力変化では出力が変化しないことを証明
- ReLUplex
- 一定の入力を与えた時の出力の範囲が、どの範囲に絶対に入っているかを説明
□ 主張
- セーフティクリティカルシステムに機械学習システムを使うには、新たな品質保証枠組みが必要と考えている
- 今日は機能開発の観点から行ってきたが、SWEST参加者の皆様には組み込み開発の観点から得られる課題、ソリューションの提案を期待している
□ 後半まとめ
- AIから機械学習、ディープラーニングという流れを説明
- ディープラーニングを導入するとブラックボックスが起こり検証が難しい
- ブラックボックス化における課題解決のための動向紹介
- デンソーが考える品質基盤の課題紹介
- 車両システムの機械学習モデル品質保証課題
- 機械学習モデルに対応した自動検証技術の紹介
■ 質疑応答
Q. プラントのコントロール・監視システムは安全性を確保するために全部の制御を二重化、故障があったら止めるが、自動車も二種類三種類もアルゴリズムを載せて一致しなかったら止めるといったことをする研究しているか？
A.
- 畳み込みニューラルネットワークを別々のアーキテクチャ、別々に学習させ、二重系にしたことがある
- ニューラルネットワークの強みと弱みが排他的にならなかった
- 手段Aが失敗しているときに片方が成功というふうを期待するが、NNは強みと弱みが一致
- 排他的な強みを持つアルゴリズムから二重系にできれば良いと考えている
Q. 試験をするのに何億kmも走ってデータをたくさん取らないといけないということがあったが統計的な問題になる。統計的を使ってデータ処理をする説明があったが、具体的にどういった手法を使って、どういった問題を解決する案などがあったら聞きたい
A. 具体的な案はない
- べき乗の法則
- 車の運転で普通のイベントが起こるが、それはべき法則の最初の部分に入る
- アメリカではピックアップトラックからベッドが落ちてきて当たる、というようなことがある。このような希少イベントは、べき分布のロングテールの部分にある
- ロングテールの部分の希少なイベントを意図的に集めることができれば、長距離でなくても少ない距離で同じ距離のことを行ったという事が出来るのではないか
Q. 稀な事象は人間の運転するなかで防止できない。か人ができないから対応しなくて良いと考えるのか、人工知能を使うのであれば検証可能なので稀な事象も切り捨てないで対応したいのそこもカバーするか
A.
- 今は、ごく稀な事象にも対応したいという流れ
- 人と自動運転を比べると同じ事故率という結果ではダメとかが得られている
- 人に比べて、自動運転は事故が1/1000に減らないといけない、などと言われている
- システムには責任を負わせれないので、このような厳しさを想定していると考えられる
Q. 日本における交通事故データの取り扱いについて質問。都道府県警のデータや損保・道路管理者のデータなど、例えば、高齢者の運転の事故を減らそうといった時に自動運転に利用するための背景になるデータが無いなど、データを管理する機能が日本では不十分である。海外のデータが取れる場所で実証実験を行ったらどうかという話があるがそういったことは考えているのか
A.
- ITARDAといたデータベースがあるが整備されていない状況であり、現在は解決のために国の方も動いていると聞いている
- 現状は自動車メーカー・サプライヤがそれぞれデータを集めているはずである
- 一方でPEGASUSのようなプロジェクトはドイツ国内にデータ整備して海外に売っていこうという戦略がある
- 最終的に日本もPEGASUSのデータを使うことになるかもしれない
以上