AIシステム品質レポート

機械学習品質マネジメントガイドライン 第1版準拠

提出日:
作成者:


● 目次

    
        1.環境情報
2.サマリ
3.運用品質
3.1
3.2
4 データセットの品質
4.1
4.2
4.3
5 モデルの品質
5.1
5.2
5.3
6 参考
● レポートフォーマット改版履歴


1. 環境情報

テスト環境の情報
項目 設定値


2.サマリ



3.運用品質

運用状態を正しく想定し、適切な分析と対策がなされているかを確認する。

3.1

  機械学習利用システムの実世界での利用状況において、機械学習要素に入力されると想定される運用時の実データの性質について分析が行われ、その分析結果が想定される全ての利用状況を被覆していることを、「要求分析の十分性」とする。
  ここでは訓練用データの整理や必要な検査用データの有無の確認などに用いられるよう、具体的な個々のデータと紐付けられるレベルまで、その分析した要件を具体的な言葉で書き下し、データを元に品質を分析する「軸」を定めることを目標とする。


3.2

  運用開始時点で充足されていた内部品質が、運用期間中を通じて維持されることを「運用時品質の維持性」と称する。
  システム外部の環境変化に十分に追従できることと、その追従のための訓練済み機械学習モデルなどの変更が品質の不用意な劣化を引き起こさないことの2 点を含む。



4 データセットの品質

  データセットが適切に選択されているかを確認する。

4.1

  要求分析の十分性を前提として、システムが対応すべき様々な状況に対して十分な訓練用データやテスト用データを収集し整理するためのデータ設計の十分な検討を、「データ設計の十分性」とする。
  システムの想定する利用状況が複雑な場合には、取りうる組みあわせの数が膨大になるため、全ての組み合わせについてデータセットで網羅することは現実的でない。その場合には、複数の状況を包括する粗い粒度レベルで広く網羅性を確認しつつ、危害や性能低下の可能性が高い細かな状況の組み合わせにも十分に対応し漏れがないことが必要になる。
  ここでは、応用毎に適切な手段を選択することで、現実的かつ実用上十分な網羅性を達成することを目標とする。

4.2

  「データ設計の十分性」で設計した「対応すべき状況の組み合わせ」の各々に対して、状況の抜け漏れがなく、十分な量の学習データが与えられていることを、「データセットの被覆性」とする。
  要求分析やデータ設計において特定された状況やケースについて、データの不足による学習不足や、偏ったデータによる特定の状況への学習漏れが起こらないことを保証するのが、本特性軸を設定する目的である。

4.3

  「被覆性」と対となる概念として、想定する入力データ全体に対するデータの均一性がある。
  データセット内の各状況や各ケースが、入力されるデータ全体におけるそれらの発生頻度に応じて抽出されているとき、均一であるとする。



5 モデルの品質

  入力に対し、モデルが適切に動作するかを確認する。

5.1

  学習データセット(訓練用データ、テスト用データ、バリデーション用データからなる)に含まれる具体的な入力データに対して、機械学習要素が期待通りの反応を示すことを、「機械学習モデルの正確性」とする。
  訓練段階での収束性などの数値的な振る舞いの他に、訓練などに用いるデータに誤りがないこと(誤ったデータが訓練に問題ないレベルで十分少ないこと)なども、この特性に含む。
  学習データセットのみを用いた評価では、環境からの入力データ一般に対して機械学習要素が意図した動作を行うかどうかを確認できるわけではない。そこで、本項で掲げる正確性と、次項において取り上げるモデルの安定性はその両立をはかることが重要となる。

5.2

  学習データセットに含まれない入力データに対して、機械学習要素が学習データセット内のそれに近いデータに対する反応と十分に類似した反応を示すことを、「機械学習モデルの安定性」と称する。
  低い汎化能力や敵対的データによる予測不可能な振る舞いを排除することにより、機械学習要素の振る舞いの予測可能性を高める。

5.3

  機械学習の訓練段階に用いる訓練用プログラムや、実行時に使われる予測・推論プログラムが、与えられたデータや訓練済み機械学習モデルなどに対してソフトウェアプログラムとして正しく動作することを、「プログラムの健全性」とする。
  アルゴリズムとしての正しさの他、メモリリソース制約や時間制約の充足、ソフトウェアセキュリティなど一般的なソフトウェアとしての品質要求がここに包含される。



6 参考



● レポートフォーマット改版履歴

バージョン 改版日 影響
v1.0.0 2020.11.16 公開版