1© 2014 The MathWorks, Inc.

モデルに対するテスト・検証プロセスの効率化

MathWorks Japan

Application Engineering ・ アプリケーションエンジニアリング部Application Engineer ・ アプリケーションエンジニアFred Noto ・ 能戸 フレッド

2

本プレゼンテーションのアジェンダ

モデル検証の目的とチャレンジ

モデル検証の効率化・自動化

モデル検証のTips & Know-How

ユーザー事例＆まとめ

3

モデル検証の目的

要求仕様通りにモデルが作成されていることを確認

要求仕様に問題ないことを確認

モデリングに不具合（ゼロ割等）がないことを確認

モデリングルール準拠の確認

コードとモデルの同一動作の確認

Simulink, 物理モデリング製品, システム同定製品

制御対象モデル

Simulink®

Stateflow®

補償器設計製品

制御モデル

4

モデル検証の目的

要求仕様通りにモデルが作成されていることを確認

要求仕様に問題ないことを確認

モデリングに不具合（ゼロ割等）がないことを確認

モデリングルール準拠の確認

コードとモデルの同一動作の確認

工程

工数

設計

実機検証

工程

工数

実機検証設計＋

仮想試作＋検証

5

モデル検証の流れ

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルのレビュー

モデルとコードの一致性検証

検証にヌケモレがないか

課題①

検証作業の工数が増加

課題②

6

しかし、モデル検証にはチャレンジがある

Cコード

要求仕様

設計モデル

モデルが正確に要求を反映しているか確認

テストケースを作成・実行する工数

仕様に記述のないモデルがないか確認

規模が増加するほど困難になる

意図しない動作がないか確認

異常ケースのテストケースの作成は困難

モデリングエラーを検出

手動でのエラー検出は限界がある

コードとモデルの一致性を確認

網羅度の高いテストケースが必要

レポート・成果物を作成

リワークの場合レポートを再作成

工程 課題

7

モデル検証作業の課題

モデルベースデザインでモデルと生成コードのテスト作業を行っているお客様からよくある課題：

– テスト工数の増加

– テスト結果の記録にヌケモレ

– 繰り返し作業によるミス

ソリューション：自動化による効率化と品質向上!

8

本プレゼンテーションのアジェンダ

モデル検証の目的とチャレンジ

モデル検証の効率化・自動化

モデル検証のTips & Know-How

ユーザー事例＆まとめ

9

AUTOMATION

検証作業の効率化に向けて

手作業ではなくツールを使用するテスト手段– テスト設計後にテストケースの作成、テスト実行、テスト結果の

確認、レポート生成等が自動化可能

– 繰り返しが必要なテスト作業を間違えずに実行

自動テスト環境のメリット– テスト実行ではなく、より重要なテスト設計に集中

– 人間によるミスを削減

– 24時間テスト可能⇒様々なテストパターンを試せる

10

モデル検証をMATLAB®言語で自動化

MATLABスクリプトを活用して検証作業の自動化を実現

Simulink及びオプション製品のAPIを使用– 検証オプションの設定

– 検証結果の設定

– 検証の実行

– 結果の解析

11

例：モデルと期待値の一致性確認

テスト

要件

テスト

設計

モデル

作成

テスト

実施

テスト

評価

テスト

報告書

ユースケースやシナリオ，要求仕様からテスト項目を洗い出し

テスト項目を確認するためのテストケース作成

テストを実施するためのテスト用モデル作成

テストケースを用いたシミュレーション実行

テスト結果がテスト要件を満たしているかの確認

テストで使用したドキュメントやシミュレーション結果をまとめた報告書作成

例題が自動実行する範囲シミュレーション結果と期待値との一致性確認、および、テスト結果のドキュメント作成作業の自動化

12

例：自動テストのフロー

テスト仕様書を作成

テストケースを作成

テストケースを読み込み

ログ取得設定

ハーネスモデル作成

レポート生成

Simulation実行

結果をプロット

※自動の作業

※手動の作業

テスト期待値を作成テスト期待値を読み込み

13

例：自動テストの処理フロー

①テスト仕様書の読込

②テスト仕様書に対するモデルの有効性確認

④入力データの読込・設定

⑤期待値との比較

⑥レポート生成

③テストハーネスの作成

• MATLAB

• Simulink

• Simulink Verification & Validation™

• Simulink Report Generator™

活用製品

14

モデル検証の自動化：まとめ

テスト実行ではなく、より重要なテスト設計・結果確認に集中

繰り返しが必要なテスト作業での人間によるミスや無駄を削減

24時間テスト可能⇒様々なテストパターンを試せる

Simulink APIに関してはヘルプドキュメンテーションを参考下さい（トレーニングも提供可能です）

AUTOMATION

15

テストユーティリティ: cmtdtool

本ツールはMATLAB Centralからダウンロード可能

サーチエンジンで「cmtdtool」と検索

JMAAB CMTD WG (制御モデルテスト設計ワーキンググループ)の活動より頂いた意見を基にツール化したユーティリティ。

• ExcelからSignalBuilder

Excel上の時系列データをSimulinkモデルへ取り込む

• Excelから真理値表 Excel上に記述した真理値表をSimulinkモデルへ取り込む

• Test Harness

テスト入力＋期待値と制御モデルの一致確認モデルを生成する

• レポート 用意されたテストを自動実行し結果レポートを自動生成する

16

本プレゼンテーションのアジェンダ

モデル検証の目的とチャレンジ

モデル検証の効率化・自動化

モデル検証のTips & Know-How

ユーザー事例＆まとめ

17

モデル検証は様々な作業が必要です

Cコード

要求仕様

設計モデル

モデルが正確に要求を反映しているか確認

テストケースを作成・実行する工数

仕様に記述のないモデルがないか確認

規模が増加するほど困難になる

意図しない動作がないか確認

異常ケースのテストケースの作成は困難

モデリングエラーを検出

手動でのエラー検出は限界がある

コードとモデルの一致性を確認

網羅度の高いテストケースが必要

レポート・成果物を作成

リワークの場合レポートを再作成

工程 課題

18

MATLAB/Simulinkモデルベース検証関連製品とその機能 Simulink Verification and Validation

• Simulink Design VerifierTM

解析

制御モデル モデルカバレッジを満たすテストベクタ

テストケース自動生成 プロパティ検証(形式検証)

検証仕様

要求仕様

制御モデル

検証命題を含む検証モデル

制御モデルと検証モデルに矛盾が無いことを数学的に証明

設計エラー検出

次の設計エラーを形式的に検出• ゼロ割• レンジオーバーフロー• 設計Min/Maxに対するオーバーフロー

オーバーフロー可能性あり→ 証拠となる入力ベクタを作成

モデルカバレッジ測定

モデルカバレッジレポート• Decision

• Condition

• MC/DC

仕様とモデル間のトレーサビリティ設定

制御モデル

仕様書からモデルへ(Word/Excel/DOORS/MKS Integrity )

モデルから仕様書へWord

Excel

DOORS

MKS Integrity

任意

モデルチェッカ(モデルアドバイザ)

• GUIからのモデルチェックの実行

• 指摘に従い修正(自動修正も有)

• レポート生成• カスタムチェックの追加

TT,TF,FT

19

MATLAB/Simulinkモデルベース検証関連製品とその機能 Simulink Verification and Validation

• Simulink Design VerifierTM

解析

制御モデル モデルカバレッジを満たすテストベクタ

テストケース自動生成 プロパティ検証(形式検証)

検証仕様

要求仕様

制御モデル

検証命題を含む検証モデル

制御モデルと検証モデルに矛盾が無いことを数学的に証明

設計エラー検出

次の設計エラーを形式的に検出• ゼロ割• レンジオーバーフロー• 設計Min/Maxに対するオーバーフロー

オーバーフロー可能性あり→ 証拠となる入力ベクタを作成

モデルカバレッジ測定

モデルカバレッジレポート• Decision

• Condition

• MC/DC

仕様とモデル間のトレーサビリティ設定

制御モデル

仕様書からモデルへ(Word/Excel/DOORS/MKS Integrity )

モデルから仕様書へWord

Excel

DOORS

MKS Integrity

任意

モデルチェッカ(モデルアドバイザ)

• GUIからのモデルチェックの実行

• 指摘に従い修正(自動修正も有)

• レポート生成• カスタムチェックの追加

TT,TF,FT

カバレッジ測定作業を手動ではなくマシンで行う

要求とモデルのトレーサビリティによるヌケモレチェック

一定のモデル品質を確保

モデルカバレッジ目標を達成するテストケースを自動作成

仕様と矛盾がないかを確認

モデルの実行時エラーを自動検出

20

モデル検証で考慮するポイント

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルのレビュー

モデルとコードの一致性検証

21

モデル検証：モデルと仕様の一致性検証

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルが正確に要求を反映しているか確認

テストケースを作成・実行する工数

仕様に記述のないモデルがないか確認

規模が増加するほど困難になる

意図しない動作がないか確認

異常ケースのテストケースの作成は困難

工程 課題

22

外部からSimulink環境への信号の取り込み

テストベクタをSimulink上で表現する– Excelの各シートに記載の信号から

SignalBuilderブロックを自動作成

R2010bからの新機能

Excel

Simulink

23

モデルカバレッジ：テストデータのヌケモレチェック

カバレッジとは、あるテスト入力が、モデルの条件分岐のパスを何％通ったか、数値化したもの

カバレッジ基準

デシジョンカバレッジ

コンディションカバレッジ

MC/DC カバレッジ

Signal Rangeカバレッジ

Look-up Tableカバレッジ

カバレッジ対象(代表例)

Stateflow®

状態オブジェクトStateflow

遷移オブジェクト

対象リスト: http://www.mathworks.com/access/helpdesk/help/toolbox/slvnv/ug/f30379.html#f18144

Simulink Verification and Validation ユーザー作業：カバレッジ測定の有効化

テストデータの網羅性を考慮するためのカバレッジ測定

テスト品質の向上

モデルカバレッジの測定

テストのヌケモレ確認

未達カバレッジの補充テスト

24

モデルの入出力関係を解析し、設定された“カバレッジ”を満たすテスト信号を自動生成

Simulink モデル

Simulink

Design

Verifier

テスト信号の自動生成

テストケース １

Signal Builder によりテスト信号を作成

テストケースの自動生成

Simulink Design Verifier ユーザー作業：テストケース生成の実行

カバレッジ100%のテストデータ生成が可能

テストケース ２

テストケース ３

シミュレーションすることなくテストケースを生成

複雑なテスト信号の生成

25

未達カバレッジ補充データ生成

– 既存テストデータファイル、またはカバレッジファイルを指定

– ユーザ定義シナリオ＋自動生成データの組み合わせによるテストが可能

工数

テストデータ作成

カバレッジ

自動テストで補完

既存テストを含むMATファイルを指定

カバレッジファイルを指定

Simulink Design Verifier

既存テストデータが満たさないカバレッジを補充するテストデータを生成

26

期待値とシミュレーション結果の比較

期待値をモデル入力とする

期待値と制御モデル出力を比較

期待値と異なればアサーション

期待値比較モデル例

制御モデル 制御対象モデルテストパターン

Simulink

27

モデル検証：モデルと仕様の一致性検証

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルが正確に要求を反映しているか確認

テストケースを作成・実行する工数

仕様に記述のないモデルがないか確認

規模が増加するほど困難になる

意図しない動作がないか確認

異常ケースのテストケースの作成は困難

工程 課題

28

プロパティ検証危険な状態を無数の組み合わせから検出することが可能

モデルを解析し、プロパティを満たすか検証

– プロパティ（property）＝満足すべき性質 ⇔ 検証仕様

– プロパティモデルを作成し、数学的にしらみつぶし検証を行う

– プロパティに反する場合は反例再現テストデータを生成

– 一般的なテストと異なり、入出力データは不要

プロパティモデル

設計モデル

検証仕様を満たす？

プロパティ（検証仕様）：3ステップ連続でブレーキがON

の時、スロットルは必ず0になる

範囲制約(0～100)

Simulink Design Verifier ユーザー作業：プロパティモデルの作成とプロパティ証明の実行

29

Simulink/Stateflow/Embedded MATLABでプロパティを記述

Aならば、B– impliesブロック

– 真理値表

～秒経過後、～する– Stateflowテンポラルロジック（after 等）

– Temporal Operatorブロック

プロパティ記述

例: 油温が規定値を超えた場合には、警告LEDを点灯する

A: temp > Tc

B: warnLED == 1

Simulink Design Verifier

30

仕様とモデルのトレーサビリティ

ドキュメントからモデルへ(Word/Excel/DOORS/MKS Integrity )

モデルからドキュメントへ

ActiveXボタン

該当のモデル箇所がハイライト

該当箇所が選択される

クリック

Simulink Verification and Validation

クリック

ユーザー作業：トレーサビリティの追加

仕様・モデル間のリンクにより、ナビゲーションが容易

31

モデル検証で考慮するポイント

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルのレビュー

モデルとコードの一致性検証

32

モデル検証：モデルのレビュー

Cコード

要求仕様

設計モデル

モデルのレビュー

モデリングエラーを検出

手動でのエラー検出は限界がある

工程 課題

33

モデルのスタイルチェック機能

モデルアドバイザ :

モデルのスタイルチェック機能

主なチェック内容

J-MAABスタイルガイドライン適合チェック

IEC61508 / ISO26262 / DO-178B

関連チェック

要求リンクの整合性チェック

Simulink Verification and Validation ユーザー作業：チェック項目の選択と実行

34

モデルアドバイザによるチェック概要

(1) モデルアドバイザGUIでチェックを実行

(3) 修正後再チェック

Simulink Verification and Validation

クリックで該当個所へ

(4) レポート

Stateflow設定

チェックが入っていない

(2) 指摘箇所を修正

35

設計エラー検出

シミュレーションやテストベクター

を作成せずに、モデル内の

設計エラーを自動的に検出

ゼロ割

オーバーフロー

範囲外アクセス

デッドロジック

Min/Max範囲チェック

Simulink Design Verifier

シミュレーションで見つけにくいバグの検証

36

モデル検証で考慮するポイント

Cコード

要求仕様

設計モデル

モデルと仕様の一致性検証

モデルのレビュー

モデルとコードの一致性検証

37

モデル検証：モデルとコードの一致性検証

Cコード

要求仕様

設計モデルモデルとコードの一致性検証

コードとモデルの一致性を確認

網羅度の高いテストケースが必要

レポート・成果物を作成

リワークの場合レポートを再作成

工程 課題

38

Simulinkモデル

モデルとコードの一致性検証

100%モデルカバレッジテストベクター

自動生成

C コード（S-function/

モデルブロック）

出力の比較

モデル全体及びモデルブロックに対してSIL/PILモード有り

テストハーネスモデル&テストデータを自動生成して効率性UP

Simulink

Simulink Design Verifier

Embedded CoderTM

39

モデルとコードのトレーサビリティ#1コードからモデルへ

コードをクリックすると、対応するモデルがハイライトされる

Embedded Coder

40

モデルとコードのトレーサビリティ#2モデルからコードへ

モデル中のブロック(Stateflowオブジェクト)から「コードに移動」を選択すると該当するコード箇所がハイライトされる

move_upブロックに該当するコード行

Embedded Coder

41

テストレポートの自動生成

Report Generator

モデル 入出力信号

HTML, PDF, Word, etcによるレポート

Simulink Report Generator

Report Generator の機能によりテスト実行レポートを自動生成

42

モデル検証を容易化

Cコード

要求仕様

設計モデル

モデルが正確に要求を反映しているか確認

テストケースを作成・実行する工数

仕様に記述のないモデルがないか確認

規模が増加するほど困難になる

意図しない動作がないか確認

異常ケースのテストケースの作成は困難

モデリングエラーを検出

手動でのエラー検出は限界がある

コードとモデルの一致性を確認

網羅度の高いテストケースが必要

レポート・成果物を作成

リワークの場合レポートを再作成

モデル検証製品を使用して検証作業を効率化

さらに、自動化を使用して品質向上・工数削減

• Simulink Verification & Validation

• Simulink Design Verifier

• Simulink Report Generator

• Embedded Coder

工程 課題

43

本プレゼンテーションのアジェンダ

モデル検証の目的とチャレンジ

モデル検証の効率化・自動化

モデル検証のTips & Know-How

ユーザー事例＆まとめ

44

Link to user story

要求仕様とモデルのトレーサビリティを確保し、検証工数を削減

45

Link to user story

テストケース自動生成し、モデルとコードの一致性検証で活用

46

まとめ

Cコード

要求仕様

設計モデルMathWorksの豊富な検証機能を自動化して高品質・効率的な

プロセスを実現

早期段階の検証は品質向上＆工数低減に必要です

・MATLAB ・Simulink

・Simulink Verification & Validation

・Simulink Design Verifier

・Simulink Report Generator

・Embedded Coder

47

トレーニング・コンサルティング サービス

トレーニング サービス 定期 トレーニング；

東京、名古屋、大阪にて定期開催

基礎コース（１１）、応用コース（１１）、

専門コース（４）を ご提供

オンサイト トレーニング； お客様サイトにて開催

ご要望に応じて３つのレベルでカリキュラムのカスタマイズが可能

コンサルティング サービス カスタム“Jumpstart”；

顧客モデルをベースにした短期集中型ツール導入サポート

Advisory Service； 顧客Project に合わせた中長期アドバイザリサービス

投資 効果

投資対効果の最大化

48

制御設計関連トレーニングコース

MATLAB 関連

基礎 期間

MATLAB 基礎 3日

応用 期間

MATLAB によるデータ処理と可視化 1日

MATLAB のプログラミング手法 2日

MATLAB の最適化手法 1日

MATLAB と Simulink による制御設計 2日

Simulink 関連

コース名 期間

MATLAB/Simulink によるモデルベース開発 2日

基礎 期間

Simulink 基礎 2日

応用 期間

SimPowerSystems による電力系統の物理モデリング 1日

Simulink への外部コードの取り込み 1日

Simscape によるマルチドメインシステムの物理モデリング 1日

SimMechanics による力学系の物理モデリング 1日

専門 期間

Simulink モデルの検証と妥当性確認 1日

Simulink モデルの管理 2日

Stateflow 関連

基礎 期間

Stateflow 基礎 2日

コード生成関連

基礎 期間

リアルタイム コードの生成およびテストの基礎 1日

専門 期間

Embedded Coder による量産向けコード生成 3日

Polyspace 関連

専門 期間

Polyspace によるコード検証 2日

49

Thank You For Your Attention

ご清聴ありがとうございました

© 2014 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The

MathWorks, Inc. See www.mathworks.com/trademarks for a list of additional

trademarks. Other product or brand names may be trademarks or registered

trademarks of their respective holders.