複雑システムの安全設計へのチャレンジ - ipa(atc&tcas)の矛盾 10 et/iot...

45
ET/IoT West2017 Software Reliability Enhancement Center ET/IoT West2017 複雑システムの安全設計へのチャレンジ ~システム理論に基づく新しい安全解析法STAMP/STPAの実践~ 会津大学 名誉教授 兼本

Upload: others

Post on 06-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement CenterET/IoT West2017

複雑システムの安全設計へのチャレンジ~システム理論に基づく新しい安全解析法STAMP/STPAの実践~

会津大学 名誉教授

兼本 茂

Page 2: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

IPA/SEC 製品・制御システム高信頼化部会 2016年体制

「重要インフラ分野のシステム障害への対策」事業

重要インフラITサービス高信頼化部会

製品・制御システム高信頼化部会

未然防止知識WG

システム安全性・信頼性分析手法WG

PT1:リスク評価手法PT2:障害原因診断手法

主査兼本 茂

主査久住 憲嗣

高信頼性定量化部会

主査内平 直志

製品・制御システム定量データ収集・分析WG

・・

(連携)

主査三原 幸博

「定量管理データ活用による高信頼化」事業

≪組込みシステム分野の活動(太枠)≫

2

Page 3: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

IPA/SEC 製品・制御システム高信頼化部会 2017年体制

「重要インフラ分野のシステム障害への対策」事業

重要インフラITサービス高信頼化部会

製品・制御システム高信頼化部会

未然防止知識WG

IoTシステム安全性向上技術WG

主査兼本 茂

主査久住 憲嗣

高信頼性定量化部会

主査内平 直志

製品・制御システム定量データ収集・分析WG

・・

(連携)

主査三原 幸博

「定量管理データ活用による高信頼化」事業

≪組込みシステム分野の活動(太枠)≫

3

Page 4: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Sec-Seminar(2015.6.18) Lecture by Nancy Leveson

背景(1) 複雑な工学システムの安全分析

現状の安全分析ツールは、40-65年も昔に開発されたものであり、現代

の新しい技術の入った複雑な工学システムの安全分析には限界がある

1940 1950 1960 1970 1980 1990 2000 2010 2020

FMEA FTA ETA

HAZOPCCA

FTA+ETA

コンピュータ制御の導入複雑さの指数的増大インターネットの普及

システムの複合化・オープン化人との共存・協調制御

IoT・AIの導入

コンポーネント故障が事故を引き起こす

コンポーネント間のコミュニケーション・ミスマッチが事故を引き起こす

4

Page 5: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

背景(2) 現代の複雑な工学システムの安全分析に新たな手法が必要

• IoT・AI時代の環境変化

• 事前に想定した環境での安全設計から、変化する環境下での安全設計へ

• 機械の知能化が進み、機械と人間の制御指示のコンフリクトが日常化

• 仕様に記載されない暗黙知、不完全な調達仕様など

• System of Systems(SoS)の安全性・検証での課題• 複雑性、多様性、ランタイムにおける不確実性、・・・・

• 創発性

• IoTの包含、AI技術の包含

• SoSシステムの安全性向上プロセス• トップレベル(システム全体)の安全分析とボトムレベルでの実装

• モデルベース開発+暗黙知の明示化

• 独立V&V

• ライフサイクル管理

• 人材育成

5

Page 6: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

背景(2) 安全設計の移り変わり

Safety 0.0 (人の注意力で安全を確保)

Safety 1.0~1.X(機械技術、コンピュータで安全を確保)人に危害が及ぶのを防ぐために、人を危険源から遠ざける(隔離の原則)

人が危険源に近づく際に動作を止める(停止の原則/制御安全・機能安全)

Safety 2.0 (人・モノ・環境が協調しながら安全を確保)

• IoT、AI制御の時代で、止める安全から止めない安全へ

• (人と機械の関係を、従来の画一的なものから、人の能力・周囲の状況に応じた柔軟な安全手段にする)

Page 7: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Safety 0.0 (人の注意力で安全を確保)

Safety 1.0~1.X(機械技術、コンピュータで安全を確保)

Safety 2.0 (人・モノ・環境が協調しながら安全を確保) IoT、AI制御の時代で、止める安全から止めない安全へ

IEC61508/ISO26262→厳密なコーディングガイド、 AIの排除、人間・機械協調制御は対象外

緩和制御(危険な状態になる前に緩和する)運転支援(自動ブレーキなどの支援で最後の責任は運転員)→いずれも、従来の安全系の範疇からはずれる。では、どのような安全設計が必要になるのか?

背景(3) 安全設計の移り変わり

Page 8: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

従来の事故モデル

ハインリッヒのドミノ事故モデル

スイスチーズ事故モデル

事故の一方向の連鎖進行モデル

8

Page 9: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

複雑システムの事故モデル(STAMP)~動的システムのフィードバック構造のなかで事故モデルを考える~

9

Em ergency Valves(EV1)

Com puter(Controller)

Hum an operator

Plant

CA-1.Override the process

CA-2.Open va lvesCA-3.Close va lves

W ater levels at Tanks #1 and #2

Alert & Alarm(FB)

Valve Positon(close/open )(FB)

Pressure from upper organ ization安全制御行動の乱れN:Not providingP: ProvidingT:Wrong timingD:Wrong duration

不適切な外乱

不適切なフィードバック

Page 10: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

複雑システムの事故モデル(FRAM:機能共鳴解析法)~動的システムのフィードバック構造のなかで事故モデルを考える~

早稲田大学小松原先生より資料提供

2001年に日本で起きたJAL907便とJAL958便のニアミス事故

二つの指示体系(ATC&TCAS)の矛盾

10

Page 11: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

複雑システムの安全とセキュリティ:創発特性

11

Emergent properties(arise from complex interactions)

Process

Process components interact in

direct and indirect ways

Safety and security are emergent properties

複雑な相互作用に起因する創発的特性

人サブシステム

サブシステム

組織

サブシステム

外部環境

Emergent Property:“The whole is greater than the sum of the parts”

Sec-Seminar(2015.6.18) Lecture by Nancy Leveson

Page 12: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Emergent properties(arise from complex interactions)

システム全体の安全制約

Safety and security are emergent properties

コンポーネントの安全制約

想定外事象による安全制約の乱れ

創発的特性コンポーネントの安全制約の和≠ システム全体の安全制約

STAMPモデルに

よる多様な発想力で想定外のハザードを低減できないか?

複雑システムの安全性とセキュリティ:創発特性

創発特性

12

Page 13: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

ControllerControlling emergent properties

(e.g., enforcing safety constraints)

Process

Control Actions Feedback

Individual component behaviorComponent interactions

Process components interact in

direct and indirect ways

複雑システムの制御の課題

状況により矛盾する安全制御行動例:

プラットフォーム以外の線路上で列車のドアを開けるのは危険しかし緊急時にドアを開けないのも危険

複雑システムの制御では、Context依存での制御行動の分析とハザード分析が課題

従来の分析法(FTA等)の限界STAMP/STPAの可能性の検証

13

Page 14: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Basic STAMP

14

• コントローラは、コントロールアクション(CA)を決めるのにプロセスモデルを用いる

• このプロセスモデルが正しくないときに想定外の挙動が起こる

• 四つの不適切なコントロールアクション• (N) Not providing

• (P) Providing causes hazard

• (T) Inadequate timing, too early or too late

• (D) Inadequate duration, stop too soon or applying too long

• ソフトウェアと人間の挙動の適切なモデルによって、ソフトウェアエラー、ヒューマンエラー、相互作用による事故などを説明する

Page 15: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Basic STAMP

15

コントローラ

物理プロセス

アクチュエータ センサー

運転員運転プロセス

運転管理

国レベルの管理

企業レベルの管理

更新運転手順ソフトウェアハードウェア

運転レポートインシデント報告更新要求性能監査

作業指示

運転レポート監査レポート更新要求

安全ポリシー規格リソース

運転レポート

規制・規格・認証ペナルティ

事故・インシデントレポート運転レポート保守・変更レポート

コンピュータvs機械

Page 16: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Basic STAMP

16

コントローラ

物理プロセス

アクチュエータ センサー

運転員運転プロセス

運転管理

国レベルの管理

企業レベルの管理

更新運転手順ソフトウェアハードウェア

運転レポートインシデント報告更新要求性能監査

作業指示

運転レポート監査レポート更新要求

安全ポリシー規格リソース

運転レポート

規制・規格・認証ペナルティ

事故・インシデントレポート運転レポート保守・変更レポート

人vsコンピュータ

Page 17: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Basic STAMP

17

コントローラ

物理プロセス

アクチュエータ センサー

運転員運転プロセス

運転管理

国レベルの管理

企業レベルの管理

更新運転手順ソフトウェアハードウェア

運転レポートインシデント報告更新要求性能監査

作業指示

運転レポート監査レポート更新要求

安全ポリシー規格リソース

運転レポート

規制・規格・認証ペナルティ

事故・インシデントレポート運転レポート保守・変更レポート

組織vs人

Page 18: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Basic STAMP

18

コントローラ

物理プロセス

アクチュエータ センサー

運転員運転プロセス

運転管理

国レベルの管理

企業レベルの管理

更新運転手順ソフトウェアハードウェア

運転レポートインシデント報告更新要求性能監査

作業指示

運転レポート監査レポート更新要求

安全ポリシー規格リソース

運転レポート

規制・規格・認証ペナルティ

事故・インシデントレポート運転レポート保守・変更レポート

組織vs組織

Page 19: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

STAMP/STPAの手順

• Step-0:制御構造図とアクシデント、ハザード、安全制約の定義。抽象的な機能

に着目してトップダウンで階層的な制御モデル、プロセスモデルを作成

• Step-1:四つのタイプの非安全制御行動(UCA:Unsafe Control Action)を抽出(N)Not Providing causes hazard、

(P)Providing causes hazard、

(T)Providing Too Early, Too Late, or Out of Sequence、

(D)Stopping Too Soon/Applying too long

• Step-2:Control Loopのガイドワードを用いて、UCAごとに、ハザード誘発要因

(HCF:Hazard Causal Factor)を分析し、ハザードシナリオを導出

• Step-3(Safety-Guided Design):安全制約の識別:HCFを制御・除去するための

コンポーネント安全制約を明示化する(階層的な分析)

Page 20: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

はじめてのSTAMP/STPA(実践編)~三つの事例から何がわかるか~• 事例1 ‘とりこ’検知事例のSTAMP・STPA分析

• 事例2 踏切工事(人と組織が絡む事例)

• 事例3 エンタープライズ系/ネット通販システムへの

適用事例

Page 21: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例1 ‘とりこ’検知事例のSTAMP・STPA分析

分析対象

アクシデント:人・車と列車の衝突

ハザード:‘とりこ’検知装置・発光機が作動しない、運転士が発光機を目視確認できない状態

安全制約:‘とりこ’発生時に発光機は常に作動すること、運転士の目視確認が可能なこと

Page 22: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Step0 コントロールストラクチャの構築

障害物検知装置

踏切

列車

運転士

赤は制御

特殊信号発光機

外部との作用

【役割】・踏切道上の通行車・人を検知・特殊信号発光機の発光指示

(5)ブレーキ作動指示

【役割】・列車の進入を検知・踏切の開閉・踏切の状態通知

通行車・人

【役割】・信号の発光

(2)発光指示(3)消灯指示

(1)検知開始(6)停止指示(踏切の動作開始終了通知)

【役割】・特殊信号発光状態の目視識別・マニュアルブレーキ作動

(4)停止指示(特殊信号の発光)

“とりこ”検知の流れに沿ったコントロールストラクチャー

Page 23: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

# コントロールアクション

Not Providing Providing causes hazard Too early / Too Late Stop too soon / Applying too long

1 (踏切→検知装置)検

知開始指示(踏切の動作開始通知)

(UCA1-N)検知開始指示が

出ないので検知できないので発光せず

踏切開状態で特殊信号発光機を発光する

(UCA1-T)Too Lateで検知開始が

遅れ、特殊信号発光機の発光が遅れるので検知できない時間があるToo earlyで“とりこ”でない車を

検知し発光指示する可能性あるがハザードにはならない

2 (検知装置→特殊信号発光機)発光指示

(UCA2-N)とりこがあっても

発光せず列車を停止させない

“とりこ”がないのに発光して列車を停止させる

(UCA2-T)Too lateで発光開始が

遅れ、列車が停止できない(ブレーキをかけるのが遅れる)

3 (検知装置→特殊信号発光機)消灯指示

“とりこ”解消しても特殊信号発光機消灯せず

(UCA3-P)“とりこ”中に特殊信号発光機消灯

(UCA3-T)Too early 同左

4 (特殊信号発光機→

運転士)停止指示(特殊信号の発光)

(UCA4-N)“とりこ”があって

も発光せず列車を停止しない

“とりこ”がないのに発光し列車を停止させる

(UCA4-T)Too lateで発光開始が

遅れ、列車が停止できない(ブレーキをかけるのが遅い)

5 (運転士→列車)ブレーキ作動指示

(UCA5-N)運転士が特殊信

号発光機の発光を認識できず列車を停止しない

“とりこ”がないのに停止する (UCA)Too lateで列車停止が間

に合わない(ブレーキをかけるのが遅い)→今回対象外とする

(UCA)ブレーキを途中で解除)→今回対象外とする

6 (踏切→検知装置)検

知停止指示(踏切の動作停止通知)

“とりこ”がないのに発光し列車を停止させる

(UCA6-P)列車が在線中に検知停止指示が出ると

“とりこ”があっても発光せず列車を停止させない

(UCA6-T)Too earlyで“とりこ”が

あっても発光せず列車を停止させない

Step1 UCAの識別

23

Page 24: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Step2 HCFの導出(UCA5-N):運転士が特殊信号発光機の発光を認識できず列車を停止しない

コントロールプロセス:列車

コントローラー:運転士(HS5-N-1)認識するのが遅れた(HS5-N-2)外部環境不良のため発光視認できず列車停止が間に合わない(HS5-N-3)特殊発光機が故障にも関わらず普段消灯しているので故障に気が付かないで列車停止遅れる(HS5-N-4)体調不良またはよそ見でブレーキ遅れる

・停止指示

⑦動作の遅れ

⑧ Control actionが不適切・無効・欠落

⑩意図しない、または範囲外の外乱

⑪プロセス出力の誤り

④部品故障、経年変化

②不適切な制御アルゴリズム(作成時の欠陥、プロセス変更、誤った修正・適用)

停止指示(特殊信号発光)

④部品故障、経年変化

発光を認識できない理由・雪、雨、霧による視界不良・逆光が強い・線路が大きくカーブしている・途中にトンネルがある・途中に遮蔽物(木など)がある

①上位からの指示や外部情報の誤り・欠落

Page 25: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

踏切システム

検知センサー

CA2:作動開始指示

通行車・人

特殊信号発光機(Display)

運転士(Human Controller)

Controlled Process

Controller

検知センサー

列車

Controller

Controlled Process

アクチュエーター センサー

CA1:ブレーキ操作

FB:特殊信号発光機へ発光指示

FB:特殊信号発光機の発光

アクチュエーター センサー

別の視点からのコントロールストラクチャ~多様な視点での安全設計の検討~

運転士を中心にしたコントロールストラクチャー

新たなFB(新しい通信手段)

新たなFB(目視以外の手段が可能)

運転操作を高度な制御装置とみる(3階層の制御構造図)↓

次世代のより安全な制御手段の発想につながる。

Page 26: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

踏切システム

検知センサー通行車・人

特殊信号発光機(Display)

運転士(Human Controller)

Controlled Process

Controller

検知センサー

列車

ブレーキ装置

CA1:ブレーキ操作

FB:特殊信号発光機へ発光指示

FB:特殊信号発光機の発光

アクチュエーター センサー

別の視点からのコントロールストラクチャ

運転士を中心にしたコントロールストラクチャー

運転操作を単純なアクチュエータ操作とみる(2階層の制御構造図)

26

Page 27: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

踏切システム

検知センサー

CA2:作動開始指示

通行車・人

特殊信号発光機(Display)

運転士(Human Controller)

Controlled Process

Controller

検知センサー

列車

Controller

Controlled Process

アクチュエーター センサー

CA1:ブレーキ操作

FB:特殊信号発光機へ発光指示

FB:特殊信号発光機の発光

アクチュエーター センサー

別の視点からのコントロールストラクチャ~多様な視点での安全設計の検討~

運転士を中心にしたコントロールストラクチャー

新たなFB(新しい通信手段)

新たなFB(目視以外の手段が可能)

運転操作を高度な制御装置とみる(3階層の制御構造図)↓

次世代のより安全な制御手段の発想につながる。

27

Page 28: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例1 とりこ検知事例のSTAMP・STPA分析

• 従来の一方向の事故進展モデルに基づくハザード分析で難しい複雑システ

ムのハザード分析が可能になる。特に、機械やコンピュータなどの技術要因

に加えて、人や組織などの非技術要因を含めた、包括的な事故防止アプ

ローチを可能にする

• 安全制約と制御構造図により、安全をどのような仕組み・体制で制御しよう

としているかを可視化できる。これにより、多様な視点からのレビューができ

る(次世代の安全制御の在り方など)

Page 29: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事(人と組織が絡む事例)

A B3-3列車

3-2運転士 警報開始センサー

踏切制御装置

踏切論理の変更工事を行う

1.設計部門 2.施工部門

警報終止センサー

3.指令部門

2-2見張員2-3作業員

2-1施工管理者

踏切制御区間

29

Page 30: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

設計部門 施工部門 保守部門指令部門

登場人物 役割(安全関連責任) 備考

1 設計部門 工事対象の踏切の制御論理、論理を実装する方法を設計し、施工部門に工事を指示する。

2 施工部門 指令部門の了解のもと設計部門の指示内容に従って補修工事(結果確認を含む)を安全に実施する。

2-1 施工管理者 列車進入に備えて見張員を配置し、見張り開始終了を指示する。作業員に工事開始終了を指示する。

2-2 見張員 工事中および工事完了後、列車進入の有無を監視し、発見時に作業員に待避指示し、作業員からの待避完了確認を待つ。待避完了を受け取ると列車を通過させ、確認がない場合列車を停止させる。

2-3 作業員 踏切の補修工事を実施。列車進入時見張員の指示に従って速やかに待避、待避完了後見張員に待避完了確認を返す。

3 指令部門 工事計画(工事許可申請)に従って当該工事区間の列車の運行を停止する。工事終了報告を受けると当該工事区間の列車の運行を再開する。

3-1 輸送指令 工事計画(工事許可申請)に従って当該工事区間の列車の運転士に運行を停止させる。工事終了報告を受けると当該工事区間の列車の運転士に運行を再開させる。

3-2 運転士 輸送指令からの指示に従って担当列車を停止あるいは走行させる。工事区間では、見張員の指示に従って列車を停止あるいは走行させる。

3-2 列車 運転士の指示に従って走行あるいは停止する。

事例2 踏切工事(人と組織が絡む事例)

30

Page 31: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事(人と組織が絡む事例)

アクシデント(Loss) ハザード(Hazard) 安全制約(Safety

Constraints)

(A1)工事作業者・車両・機材が列車と衝突する

(H1-1)工事中に列車が踏切制御区間に進入する

(SC1-1)工事中列車を踏切制御区間に進入させてはならない

(H1-2)工事中に列車が踏切制御区間に進入した時に工事が中断(待避)されない

(SC1-2)工事中に列車進入したときは工事を中断(待避)させなければならない

(H1-3)工事中および初列車確認時、列車が踏切制御区間に進入した時に見張員の指示に従って列車が停止しない

(SC1-3)工事中および初列車確認時、列車が踏切制御区間に進入した時は見張員の指示に従わなければならない

31

Page 32: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事(人と組織が絡む事例)制御構造図

設計部門

列車

運転士

(6)走行停止指示(7)走行開始指示

作業指示

作業員見張員

施工管理者

輸送指令作業開始許可

(1)作業開始許可申請(2)作業終了連絡

(3)見張り開始指示(4)見張り終了指示

待避完了報告

(5)待避指示

進入

作業報告

作業開始終了指示

作業終了報告

(10)停止指示 (8)走行停止指示(9)走行許可

青は応答赤は制御

外部の作用

今回対象外

Page 33: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事 UCA表

# コントロールアクション

FROM TO Not Providing Providing causes hazard Too early /Too Late

Stop too soon/Applying too long

1 作業開始許可申請

施工管理者

輸送指令

(UCA1-N)作業開始連絡がないと運転停止指示が出ないので列車が進入する(SC1-1違反)

列車の運転が停止されるだけなのでハザードにならない

(UCA1-T)Too lateだと列車への運転停止指示が遅れるので列車が進入する(SC1-1違反)

2 作業終了連絡

施工管理者

輸送指令

終了連絡されなければ運転開始指示が出ないのでハザードにならない

(UCA2-P)終了連絡が作業中に出ると運転開始指示が出るのでハザード(SC1-1違反)

(UCA2-T)Too earlyだと運転開始指示が早く出るのでハザード(SC1-1違反)

3 見張り開始指示

施工管理者

見張員 (UCA3-N)見張りをしていない時に列車が進入するとハザード(SC1-2違反)

工事していない時に見張りしてもハザードにならない

(UCA3-T)Too lateだと列車進入するとハザード(SC1-2違反)

4 見張り終了指示

施工管理者

見張員 工事していない時に見張りしてもハザードにならない

(UCA4-P)工事中見張りを停止すると列車が進入するとハザード(SC1-2違反)

(UCA4-T)Too earlyだと列車進入するとハザード(SC1-2違反)

5 待避指示 見張員 作業員 (UCA5-N)列車が進入しても待避指示されずハザード(SC1-2違反)

工事が中断するだけなのでハザードにならない

(UCA5-T)Too lateだと待避間に合わずハザード(SC1-2違反)

6 走行停止指示

輸送指令

運転士 (UCA6-N)見張りをしていない時に列車が進入するとハザード(SC1-1違反)

列車が停止するだけなのでハザードにならない

(UCA6-T)Too lateだと運転停止指示が遅れるのでハザード(SC1-1違反)

7 走行開始指示

輸送指令

運転士 列車が停止するだけなのでハザードにならない

(UCA7-P)見張員がいない時に列車が進入するとハザード(SC1-1違反)

(UCA7-T)Too earlyだと列車への運転開始指示が早く出るので列車が進入する(SC1-1違反)

8 走行停止指示

見張員 運転士 (UCA8-N)列車が踏切に進入するのでハザード(SC1-3違反)

列車が停止するだけなのでハザードにならない

(UCA8-T)Too lateだと列車進入するとハザード(SC1-3違反)

9 走行許可 見張員 運転士 列車が停止するだけなのでハザードにならない

(UCA9-P)列車が踏切に進入するのでハザード(SC1-3違反)

(UCA9-T)Too earlyだと列車進入するとハザード(SC1-3違反)

10 停止指示 運転士 列車 (UCA10-N)列車が停止せずに踏切に進入するのでハザード(SC1-3違反)

列車が停止するだけなのでハザードにならない

(UCA10-T)Too lateだと列車進入するとハザード(SC1-3違反)

33

Page 34: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事 ハザード誘発シナリオの導出

(UCA1-N)作業開始連絡ないと運転停止指示が出ないので列車が進入しハザード(SC1-1違反)(UCA1-T)作業開始連絡がToo lateだと列車への運転停止指示が遅れるので列車が進入しハザード(SC1-1違反)

コントロールプロセス:輸送指令

コントローラー:施工管理者

(1)作業開始連絡作業開始許可

⑦動作の遅れ

⑧ Control actionが欠落

⑪プロセス出力の誤り

⑤フィードバックの不十分・欠落・遅延

⑥フィードバック遅延

作業指示・内容/工事計画

走行停止指示

(HS1-N-1)作業開始許可申請を忘れて出さないと走行停止指示が出ない。(HS1--N2)作業開始許可を待たずに作業開始指示する、許可を受けた/事前に許可と勘違いして作業開始指示すると走行停止指示が出ない。(HS1-T-1)作業開始許可申請を出すことを思い出して遅れて出すと走行停止指示を出すのが遅れる(HS1-T-2)作業手順を間違えて作業が開始してから遅れて出すと走行停止指示を出すのが遅れる

列車に走行停止指示を出すのが遅れるとハザード

運転ダイヤと該当列車の現況を合わせて停止指示を出すタイミングを判断する。

Page 35: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例2 踏切工事 ハザード誘発シナリオの導出

• 従来の一方向の事故進展モデルに基づくハザード分析で難しい複雑システムのハ

ザード分析が可能になる。特に、機械やコンピュータなどの技術要因に加えて、人や

組織などの非技術要因を含めた、包括的な事故防止アプローチを可能にする

• 安全制約と制御構造図により、安全をどのような仕組み・体制で制御しようとしている

かを可視化できる。これにより多様な視点からのレビューができる。(組織間のワーク

フロー分析、ヒューマンファクタ分析に有効)

35

Page 36: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システムへの適用事例

アクシデント:

注文した商品が、利用者に配送されない

ハザード:

受注ステータスが確定と決定された注文に対して、商品が出荷されていない状態

アクティビティ図

Page 37: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システム制御構造図

Page 38: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システム UCA表

コントロールアクション

ガイドワード

Not providingcauses hazard

Providingcauses hazard

Too early,Too late,

Wrong ordercauses hazard

Stopping too soon/Applying too long

1注文された商品の引当て指示

(UCA1-N)注文を受けた後、引

当て指示が発行されない。その状況で受注ステータスが確定となり、出荷指示が発行されると、同じ商品の別注文により商品が不足した場合に出荷ができない。

注文されていない状況で引当て指示が発行される。その結果、引当て可能在庫数が実際より少なくなり、販売機会を失う。→安全制約違反には該当しない。

注文を受けた後、引当て指示の発行が遅い。→受注ステータスの確定が遅

れるが、安全制約違反には該当しない。

2商品の出荷指示

(UCA2-N)受注ステータスが確

定と決定された注文に対して出荷指示が発行されない。そのため、出荷が行われない。

(UCA2-P)実際には出荷可能な

商品が注文数より少ない状況で受注ステータスが確定と決定され、出荷指示が発行される。商品の現物が不足し、出荷ができない。

(UCA2-T)受注ステータスが確

定と決定された後、出荷指示の発行が遅れ、速やかに出荷されない。

3 商品の出荷

(UCA3-N)受注ステータスが確

定と決定された注文に対して出荷指示が発行されたが、出荷が行われない。

(UCA3-P)出荷指示とは異なる

商品が出荷される。その商品が、他の注文に対して引当て済みの商品である場合、現物が不足し、その注文に対する出荷ができない。

(UCA3-T)受注ステータスが確

定と決定された注文に対して出荷指示が発行された後、出荷がすぐに行われない。

Page 39: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システム UCA表

コントロールアクション

ガイドワード

Not providingcauses hazard

Providingcauses hazard

Too early,Too late,

Wrong ordercauses hazard

Stopping too soon/Applying too long

1 注文された商品の引当て指示

(UCA1-N)注文を受けた後、引

当て指示が発行されない。その状況で受注ステータスが確定となり、出荷指示が発行されると、同じ商品の別注文により商品が不足した場合に出荷ができない。

注文されていない状況で引当て指示が発行される。その結果、引当て可能在庫数が実際より少なくなり、販売機会を失う 。→安全制約違反には該当しない。

注文を受けた後、引当て指示の発行が遅い。→受注ステータスの確定が

遅れるが、安全制約違反には該当しない。

2商品の出荷指示

(UCA2-N)受注ステータスが確

定と決定された注文に対して出荷指示が発行されない。そのため、出荷が行われない。

(UCA2-P)実際には出荷可能な

商品が注文数より少ない状況で受注ステータスが確定と決定され、出荷指示が発行される。商品の現物が不足し、出荷ができない。

(UCA2-T)受注ステータスが

確定と決定された後、出荷指示の発行が遅れ、速やかに出荷されない。

3 商品の出荷

(UCA3-N)受注ステータスが確

定と決定された注文に対して出荷指示が発行されたが、出荷が行われない。

(UCA3-P)出荷指示とは異なる

商品が出荷される。その商品が、他の注文に対して引当て済みの商品である場合、現物が不足し、その注文に対する出荷ができない。

(UCA3-T)受注ステータスが

確定と決定された注文に対して出荷指示が発行された後、出荷がすぐに行われない。

自動化で解決可能

HCF:複数の注文で、引き当て処

理と注文受付が同期しなくなり、出庫可能数が不足する

安全制約:引き当て処理と注文受付を同期すること

次ページ

Page 40: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システムへの適用事例UCA HCF 安全要件 対策例

UCA3-N

出荷指示がでたのに、出荷が行われない。

HS3-N-1:

出荷指示が出ても、出荷担当者が出荷指示を認識せず、出荷が行われない

SC3-N-1:

商品の出荷指示が確実に認識されること。

(A)出荷機能が出荷指示を

受領したことを販売管理機能に対して通知するフィードバックを追加する

HS3-N-2:

出荷指示が出たが、配送能力が不足し、出荷を受けられない

SC3-N-2:

受注の最大量に応じた十分な配送能力を持つこと。

(B)最大の受注量を見積もり、

それに応じた配送能力を持つ配送業者に業務委託する。

UCA3-P:

出荷指示とは異なる商品が出荷される。在庫データと現物の不一致で、注文に対する出荷ができないことがある。

HS3-P-1:

出荷担当者が出荷指示の内容を誤認識し、出荷指示とは異なる商品が出荷される。

SC3-P-1:

商品の出荷指示が正しく認識されること。

(A)と同じ

UCA3-T:

出荷指示がでたのに、出荷がすぐに行われない。

HS3-T-1:

出荷指示がでても、出荷担当者による出荷指示の認識が遅れ、出荷がすぐに行われない。

SC3-T-1:

商品の出荷指示が速やかに認識されること。

(A)と同じ

HS3-T-2:

出荷指示が出たが、配送能力が不足し、配送を受け付けられない状態が続くため、出荷がすぐにできない。

SC3-T-2:

配送機能は、受注の最大量に応じた十分な配送能力を持つこと。

(B)と同じ

Page 41: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システムへの適用事例

出荷指示受領通知

Page 42: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

事例3 エンタープライズ系/ネット通販システムへの適用事例

• ビジネスモデルとしての制御構造図の表現ができる(アクティビティ図ほど厳密ではないが、機能の抽象化により全体の挙動を見渡せる)

• 各機能間の(制御)指示・応答に隠れた損失リスクを発見できる

• 損失リスクを防ぐための要件定義(コンポーネント安全制約=要求仕様)が導出できる。(トレーサビリティを持ったトップダウンの安全設計ができる。これにより、中・長期の運用期間の中での保守や更新での安全制約の乱れをレビューできる)

• 全体を俯瞰することで、ビジネスモデルの改善ができる(ユーザーの注文状況の把握で、配送機能の増強を図るなど)

42

Page 43: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

Emergent properties(arise from complex interactions)

システム全体の安全制約

Safety and security are emergent properties

コンポーネントの安全制約

想定外事象による安全制約の乱れ

創発的特性コンポーネントの安全制約の和≠ システム全体の安全制約

STAMPモデルに

よる多様な発想力で想定外のハザードを低減できないか?

まとめ:複雑システムの安全設計で考慮すべきこと

トップレベルの抽象化・階層化したモデルで安全制約を考える(複雑さに惑わされない)

トップレベル安全制約からトレーサビリティを持ってコンポーネント安全制約を導く(運用後の更新に備える)

多様な環境・コンテクストのもとで、想定外のハザードも発想し

て安全制約を立てる抽象化した制御構造図でビジネスモデル、ワークフローを俯瞰し改善する

43

Page 44: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

IPA/SECの活動• 2015年 4月 STAMPに関するワーキンググループ設立

• 2015年 9月 「STAMP手法に関する調査報告書」公開

• 2015年 6月 SEC特別セミナー開催 Nancy Leveson教授を招聘

• 2016年 1月 13thWOCSS開催 Nancy Leveson教授を招聘

• 2016年 4月 STAMP初心者向けSTPA手順解説書発行「はじめてのSTAMP/STPA ~システム思考に基づく新しい安全性解析手法~」

• 2016年12月 第1回STAMPワークショップ開催

• 2016年 1月 SEC特別セミナー開催 Erik Hollnagel教授を招聘

• 2017年 1月 JASPARと相互協力協定締結(2/2プレス説明会)

• 2017年 3月 STAMP実践者向けSTPA活用方法解説書公開「はじめてのSTAMP/STPA(実践編) ~システム思考に基づく新しい安全性解析手法~」

Page 45: 複雑システムの安全設計へのチャレンジ - IPA(ATC&TCAS)の矛盾 10 ET/IoT West2017 Software Reliability Enhancement Center 複雑システムの安全とセキュリティ:創発特性

ET/IoT West2017 Software Reliability Enhancement Center

STAMPワークショップ開催第 1回開催日 :2016年12月5日-7日

開催場所 :九州大学稲盛財団記念館、

九州大学西新プラザ

参加者 :130名MIT:J.Thomas氏のチュートリアル+16件の講演

第2回STAMPワークショップ

2017年11月27日-29日

@慶應大三田キャンパス