smaにおける スキル評価を形式的に実施するための 実証実験...

28
2013/11/22 page 1 © 2013 Skills Management Association. 2013年11月22日 15:00-15:20 キ協会SMA キの形式的評価手法開発部会 主査 株式会社 検証品質保証部 佐々木 方規 SMAにおける キ評価を形式的に実施するための 実証実験の取組み説明について E2013 E2013 E2013 E2013

Upload: others

Post on 22-May-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 1© 2013 Skills Management Association.

2013年11月22日 15:00-15:20

スキルマネージメント協会(SMA)スキルの形式的評価手法開発部会 主査

株式会社ベリサーブ 検証品質保証部 佐々木 方規

SMAにおけるスキル評価を形式的に実施するための

実証実験の取組み説明について

ET2013ET2013ET2013ET2013

Page 2: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 2© 2013 Skills Management Association.

スキルの形式的評価手法開発部会の活動

� スキルの形式的評価手法開発部会の目的

ETSSのスキル評価を客観的に実施可能にする手法を開発する

�活動成果の目標1. スキル特性推定手法の研究・開発

� 形式的評価の試験を実現するための試験ツールの開発

� ツール要件と開発(要求仕様、パラメータ設定機能、HMI、セキュリティ)

� 試験時間、問題数、テストエリア、試験の組み合わせ方法など

� 収集したスキル分布からスキルの特徴を統計的に把握する手法の研究

� スキル分布の推定の信頼性に関する手法の研究・開発

2. スキル評価用設問形式の研究・開発

� スキルを形式的に推定するための設問の形式、問題数、設問時間の関係、パラメータに関する研究・開発

3. 個人と組織のスキル評価文言標準化の研究・開発

� スキル分布の類型化(例:分布のモーメントから類型化)に関する研究

� 類型化したスキル分布ごとに標準的な評価文言を開発する研究・開発

Page 3: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 3© 2013 Skills Management Association.

活動スケジュール(直近、3ヵ年計画)

� スキルの形式的評価手法開発部会の3ヵ年スケジュールを以下に示す。

2010年度 2011年度 2012年度4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3

各種試験方法の洗い出し

各種試験方法各種試験方法の洗い出しの洗い出し

スキル分布の類型化に関する手法の洗い出し

スキル分布の類型化スキル分布の類型化に関する手法の洗い出しに関する手法の洗い出し

スキル分布の測定要求に対する

課題設計手法の開発

スキル分布の測定要求スキル分布の測定要求に対するに対する

課題設計手法の開発課題設計手法の開発 課題設計と実施テスト課題設計と実施テスト

類型化の実証実験類型化の実証実験類型化の実証実験 類型化後の

評価文言の開発

類型化後の類型化後の評価文言の開発評価文言の開発

全体の流れ

スキルスキルスキルスキル評価用設問形式評価用設問形式評価用設問形式評価用設問形式のののの研究研究研究研究・・・・開発開発開発開発

個人個人個人個人とととと組織組織組織組織のスキルのスキルのスキルのスキル評価文言評価文言評価文言評価文言標準化標準化標準化標準化のののの研究研究研究研究・・・・開発開発開発開発

スキル分布を説明できる分布特性の洗い出し

スキル分布を説明できるスキル分布を説明できる分布特性の分布特性の洗い出し洗い出し

分布特性からのスキルの推定と検定

分布特性からのスキルの推定と検定

スキル推定手法のトライアル

スキル推定手法のトライアル

スキル特性検定手法ガイドブック

スキル特性検定手法ガイドブック

改良と運用改良と運用

改良と運用改良と運用

分布特性に関する調査結果分布特性に関する調査結果 検定手法検定手法 PDCA用データ一覧PDCA用データ一覧 検定のためのガイドブック検定のためのガイドブック

各種試験方法の調査結果各種試験方法の調査結果 計測したいスキルに対する課題の設計方法計測したいスキルに対する課題の設計方法 課題の作成と実証実験結果課題の作成と実証実験結果 PDCA用情報収集PDCA用情報収集

分布の類型化に関する調査結果分布の類型化に関する調査結果 分布の類型化実証結果分布の類型化実証結果 各類型に対応する評価文言のスキームの開発各類型に対応する評価文言のスキームの開発 PDCA用情報収集PDCA用情報収集

は各工程の成果物

スキルスキルスキルスキル特性推定手法特性推定手法特性推定手法特性推定手法のののの研究研究研究研究・・・・開発開発開発開発

スキル評価テスト試行版スキル評価テスト試行版

スキル評価テスト実施版スキル評価テスト実施版 スキル評価テストによる実スキルの証明と

スキルマネジメントへの応用手法

スキル評価テストによる実スキルの証明とスキル評価テストによる実スキルの証明とスキルマネジメントへの応用手法スキルマネジメントへの応用手法

Page 4: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 4© 2013 Skills Management Association.

スキルの形式的評価手法とは

�多変量解析を用いたスキル特性を形式的に評価する手法

データ収集・整理

確率分布

統計的推測

多変量解析

変数変換データクリーニングデータ加工ケース削除散布図 など

異常値の除去外れ値の処理正規分布時系列分析 など 外れ値の処理

相関関係層別 など

重回帰分析主成分分析因果関係

SEC BOOKSSEC BOOKSSEC BOOKSSEC BOOKS::::【【【【新版新版新版新版】】】】組込みスキル標準組込みスキル標準組込みスキル標準組込みスキル標準 ETSSETSSETSSETSS概説書概説書概説書概説書http://www.ipa.go.jp/sec/publish/tn09http://www.ipa.go.jp/sec/publish/tn09http://www.ipa.go.jp/sec/publish/tn09http://www.ipa.go.jp/sec/publish/tn09----004.html004.html004.html004.html

私はどのスキルタイプ?私はどのスキルタイプ?私はどのスキルタイプ?私はどのスキルタイプ?

客観的な評価をする方法はないの?客観的な評価をする方法はないの?客観的な評価をする方法はないの?客観的な評価をする方法はないの?

新しい評価ツールを開発して、Hit新しい評価ツールを開発して、Hit新しい評価ツールを開発して、Hit新しい評価ツールを開発して、Hit(正解)のパターン(特性)分析して(正解)のパターン(特性)分析して(正解)のパターン(特性)分析して(正解)のパターン(特性)分析してみればできるかもしれないみればできるかもしれないみればできるかもしれないみればできるかもしれない

Page 5: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 5© 2013 Skills Management Association.

スキルの発揮に着目(仮説)

�彼女がスキルを発揮するには

解決すべき課題解決すべき課題解決すべき課題解決すべき課題

課題に対する知識課題に対する知識課題に対する知識課題に対する知識

知識を利用して知識を利用して知識を利用して知識を利用して課題を解決する課題を解決する課題を解決する課題を解決する判断判断判断判断をするをするをするをする

解決!解決!解決!解決!スキルが発揮できたスキルが発揮できたスキルが発揮できたスキルが発揮できた

�熟練度により知識に関係する属性が異なる熟練度により知識に関係する属性が異なる熟練度により知識に関係する属性が異なる熟練度により知識に関係する属性が異なる1.適用する知識1.適用する知識1.適用する知識1.適用する知識

正確に知識を利用する能力の度合い正確に知識を利用する能力の度合い正確に知識を利用する能力の度合い正確に知識を利用する能力の度合い2.処理速度2.処理速度2.処理速度2.処理速度

適応する判断のスピードの違い適応する判断のスピードの違い適応する判断のスピードの違い適応する判断のスピードの違い

熟練者ほど知識の引出しが多く、処理速度が速い熟練者ほど知識の引出しが多く、処理速度が速い熟練者ほど知識の引出しが多く、処理速度が速い熟練者ほど知識の引出しが多く、処理速度が速い

つまりつまりつまりつまり

スキル評価を実施するときに時間的な制約(ストレススキル評価を実施するときに時間的な制約(ストレススキル評価を実施するときに時間的な制約(ストレススキル評価を実施するときに時間的な制約(ストレス特性)を持たせることで、回答パターンがスキル保有特性)を持たせることで、回答パターンがスキル保有特性)を持たせることで、回答パターンがスキル保有特性)を持たせることで、回答パターンがスキル保有者によって変化する。その特性パターンを発見したい者によって変化する。その特性パターンを発見したい者によって変化する。その特性パターンを発見したい者によって変化する。その特性パターンを発見したい

Page 6: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 6© 2013 Skills Management Association.

形式的評価の試験を実現するための試験ツールの開発

�評価ツールの仕様�基本仕様

�CBT形式�時間の操作、不正ができないこと。(入力制限など)�時間記録(記録する時間)

�試験開始(試験開始時間)�各設問回答時間(最初の入力時間)�各設問確定時間(最終の入力時間)�問題回答時間(=最終の入力時間ー試験開始時間)

�問題時間設定(0-60Sec)が外部から設定変更ができること�出題されてから、問題時間設定で自動的に次の出題に移行す

ること�前の問題に戻れないこと�先の問題にも故意に移動できないこと

Page 7: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 7© 2013 Skills Management Association.

�評価ツールの仕様および試験条件�セキュリティ

�保存された回答が改竄され難いこと

�その他�試験環境の設定�試験条件の設定�被験者が同等の環境で受験すること

作業の割り込みが無い環境で実施すること(試験に集中できる環境で実施させること)

形式的評価の試験を実現するための試験ツールの開発

Page 8: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 8© 2013 Skills Management Association.

スキル評価用設問形式の研究・開発

�評価試験問題作成ガイドライン

スキルの形式的評価の試験問題の作成にあたり、スキルの形式的評価試験システムの特性

に合わせた試験問題の作成ガイドラインが必要と仮定し、下記の基準を検討しました。

�適正な問題の記述文字数

1題20秒の前提で、出題文字制限をかけて実証実験

�デシジョンテーブルなど、理解するのに時間が必要と思える出題について

デシジョンテーブルとコードカバレッジの問題で実証実験

�使用する辞書について

社内で普及している用語のみでなく、被験者は個々の作業環境で作業を行っているために

、統一した用語辞書の準備が困難である。業界標準やISO、IEEEなどで定義されているが、日常的に利用しない用語の使用を確認する。

Page 9: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 9© 2013 Skills Management Association.

1234567890123456789012345678901234567890

問4 総合テストの工程で、最終フェーズとなりランダムフリー試験を実施している。テスト対象は初期設定の機能で、この設定値によってテスト対象の振る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設定値通りに動作することを確認することになる。有効値10~50のパラメータを持つテスト因子のテストを実施する場合、最も適切なテストデータは、次のどれか。

ア. 9,10,11,25,49,50,51イ. -1,10,50,100ウ. 5,25,55エ. -1,25,65535

�問題設定文字数 160文字以上

4080120160200

スキル評価用設問形式の研究・開発

Page 10: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 10© 2013 Skills Management Association.

1234567890123456789012345678901234567890

問12 検索エンジンのテストを実施している。検索対象のキーはフリーだが、ヒット数が検索上限(1000件)を超える場合には、検索を中止してヒット上位をリスト表示する。検索ヒット数に関するテストを行う場合、適切なものは次のどれか。

ア. ヒット数が、0件、500件、1000件のケースイ. ヒット数が、1件、500件、999件、1000件のケースウ. ヒット数が、0件、1件、999件、1000件、1001件のケースエ. ヒット数が、1件、999件、1000件、1001件のケース

�問題設定文字数 80-120文字程度

4080120160200

スキル評価用設問形式の研究・開発

Page 11: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 11© 2013 Skills Management Association.

1234567890123456789012345678901234567890

問8 有効値が0以上100未満の場合(整数値のみ有効)の限界値分析で”テストの値”として正しいものは、次のどれか。

ア. -1,0,1,98,99イ. 0,1,99,100,101ウ. -1,0,1,98,99,100エ. 0,1,98,99,100

�問題設定文字数 80文字以下

4080120160200

スキル評価用設問形式の研究・開発

Page 12: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 12© 2013 Skills Management Association.

問18 下記のようなフローチャートに対して、C1:判断条件分岐(Branch Coverage)でテストを行う場合、何度テストを実行する必要があるか、正しいものは次のどれか。

ア. 2イ. 3ウ. 4エ. 5

�計算・確認問題

A=1

処理A

START

B=1 or C=1

処理B

END

偽真

スキル評価用設問形式の研究・開発

Page 13: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 13© 2013 Skills Management Association.

問10 ある旅館の予約システムを検証する。以下のような割引制度がある・オフシーズンであれば1000円の割引となる・60歳以上の場合は1500円の割引となる・割引クーポンを利用する場合は2000円の割引となる・オフシーズン割引とクーポン割引は同時に適応されず、クーポン割引が優先される。

1000円割引の行の結果に入力する値として、正しいものは次のどれか。

ア. ○、×、×、○、×、×、×イ. ○、×、×、○、×、○、×ウ. ○、×、×、○、○、×、×エ. ○、×、×、×、○、×、○

�デシジョンテーブル

オフシーズン割引 Y N N Y Y N Y

60歳以上割引 N Y N Y N Y Y

クーポン割引 N N Y N Y Y Y

1、000円割引

1、500円割引 × ○ × ○ × ○ ○

2、000円割引 × × ○ × ○ ○ ○

スキル評価用設問形式の研究・開発

Page 14: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 14© 2013 Skills Management Association.

問20 APIのテストを実施するために、事前にテストハーネスを用意した。今回のAPIは、ソフトウェアインタラプトで呼び出される。適切なテストハーネスは、次のどれか。

ア. STUBイ. ライブラリモジュールウ. テストドライバエ. ICE

�使用用語辞書

スキル評価用設問形式の研究・開発

Page 15: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 15© 2013 Skills Management Association.

問15 今回のテスト実行のためのテストケースは、NGT(Notation for Generic Testing)を用いてテスト設計されている。テスト実行者として、テストケース記述のどのポイントに着目して実行すればよいか、最適なものを選びなさい。

ア. ノイズの条件イ. オペレーション間の振る舞いウ. 機能間の関連性エ. 2因子間のカバレッジ

�使用用語辞書

スキル評価用設問形式の研究・開発

Page 16: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 16© 2013 Skills Management Association.

サンプル実証の評価結果

スキルの形式的評価ツールに準じた評価問題の作成(テストエンジニア向け実証評価)

�適正な問題の記述文字数に関して

問題、選択肢ともに(読み解く時間として)160文字以内が妥当と判断。

�デシジョンテーブルなど、理解するのに時間が必要と思える出題に関して

デシジョンテーブルとコードカバレッジの問題で確認したところ、計算と論理的 思考問題は、不適。

�使用する辞書に関して

標準用語辞書の準備が困難であったが、業界標準の用語集を業務で利用している点もあり、特に問題が検出されなかった。

�実試験評価

� 90分180問で実施した結果、被験者(受験者)からの不満が噴出。

� 試験時間が長い(飽きる)。時間が長いのではなく、淡々と問題が過ぎてゆくのが辛い。緊張感が続かない。

結果結果結果結果 1111問問問問/20Se/20Se/20Se/20Secccc 問題数問題数問題数問題数100100100100問で、約問で、約問で、約問で、約33333333分で終了する方式に変更。分で終了する方式に変更。分で終了する方式に変更。分で終了する方式に変更。

Page 17: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 17© 2013 Skills Management Association.

スキルの形式的評価の試験実施要綱

�試験範囲の設定、試験要項について

�試験方式、問題数、試験範囲、前提事項等の受験要綱の作成

�試験範囲は、テスト領域。被験者のスキル領域

�問題数は、100問

�試験時間は、33分

�回答は、四者択一

Page 18: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 18© 2013 Skills Management Association.

知識内容から条件判断へ移行知識内容から条件判断へ移行知識内容から条件判断へ移行知識内容から条件判断へ移行�知識、用語など記憶問題から、条件判断や応用へ試験問題の内容を一部移行

ソフトウェアテストの問題形式に変化を持たせる。

レベルCでの、与えられた環境下での条件判断を問う問題比率を高めた

�テストカテゴリを設定し、判定範囲を設定

スキル分布特性との整合性を比較

レベル レベルの説明 備考

A 用語を認知しており、会話で利用できる 認知レベル

B 用語・内容を認知しており、会話・文書作成で利用できる 引用レベル

C 用語・内容を理解しており、実務で利用できる 実用レベル

スキルの形式的評価の試験実施要綱

Page 19: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 19© 2013 Skills Management Association.

スキル分析から生成した評価問題

BTS Common AREAテストプロジェクト情報/テストケース情報/優先度

/重要度/起票者

BTS Report AREA

Summary/手順/期待値/再現性

BTS Developer Comment AREA対応者/欠陥の有無/原因/修正モジュール/影響範囲

BTS Control AREAステータス/Date

BTS Tester Comment AREAステータス/Date

テストスキル(または知識)・テストプロジェクト情報(工程、体制)・テスト管理・テスト不具合報告・テスト実装(メンテナンス)上流技術・FTA/FMEA/モード分析

ドメインスキル(または知識)・テストベースの振る舞い・仕様の所在

開発スキル(または知識)・開発プロジェクト情報(工程、体制)・開発工程(各工程別スキル)・

パーソナルスキル・日本語/文章・コミュニケーション

図.BTSのレポート構造

スキル熟練度による推測能力

Page 20: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 20© 2013 Skills Management Association.

評価ツールのサンプル

Page 21: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 21© 2013 Skills Management Association.

本ツールの評価出力データ

10xxxxxxxxx

1 0:00:18 0:00:00 0:00:00 0:00:004 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:004 0:00:16 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:002 0:00:12 0:00:00 0:00:00 0:00:003 0:00:07 0:00:00 0:00:00 0:00:003 0:00:10 0:00:00 0:00:00 0:00:002 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:001 0:00:08 0:00:00 0:00:00 0:00:002 0:00:08 0:00:00 0:00:00 0:00:003 0:00:11 0:00:16 0:00:00 0:00:002 0:00:13 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:004 0:00:12 0:00:16 0:00:00 0:00:001 0:00:18 0:00:00 0:00:00 0:00:003 0:00:11 0:00:00 0:00:00 0:00:00

10xxxxxxxxx

1 0:00:18 0:00:00 0:00:00 0:00:004 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:004 0:00:16 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:002 0:00:12 0:00:00 0:00:00 0:00:003 0:00:07 0:00:00 0:00:00 0:00:003 0:00:10 0:00:00 0:00:00 0:00:002 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:001 0:00:08 0:00:00 0:00:00 0:00:002 0:00:08 0:00:00 0:00:00 0:00:003 0:00:11 0:00:16 0:00:00 0:00:002 0:00:13 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:004 0:00:12 0:00:16 0:00:00 0:00:001 0:00:18 0:00:00 0:00:00 0:00:003 0:00:11 0:00:00 0:00:00 0:00:00

10xxxxxxxxx

1 0:00:18 0:00:00 0:00:00 0:00:004 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:004 0:00:16 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:002 0:00:12 0:00:00 0:00:00 0:00:003 0:00:07 0:00:00 0:00:00 0:00:003 0:00:10 0:00:00 0:00:00 0:00:002 0:00:10 0:00:00 0:00:00 0:00:001 0:00:16 0:00:00 0:00:00 0:00:001 0:00:08 0:00:00 0:00:00 0:00:002 0:00:08 0:00:00 0:00:00 0:00:003 0:00:11 0:00:16 0:00:00 0:00:002 0:00:13 0:00:00 0:00:00 0:00:004 0:00:13 0:00:00 0:00:00 0:00:004 0:00:12 0:00:16 0:00:00 0:00:001 0:00:18 0:00:00 0:00:00 0:00:003 0:00:11 0:00:00 0:00:00 0:00:00

氏名氏名氏名氏名

社員番号社員番号社員番号社員番号

回答回答回答回答

回答をクリックし回答をクリックし回答をクリックし回答をクリックした時間(た時間(た時間(た時間(s)s)s)s)

回答を修正した回答を修正した回答を修正した回答を修正した時間(時間(時間(時間(s)s)s)s)

�試験結果のデータは、次の通り試験結果のデータは、次の通り試験結果のデータは、次の通り試験結果のデータは、次の通り

最初に最初に最初に最初に11111111秒で回答し、秒で回答し、秒で回答し、秒で回答し、4444秒後に修正秒後に修正秒後に修正秒後に修正している例。している例。している例。している例。

Page 22: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 22© 2013 Skills Management Association.

スキルの形式手法実証評価について

�データの分析を実施中。データの分析を実施中。データの分析を実施中。データの分析を実施中。

0 1 2 3 4 5 6 7 8 9 103 9 1 2 2 1 32 14 2 2 5 1 3 11 53 2 3 9 8 16 9 2 40 89 3 3 15 20 22 18 5 2 1-1 86 5 9 17 12 28 10 3 2-2 34 3 6 9 9 4 2 1-3 15 1 7 6 1

0 1 2 3 4 5 6 7 8 9 1023 0 0 0 0.087 0.13 0.217 0.13 0.217 0.087 0.13 049 0.061 0.143 0.327 0.306 0.102 0.041 0 0.02 0 0 0

-0.06 -0.14 -0.33 -0.22 0.028 0.177 0.13 0.197 0.087 0.13 0

超難題

0 1 2 3 4 53 7 1 3 2 12 22 2 10 6 3 11 42 2 5 13 19 30 81 3 22 25 21 8 2-1 67 3 16 21 22 5-2 47 9 15 15 5 3-3 16 8 5 3

0 1 2 3 4 529 0 0.103 0.448 0.276 0.138 0.03463 0.143 0.365 0.317 0.127 0.048 0

-0.14 -0.26 0.131 0.149 0.09 0.034

超難題

2012201220122012年ペーパー試験年ペーパー試験年ペーパー試験年ペーパー試験

2013201320132013年ツール試験年ツール試験年ツール試験年ツール試験

問題を拡張問題を拡張問題を拡張問題を拡張

Page 23: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 23© 2013 Skills Management Association.

スキルの形式手法実証評価について

�データの分析を実施中。データの分析を実施中。データの分析を実施中。データの分析を実施中。2012201220122012年ペーパー試験年ペーパー試験年ペーパー試験年ペーパー試験

2013201320132013年ツール試験年ツール試験年ツール試験年ツール試験

問題を拡張問題を拡張問題を拡張問題を拡張

0 1 2 3 4 5 6 7 8 9 103 9 1 1 1 2 1 2 12 14 2 6 3 2 11 53 5 14 16 12 60 89 3 10 13 16 28 18 1-1 86 2 5 15 17 25 17 4 1-2 34 1 1 1 4 13 5 6 1 1 1-3 15 1 3 4 4 2 1

0 1 2 3 4 5 6 7 8 9 1023 0 0 0 0.043 0.043 0.043 0.174 0.304 0.217 0.13 0.04349 0.041 0.02 0.082 0.163 0.347 0.143 0.143 0.02 0.02 0.02 0

-0.04 -0.02 -0.08 -0.12 -0.3 -0.1 0.031 0.284 0.197 0.11 0.043

初級技術者

0 1 2 3 4 53 7 1 62 22 3 9 8 21 42 2 21 16 30 81 2 7 36 28 8-1 67 1 8 26 27 5-2 47 3 6 19 14 5-3 16 3 3 10

0 1 2 3 4 529 0 0 0.103 0.345 0.483 0.06963 0 0.048 0.143 0.349 0.381 0.079

0 -0.05 -0.04 -0 0.102 -0.01

初級技術者

Page 24: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 24© 2013 Skills Management Association.

スキルの形式手法実証評価について

�データの分析を実施中。データの分析を実施中。データの分析を実施中。データの分析を実施中。

0 1 2 3 4 53 7 1 3 2 12 22 2 10 6 3 11 42 2 5 13 19 30 81 3 22 25 21 8 2-1 67 3 16 21 22 5-2 47 9 15 15 5 3-3 16 8 5 3

0 1 2 3 4 529 0 0.103 0.448 0.276 0.138 0.03463 0.143 0.365 0.317 0.127 0.048 0

-0.14 -0.26 0.131 0.149 0.09 0.034

超難題

2012201220122012年ペーパー試験年ペーパー試験年ペーパー試験年ペーパー試験 2012201220122012年ペーパー試験年ペーパー試験年ペーパー試験年ペーパー試験0 1 2 3 4 5

3 7 1 62 22 3 9 8 21 42 2 21 16 30 81 2 7 36 28 8-1 67 1 8 26 27 5-2 47 3 6 19 14 5-3 16 3 3 10

0 1 2 3 4 529 0 0 0.103 0.345 0.483 0.06963 0 0.048 0.143 0.349 0.381 0.079

0 -0.05 -0.04 -0 0.102 -0.01

初級技術者

Page 25: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 25© 2013 Skills Management Association.

スキルの形式手法実証評価について

�データの分析を実施中。データの分析を実施中。データの分析を実施中。データの分析を実施中。

0 1 2 3 4 5 6 7 8 9 103 9 1 1 1 2 1 2 12 14 2 6 3 2 11 53 5 14 16 12 60 89 3 10 13 16 28 18 1-1 86 2 5 15 17 25 17 4 1-2 34 1 1 1 4 13 5 6 1 1 1-3 15 1 3 4 4 2 1

0 1 2 3 4 5 6 7 8 9 1023 0 0 0 0.043 0.043 0.043 0.174 0.304 0.217 0.13 0.04349 0.041 0.02 0.082 0.163 0.347 0.143 0.143 0.02 0.02 0.02 0

-0.04 -0.02 -0.08 -0.12 -0.3 -0.1 0.031 0.284 0.197 0.11 0.043

初級技術者

0 1 2 3 4 5 6 7 8 9 103 9 1 2 2 1 32 14 2 2 5 1 3 11 53 2 3 9 8 16 9 2 40 89 3 3 15 20 22 18 5 2 1-1 86 5 9 17 12 28 10 3 2-2 34 3 6 9 9 4 2 1-3 15 1 7 6 1

0 1 2 3 4 5 6 7 8 9 1023 0 0 0 0.087 0.13 0.217 0.13 0.217 0.087 0.13 049 0.061 0.143 0.327 0.306 0.102 0.041 0 0.02 0 0 0

-0.06 -0.14 -0.33 -0.22 0.028 0.177 0.13 0.197 0.087 0.13 0

超難題

2013201320132013年ツール試験年ツール試験年ツール試験年ツール試験

Page 26: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 26© 2013 Skills Management Association.

スキルの形式手法実証評価について

�データの分析を実施中。データの分析を実施中。データの分析を実施中。データの分析を実施中。

Page 27: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 27© 2013 Skills Management Association.

今後の活動展開

� 評価ツールへの改善課題(カスタマイズ)と評価問題の作成観点が抽出を行います。評価ツールへの改善課題(カスタマイズ)と評価問題の作成観点が抽出を行います。評価ツールへの改善課題(カスタマイズ)と評価問題の作成観点が抽出を行います。評価ツールへの改善課題(カスタマイズ)と評価問題の作成観点が抽出を行います。

�広くスキル評価を活用して頂くために、ツールのカスタマイズと評価問題の作成要綱広くスキル評価を活用して頂くために、ツールのカスタマイズと評価問題の作成要綱広くスキル評価を活用して頂くために、ツールのカスタマイズと評価問題の作成要綱広くスキル評価を活用して頂くために、ツールのカスタマイズと評価問題の作成要綱を作成します。を作成します。を作成します。を作成します。

� 評価ツールの幅広く展開し、スキル分布の関係を把握するために、多変量分析データを評価ツールの幅広く展開し、スキル分布の関係を把握するために、多変量分析データを評価ツールの幅広く展開し、スキル分布の関係を把握するために、多変量分析データを評価ツールの幅広く展開し、スキル分布の関係を把握するために、多変量分析データを取得するための活動を進めます。取得するための活動を進めます。取得するための活動を進めます。取得するための活動を進めます。

�実証実験で、本ツールにて評価試験を実施します。(受験規模実証実験で、本ツールにて評価試験を実施します。(受験規模実証実験で、本ツールにて評価試験を実施します。(受験規模実証実験で、本ツールにて評価試験を実施します。(受験規模400400400400名名名名////半年)半年)半年)半年)

�多変量解析の実施します。多変量解析の実施します。多変量解析の実施します。多変量解析の実施します。

� SMA内での会員企業向け評価ツールの展開しますSMA内での会員企業向け評価ツールの展開しますSMA内での会員企業向け評価ツールの展開しますSMA内での会員企業向け評価ツールの展開します

�会員企業には、無償でツールを展開を予定しています。また、導入の支援も積極的に会員企業には、無償でツールを展開を予定しています。また、導入の支援も積極的に会員企業には、無償でツールを展開を予定しています。また、導入の支援も積極的に会員企業には、無償でツールを展開を予定しています。また、導入の支援も積極的に実施します。実施します。実施します。実施します。

�部会企業内での更なる評価ツールの実証実験によるスキル分布特性の精度と信頼部会企業内での更なる評価ツールの実証実験によるスキル分布特性の精度と信頼部会企業内での更なる評価ツールの実証実験によるスキル分布特性の精度と信頼部会企業内での更なる評価ツールの実証実験によるスキル分布特性の精度と信頼性の向上させます。性の向上させます。性の向上させます。性の向上させます。

�スキル評価のドメインが単一であったため、スキル評価の特性が固有の分布を示すスキル評価のドメインが単一であったため、スキル評価の特性が固有の分布を示すスキル評価のドメインが単一であったため、スキル評価の特性が固有の分布を示すスキル評価のドメインが単一であったため、スキル評価の特性が固有の分布を示す結果となることが推測されます。今後は、実証評価のドメインを拡大し、多変量分析に結果となることが推測されます。今後は、実証評価のドメインを拡大し、多変量分析に結果となることが推測されます。今後は、実証評価のドメインを拡大し、多変量分析に結果となることが推測されます。今後は、実証評価のドメインを拡大し、多変量分析によるスキルの形式的評価の信頼性の向上を目指します。よるスキルの形式的評価の信頼性の向上を目指します。よるスキルの形式的評価の信頼性の向上を目指します。よるスキルの形式的評価の信頼性の向上を目指します。

� スキルの形式的評価手法の実践利用を目指します。スキルの形式的評価手法の実践利用を目指します。スキルの形式的評価手法の実践利用を目指します。スキルの形式的評価手法の実践利用を目指します。

Page 28: SMAにおける スキル評価を形式的に実施するための 実証実験 …る舞いが変化する。テスト観点は、設定値が正しく保存され、テスト対象が設

2013/11/22 page 28© 2013 Skills Management Association.

ご清聴ありがとうございました

http://www.skill.or.jp/

ブース番号 : E-26

SMAへの加入と、研究会参加者を募集しております