사서교육훈련 효과성 입증을 위한 평가도구 개발 연구제 출 문...

최종보고서

｢사서교육훈련 효과성 입증을 위한 평가도구 개발｣ 연구

2017. 2.

제 출 문

국립 앙도서 장 귀하

본 보고서를 ｢사서교육훈련 효과성 입증을 한 평가도구 개발｣ 연구

과제의 최종 보고서로 제출합니다.

2017. 2.

￭ 탁연구기 명 : 상명 학교 서울 산학 력단

￭연 구 책 임 자 : 박옥남 (상명 학교 문헌정보학과 교수)

￭공 동 연 구 원 : 차성종 (숭의여자 학교 문헌정보학과 교수)

김신 (경일 학교 문헌정보학과 교수)

장경원 (경기 학교 교직학과 교수)

￭보 조 원 : 허다 (상명 학교 문헌정보학과 석사생)

황정선 (성균 학교 문헌정보학과 석사생)

이 연구는 2016년도 국립 앙도서 연구개발비로 수행되었으며,

본 연구에서 제시된 정책 제안이나 의견 등은 국립 앙도서 의

공식의견이 아니라 본 연구진들의 개인 견해임을 밝 둡니다.

i

연구요약

본 연구는 국립 앙도서 의 사서교육훈련 직무교육의 효과성을 객 이고

복합 으로 측정할 수 있는 평가도구 개발을 도출하기 해 수행되었으며, 주

요 연구결과는 다음과 같다.

첫째, 국립 앙도서 사서교육 훈련 로그램 평가체계를 분석한 결과,

1단계 만족도 평가는 설문지 문항구성이 교육내용, 교육자료 매체, 교수

학습활동, 강사 학습 진자 등에 한 구체 인 분석이 불가하고 단순히

교과목별 만족도만 측정하도록 구성되어 있다. 2단계 학업성취도의 경우, 재

신임사서과정에만 학습평가를 실시하고 있어 평가방법의 확 가 요구된다. 3

단계의 경우, 업 용도 과정을 선정하는 기 부재 업 용도 평가 상

과정의 확 , 업 용도의 향요인을 반 한 평가도구 개발이 요구된다. 마

지막으로 4단계 성과평가는 재 실시하지 않으며, 성과 측정 가능성에 한

연구가 요구된다. 평가방법에 해서는 설문지 평가에 의존하고, 평가시기 역

시 교육 로그램 후에 획일 으로 이루어지고 있으므로, 이에 한 다양성 확

보가 필요하다.

둘째, 국내외 선행연구 문헌조사를 바탕으로 평가도구에 한 다음의 고

려사항을 도출하 다. 교육훈련 로그램의 효과성 측정을 하여 범 한 조

직의 교육훈련평가에서 Kirkpatrick의 모형이 사용되었으며, 단계 간의 상 성

계 상 계가 다수의 연구에서 입증되었다. 상 단계의 평가는 평가

를 수행하기 한 비용 시간이 요구되고 측정 역시 용이하지 않기 때문에,

과정에 한 평가단계를 결정하는 의사결정 역시 요하다. 한 업 용도

와 유의미한 상 계가 있는 향요인 교육내용 설계요인이 미치는

향이 가장 높은 것으로 나타났다. 이는 업 용도를 향상시키기 해서는 직

무에 한, 직무에 용 가능한 교육과정의 설계가 선결되어야 함을 알 수

있다. 마지막으로 유효한 평가도구 지표를 도출하기 해서는 사례조사,

ii

문가 교육훈련생의 참여가 요하다.

셋째, 교육훈련기 평가사 벤치마킹 사례 분석을 통해 부분의 공공

교육훈련기 이 Kirkpatrick의 4수 평가 1,2단계 평가를 수행하고 있으며,

교육과정별로 3단계 평가와 4단계 평가를 부분 으로 진행하고 있다. 한 정

량 평가와 함께 정성 평가를 병행하고 있다. 정량 평가의 제한 인 정

보를 정성 평가를 통해 보완할 수 있으며, 특히 3,4단계에서는 질 자료를

수집, 분석, 용하는 것이 요구된다.

넷째, 이해 계자 요구분석을 해 포커스 그룹 인터뷰와 문가 자문을 실

시하 다. 그 결과, 재 국립 앙도서 사서교육훈련의 1단계 평가는 문항이

단순하며 교육내용 설계에 한 부분이 부족하므로 이에 한 보완이 요구

된다. 2단계 평가 역시도 모든 교육과정에 용하기에는 교육생에게 부담이 될

수 있다. 교육생의 부담을 최소화하는 2단계 평가가 필요하며 이를 한 학

업성취도 인식조사를 고려할 수 있다. 실 으로 3,4단계 평가는 어려움이

있으며, 신 한 도입이 요구된다. 이를 보완하기 하여 정량 평가와 함께

정성 평가가 함께 수행될 필요가 있다. 사서교육 로그램 자체가 실무에

투입되는 사서의 직무능력을 증진시키는 것을 목 으로 하므로, 3단계의

업 용도 확 는 필요하다. 그러나 평가주체를 동료나 상사로 확 하는 것은

교육생의 교육내용 보다는 개인 인 평가가 반 될 수 있다. 사서교육 로그

램에서 4단계 평가를 도입하는 것은 신 할 필요가 있다. 실제 교육 상자들

이 속한 기 의 성과를 측정하는 것이 실 으로 용이하지 않으며, 교육내

용과 성과 사이의 다양한 변수를 통제하기가 쉽지 않다. 이에 인식을 기반으

로 한 설문조사 등의 실 으로 가능한 방법을 고려해야 한다.

장기과정의 경우, 매일 평가를 하여 평가의 신뢰도를 높일 필요가 있으며

교육생에 한 사 정보 입수가 요구된다. 한 응답률을 높이기 한 방안

이 필요하며, 이를 해 온라인 모바일을 활용한 평가를 고려할 수 있다.

평가 외에 교육 로그램 자체에 한 고민이 필요하며, 이를 해 교육과정

을 NCS 기반으로 분류하는 등의 표 화 작업이 요구된다. 마지막으로 체계

화된 평가시스템을 해서는 별도의 평가조직 는 문인력이 필요하다.

iii

다섯째, 선행연구, 사례조사, 이해 계자 요구분석을 바탕으로 국립 앙도서

사서교육 로그램 신 평가체계를 제시하 다. 신 평가체계에서는 국립 앙

도서 사서교육 로그램 평가체계 개발 방향, 평가체계 수립 략, 평가단계

결정, 평가도구 개발방향을 제시하 다. 신 평가체계의 주요 개념은 다음과 같

다. 국립 앙도서 사서교육 로그램의 평가는 기본 으로 Kirkpatrick의 4단

계를 따르되, 교육 로그램의 유형에 따라 평가단계를 제시하 다. 이를 하

여 교육 로그램 평가유형을 교육기간(단기/ 장기), 교육내용(직무-리더십-소

양), 교육 상(신규-재직)으로 구분하 으며, 각 단계별 평가분류기 을 선정

하여, 과정별 평가단계를 설정하 다. 교육 로그램유형별로 수집한 평가 자

료의 양과 질은 로그램에 따라 상이하지만, 기본 으로 소양교육/신규 상/

단기교육에서는 상 으로 낮은 수 의 자료 수집을, 직무교육/재직자 상/

장기교육에서는 높은 수 의 다양한 자료를 수집한다. 이를 바탕으로 2017년

개설 정인 53개 집합과정 1단계 53개 과정, 2단계 5개 과정, 3단계 16개

과정, 4단계 5개 과정을 제시하 다.

여섯째, 국립 앙도서 사서교육훈련의 신 평가체계를 바탕으로 교육 로그

램 유형별 ① 1단계/3단계의 범용 시형 평가 도구와 ② 2단계/4단계의 맞춤

형 평가 도구를 개발하 다. 1단계 만족도 평가를 하여 교육 조사 7개 항목,

교육 후 조사 13개 항목, 사이버과정 11개 항목을 도출하 다. 만족도 평가도구는

학습자, 교육과정, 교육환경, 교과목 강사평가, 교육목표, 교육 반의 역을

포 한다. 2단계 학업성취도는 지식, 태도, 기술을 측정하기 한 필기평가, 수행

평가, 설문지 평가방법을 제시하고, 설문지 평가를 하여 사 -사후 총7개 문항

을 개발하 다. 3단계 업 용도 평가는 설문조사 문항을 개발하 다. 업 용

도 평가 역은 향요인( 이동기, 변화가능성, 상사지원, 동료지원), 업 용 활

동수 , 활용순 , 개발 황, 직무역량 향상도, 업무성과 향상 황을 도출하 다.

성과평가를 해서는 성과인식도 설문 SCM 조사, 인식기반 ROI 평가, 국

도서 성과평가 연계를 제시하 으며, 이를 하여 생산성, 품질, 완료시간, 직무

만족, 이용자만족의 항목을 도출하 다.

일곱째, 본 연구에서 제시하는 평가체계, 평가도구의 활용성을 진하기

iv

하여 각 연구결과물들을 매뉴얼로 구성하 다. 매뉴얼은 교육 로그램 평과과

정에 근거하여 국립 앙도서 사서교육 로그램 평가개요 체계, 각 단계

별 매뉴얼을 제시하 다. 평가개요 체계는 평가목 방향, 평가단계 분

류기 결정을 제시하 다. 각 단계별 매뉴얼을 평가도구 개발 운 ,

평가도구 분석 활용 순으로 제시하 으며, 결과보고서 워크시트를 제시하

다.

마지막으로, 본 연구는 국립 앙도서 사서교육 로그램 평가체계 도

구 개발 운 을 하여 이해 계자 요구분석, 교육훈련 문인력 산

확보, 평가모형 반 교육과정 설계, 평가도구의 지속보완, 피드백 로세스의

도입, 온라인 모바일 평가시스템의 도입, 사서교육 로그램 평가 인 라 구

축 등을 제언하 다.

v

[ 목 차 ]

제 1 장 서론

1.1 연구의 목 필요성 ·······················································································3

1.2 연구범 내용 ·································································································4

1.3 연구의 방법 ···········································································································5

1.4 과업수행의 기 효과 ···························································································7

제 2 장 국립 앙도서 사서교육훈련 로그램 평가체계 분석

2.1 로그램 황 분석 ···························································································11

2.2 로그램 평가체계 분석 ···················································································27

2.3 시사 ···················································································································41

제 3장 국내외 문헌조사 선행연구

3.1 직무교육 로그램 평가모형 차 ·····························································47

3.2 선행연구 ···············································································································54

3.3 시사 ···················································································································69

제 4 장 교육훈련기 평가사례 분석

4.1 국내사례 ···············································································································79

4.2 국외사례 ···············································································································96

4.3 국외도서 ·········································································································105

4.4 벤치마킹 기 면담 ·························································································107

vi

제 5 장 이해 계자 요구 분석

5.1 포커스 그룹 인터뷰(FGI) 조사 ··································································· 123

5.2 문가 자문회의 ····························································································· 131

5.3 시사 ··············································································································· 135

제 6 장 사서교육훈련 평가지표

6.1 사서교육훈련 (新)평가체계 개발 ································································ 139

6.2 사서교육훈련 4단계 평가도구 ····································································· 167

제 7 장 결론 제언

7.1 결론 ··················································································································· 225

7.2 제언 ··················································································································· 229

참고문헌 ···········································································································234

<부록> 델 이 조사 설문지 ······································································237

사서교육훈련 교육성과 평가 매뉴얼 ·······················································259

vii

[ 표 목 차 ]

<표 2-1> 국립 앙도서 의 사서교육훈련 추진방향 법 근거(2016) ··········12

<표 2-2> 국립 앙도서 사서교육훈련 개요 ····························································13

<표 2-3> 국립 앙도서 의 사서교육훈련 상기 직원 황 ······················15

<표 2-4> 국립 앙도서 의 사서교육훈련 운 실 (2013-2015) ··························15

<표 2-5> 국립 앙도서 사서교육훈련 집합교육 운 황(2016) ····················17

<표 2-6> 국립 앙도서 사서교육훈련 사이버교육 운 황(2016) ················19

<표 2-7> ｢신임사서기본｣ 교육과정 개요와 특징 ······················································21

<표 2-8> 문교육과정 개요와 특징 ············································································24

<표 2-9> 기타교육( 력과정) 개요와 특징 ································································26

<표 2-10> ｢국립 앙도서 사서교육훈련 운 규정｣ 의 평가 련 규정 ········28

<표 2-11> 국립 앙도서 사서교육훈련 근무태도평가 기 표 ····························29

<표 2-12> 사서교육훈련 과정별 평가방법 ··································································30

<표 2-13> 사서교육훈련 집합교육 만족도(1단계) 평가분야 내용 ··················32

<표 2-14> ｢신임사서기본｣ 과정 학업성취도 평가방법 내용 ····························33

<표 2-15> ｢신임사서기본｣ 과정 학습평가 방법 내용 ········································34

<표 2-16> 국립 앙도서 사서교육훈련 개인연구실 평가표 ····························36

<표 2-17> 국립 앙도서 사서교육훈련 분임연구실 평가표 ····························37

<표 2-18> 사서교육훈련 업 용도 평가방법 내용 ··········································39

<표 2-19> 사서교육훈련 업 용도 평가결과(2014-2016) ····································40

<표 2-20> 국립 앙도서 사서교육훈련 로그램 분석 결과 시사 ··········41

<표 3-1> 교육 로그램의 평가 략 ··············································································47

<표 3-2> 교육 로그램 평가모형 ··················································································50

<표 3-3> Kirkpatrick 평가모형 ······················································································52

<표 3-4> Kirkpatrick 평가단계별 평가고려사항 ························································53

<표 3-5> 교육훈련 평가도구 ··························································································63

<표 3-6> 업 용도 평가도구 ······················································································67

<표 3-7> 1단계 평가방안 ································································································70

viii

<표 3-8> 2단계 평가방안 ································································································71

<표 3-9> 3단계 평가방안 ································································································73

<표 3-10> 4단계 평가방안 ······························································································75

<표 4-1> 앙교육연수원 교육 로그램 평가체계 ··················································79

<표 4-2> 앙교육연수원 평가단계별 내용 방법 ················································80

<표 4-3> 앙교육연수원 평가단계별 평가도구 주요 내용 ····································81

<표 4-4> 국가공무원인재개발원 교육평가체계 ··························································83

<표 4-5> 국가공무원인재개발원 교육평가 ··································································84

<표 4-6> 국가공무원인재개발원 만족도평가(1단계) 특성 ······································85

<표 4-7> 국가공무원인재개발원 학업성취도평가(2단계) 특성 ······························85

<표 4-8> 국가공무원인재개발원 업 용도 평가(3단계) 특성 ····························86

<표 4-9> 국가공무원인재개발원 업 용도 평가를 한 SCM FGI ·············86

<표 4-10> 서울시인재개발원 교육평가체계 ································································87

<표 4-11> 서울시인재개발원 평가 차 ········································································88

<표 4-12> 서울시인재개발원 학습자만족도평가(1단계) 도구 ································89

<표 4-13> 서울시인재개발원 업 용도평가(3단계) 도구 ····································90

<표 4-14> 서울시인재개발원 업 용도 평가를 한 심층인터뷰 질문 ············91

<표 4-15> 공공교육훈련기 성과평가 ········································································92

<표 4-16> 서울 학교 치의학 학원의 단계별 평가 도구 ······································94

<표 4-17> OPM은 교육훈련 평가 가이드북에서 제시한 평가 단계 ·····················97

<표 4-18> 평가단계별 자료수집 방법 ··········································································98

<표 4-19> OPM에서 사용하는 주요 평가도구들 ·······················································99

<표 4-20> 국 Home Office의 경찰교육훈련 평가 단계 ·····································104

<표 4-21> 국외도서 교육훈련 평가도구 ································································106

<표 5-1> 포커스 그룹 인터뷰 참여 패 ··································································123

<표 5-2> 포커스 그룹 인터뷰 질문 내용 ····························································124

<표 5-3> 사서교육훈련 평가에 한 인식 태도 ················································126

<표 5-4> 사서교육 로그램 평가 황 분석 문제 :

평가단계 평가방법 ··················································································127

ix

<표 5-5> 사서교육 로그램 평가 황 분석 문제 : 평가주체 ····················129

<표 5-6> 국립 앙도서 사서교육훈련 평가체계 도구 개선안 ····················130

<표 5-7> 문가 자문회의 참여 문가 구성 ··························································131

<표 5-8> 문가 자문회의 결과 ··················································································132

<표 6-1> 사서교육문화과 타 기 교육평가 황분석 시사 ························139

<표 6-2> 新평가체계 방향성에 부합하기 한 평가운 략 ······························144

<표 6-3> 국립 앙도서 사서교육훈련 교육과정유형 분류 ································145

<표 6-4> 국립 앙도서 사서교육훈련 교육과정유형 분류상세 ························146

<표 6-5> 평가단계 분류기 련 선행연구 고찰 내용 ········································147

<표 6-6> 국립 앙도서 사서교육훈련 평가단계별 분류기 ····························150

<표 6-7> 교육유형별 평가단계 분류결과 ··································································151

<표 6-8> 평가 단계 검토 기 ····················································································152

<표 6-9> 2016년 국립 앙도서 사서교육훈련 교육 로그램 평가단계 분류 ····· 153

<표 6-10> 2017년( 정) 국립 앙도서 사서교육훈련

교육 로그램 평가단계 분류 ··································································154

<표 6-11> 평가도구 개발 략 ····················································································160

<표 6-12> 제1단계 만족도 평가의 평가 요인, 역 항목 설정 ·····················168

<표 6-13> 제1단계 만족도 평가_교육 평가도구 ···············································169

<표 6-14> 제1단계 만족도 평가_교육 후 평가도구 ···············································170

<표 6-15> 제1단계 만족도 평가_사이버 과정 ·························································171

<표 6-16> 제2단계 학업성취도 평가의 개념 ····························································172

<표 6-17> 제2단계 학업성취도 평가의 평가목 별 필요조건 ······························174

<표 6-18> 교과목표 분석 평가방법(유형) 결정에 따른 교과목별

평가방법 용 양식 ····················································································176

<표 6-19> 교육목표별 학업성취도 평가방법 분류 ··················································177

<표 6-20> 인지 역의 평가지 개발 방법 시 ··················································178

<표 6-21> 제2단계 학업성취도 평가 - 정의 역 평가지 ································179

<표 6-22> 분임 수행평가 평가 역 문항 ··························································181

<표 6-23> 사서교육훈련 2단계 학업성취도 평가를 한 학습목표 진술 시 ·····184

x

<표 6-24> 국가직무능력표 (NCS) ‘문헌정보 리’ 직무상의 능력단

능력단 요소 ································································································186

<표 6-25> 국가직무능력표 (NCS)을 활용한 사서교육훈련 2단계

학업성취도 평가를 한 필수 학습단 요소 작성 시 ····················188

<표 6-26> 학습목표 역을 고려한 2단계 학업성취도 평가 방식 선정 시 ·· 189

<표 6-27> 동형문항 작성 지침 ····················································································191

<표 6-28> 사 ․사후 평가 문항의 개발 시 ························································191

<표 6-29> 업 용도 평가도구의 설계 ····································································194

<표 6-30> 업 용도 설문조사 평가 역 내용 ················································195

<표 6-31> 업 용도 설문조사 평가지 : ‘도서 이용자 리’ 과정 ··············197

<표 6-32> 성과 평가 성과인식도 조사 평가지 ························································203

<표 6-33> SCM(성공사례기법) 인터뷰 조사 평가지 ·············································205

<표 6-34> 국 도서 운 평가 지표와 성과 평가 련 교육과정 연계 ····207

<표 6-35> 교육과정 소요비용 산출을 한 항목 방법 ····································208

<표 6-36> 교육 참여자를 상으로 한 인식 기반 가치

측정 평가문항 ······························································································209

<표 6-37> 인식기반 ROI 계산 방식 ············································································210

<표 6-38> 델 이 조사 패 구성 ··············································································213

<표 6-39> 1차 델 이 조사 분석 결과 ······································································214

<표 6-40> 2차 델 이 조사 종합 결과 ······································································218

xi

[ 그 림 목 차 ]

<그림 4-1> New World Kirkpatrick Four Levels ·······················································97

<그림 6-1> 국립 앙도서 사서교육훈련 新평가체계의 방향성 ························141

<그림 6-2> 국립 앙도서 사서교육훈련 新평가체계 ··········································156

<그림 6-3> 교육 로그램 유형별 평가도구 용 ····················································162

<그림 6-4> 국립 앙도서 사서교육훈련 평가 차 ············································163

<그림 6-5> 학업성취도 평가의 차 내용 ··························································173

<그림 6-6> Bloom의 교육목표 분류 ···········································································175

<그림 6-7> 심동 역의 수행평가 도구 개발 평가 차 ····························181

<그림 6-8> 학업성취도 평가 도구의 구성 ································································182

<그림 6-9> 학업성취도 평가 도구 개발의 차 ······················································183

<그림 6-10> 업 용도 평가 도구의 구성 ······························································194

<그림 6-11> 성과 평가 평가방법의 비교 ··································································202

<그림 6-12> 국 도서 운 평가 결과 연계 성과평가 방법 ····························206

<그림 7-1> 국립 앙도서 사서교육 로그램 평가 발 방안 ····························233

●●● 「사서교육훈련 효과성 입증을 위한 평가도구 개발」연구

제1장 서론

1.1 연구의 목 필요성

1.2 연구범 내용

1.3 연구의 방법

1.4 과업수행의 기 효과

- 3 -

제1장 서론

1.1 연구의 목 필요성

도서 의 핵심 문 인력인 사서는 변화하는 정보환경에 처하고 이용자의

다양한 요구에 응하기 하여 직무 문성 향상을 한 끊임없는 재교육이

필요하다. 재 도서 법 시행령 제9조 제2항(도서 직원의 교육훈련)에 따

르면 도서 의 장은 소속 직원이 5년에 1회 이상 제1항에 따른 사서교육훈련

과정을 이수하도록 독려해야 함을 규정하여 사서 재교육을 정책 으로 지원하

고 있다.

도서 법 제19조 제1항 제5호는 국립 앙도서 의 업무를 도서 직원의

교육훈련 등 국내 도서 에 한 지도․지원 력을 지원하도록 규정하고

있어, 이러한 도서 법을 근거로 교육훈련 지정기 인 국립 앙도서 은 도서

발 을 선도하는 유능한 인재를 양성한다는 목표 아래 1983년 사서직공무

원 직무 교육과정을 설치한 것을 시작으로, 2013년 78과정(91회), 2014년 82과

정(117회), 2015년 90과정(115회)을 운 하고 있으며, 기본교육 문교육,

집합교육 사이버 교육 등 직 별·직무별 체계 인 직무 문 교육과정을 운

하고 있다.

국립 앙도서 은 교육품질 향상을 한 교육훈련 기반을 강화하고자 재

국립 앙도서 사서교육훈련운 규정(16조, 제32조) 등에 근거하여 만족도,

학업성취도, 업 용도, 교육성과 등 4단계 방법으로 평가를 실시하고 있다.

그러나 재 시행되고 있는 과정 일부과정을 제외하고는 주로 만족도 평가

에 그치고 있어 교육훈련 성과의 효과성을 입증하기 한 실질 인 교육과정

의 성과를 측정하기 힘든 실정이다.

교육훈련 평가는 교육 로그램과 련한 내용을 측정, 찰하여 가치나 품

질을 평가하고 이를 통해 교육훈련의 효과성 제고, 교육과정의 지속가능성

변경에 한 근거를 제공하는 행 이다. 국립 앙도서 은 사서교육 훈련 로

그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시

- 4 -

으로, 도서 법상으로 규정된 우리나라 최고의 사서교육훈련 문교육훈련기

으로서 책무를 다하기 한 교육성과 평가도구 개발이 요구된다. 이에 본

연구는 국립 앙도서 의 사서교육훈련 직무교육의 효과성을 객 이고 복합

으로 측정할 수 있는 평가도구를 개발하고자 한다. 이를 해 Kirkpatrick의

4단계 평가모형을 용한다. Kirkpatrick의 모형은 평가단계별 체계 이며 실

제 용 가능한 방법을 제시하 다는 에서 교육평가를 하여 가장 보편

으로 사용되는 모형 에 하나이다(이 , 권선진, 임정기 2014; 이홍재, 권

이, 차용진 2016). Kirkpatrick은 궁극 으로 교육을 통해 조직의 결과를 산출

해내는 것을 목표로 한다는 에서 기업의 교육훈련평가에 주로 활용되어 왔

으나, 최근에는 공공기 , 군, 사회복무요원 등 범 한 조직의 교육훈련평가

에 활용되고 있다.

1.2 연구범 내용

본 연구는 아래와 같은 내용 범 로 구성되었다.

1) 국내·외 문헌조사 선행 연구 사례 조사‧분석

(1) 국내·외 도서, 통계자료, 연구보고서, 학술지 논문 각종 데이터베이스

자료 등을 통한 평가체계 평가도구 련 문헌조사를 통한 시사 도출

(2) 국․내외에서 진행된 련 선행연구를 ‘교육 로그램 운 ’, ‘교육훈련 평

가체계’, ‘교육과정 평가 모형’ 등의 범주로 각각 세분화하여 범 하게

조사․분석, 시사 도출

2) 사서교육훈련 과정별 평가체계 황 분석(2013~2016 집합교육 상)

(1) 2013년 이후 국립 앙도서 에서 개설하여 운 한 사서교육훈련 교육과정

평가 실태 조사 개선 분석

(2) 교육과정 설계기 (기본교육, 문교육, 기타교육), 교육과정의 특성( 장

사 심, 참여형, 자기성찰), 교과목 편성기 에 따른 범주로 각각 분류하

여 그 실태를 조사 분석함

- 5 -

3) 국내·외 우수 기 평가도구 벤치마킹을 통한 사례 발굴

(1) 국․내외 교육훈련기 의 평가체계 평가도구의 우수사례를 범 하게

조사하여 벤치마킹함

(2) 장조사 문헌조사를 활용하며 이에 한 분석을 근거로 사서교육훈련

(新)평가체계 마련 4단계 평가도구 개발에 벤치마킹할 사례를 발굴함

4) 사서교육훈련 (新)평가체계 마련 4단계 평가도구 개발

(1) 사서교육훈련 평가체계 방향성 설정

사서교육훈련 평가체계의 방향성을 설정하여 제시함

교육과정별 평가단계, 평가유형의 구분 가이드라인 개발

(2) 과정별 평과도구 개발 내용타당도와 신뢰성 확보

연구결과를 종합하여 ‘반응, 학습, 행동, 결과’라는 Kirkpatrick의 4단계 평

가단계별로 한 사서교육훈련 평가도구 개발

객 인 측정도구를 활용하여 내용의 타당도와 신뢰성을 확보함

(3) 사서교육훈련 교육성과 평가 매뉴얼 개발

‘평가 시기와 목 , 평가 실시기 , 평가 실시방법, 학습단계, 평가 도구,

교육담당자, 교육효과’ 구성요소들을 최 한 포함한 사서교육훈련 평가

매뉴얼을 개발하여 제시함

1.3 연구의 방법

본 연구의 목 을 달성하기 해 이 연구에서 용하는 연구방법은 문헌 고

찰 국내외 자료 분석, 포커스 그룹 면담, 문가 자문, 장조사로 구분된

다. 이를 상세히 기술하면 아래와 같다.

(1) 문헌 고찰 국내외 자료 분석

국․내외에서 진행된 련 선행연구 연구보고서를 ‘교육 로그램 운

’, ‘교육훈련 평가체계’, ‘교육과정 평가 모형’ 등의 범주로 각각 세분화

- 6 -

하여 범 하게 조사하고 분석함

국내외 교육 로그램 평가체계 질문지 개발과 련되는 심층 인 문

헌연구를 통하여 평가범주와 질문지 개발을 한 필수요소 도출

국․내외 교육훈련기 의 평가체계 평가도구의 우수사례를 범 하

게 조사․분석하여 벤치마킹함

국내의 경우에는 각종 국가인재개발원 인력개발원의 설문지를 수집·

분석하여, 범주 표본평가문항을 추출

(2) 장조사

국내 교육훈련기 벤치마킹할 수 있는 기 을 선정하여 장 방문을

통한 해당 평가시스템의 특성과 장단 등 찰·조사

국가인재개발원 산림청 산림교육원 방문

(3) 포커스 그룹 인터뷰(FGI : Focus Group Interview)

공공도서 , 학도서 , 문도서 등 일선 도서 사서교육훈련 교육

로그램 기 참여자를 상으로 기존 교육 로그램의 평가에 한 타당

성 신뢰성 평가

(4) 문가 자문 회의

국내 문헌정보학계, 연구기 문가, 교육훈련기 문가를 빙하여

사서교육 로그램 평가범주, 평가문항, 평가방안, 평가도구의 내용타당

성과 신뢰성 등에 한 자문

평가범주와 평가문항 개발의 필수요소에 한 정확성과 포 성에 한

확인과정을 거쳐 수정·보완하여 평가도구 확정

(5) 델 이 조사

연구를 통해 도출된 평가도구의 신뢰성 타당성을 측정하기 한 조사

국내 문헌정보학계 연구기 문가, 교육훈련기 문가를 상으로

- 7 -

실시함

1.4 과업수행의 기 효과

본 연구의 결과는 아래와 같이 사서교육훈련 분야에 활용되어 다양한 학문

, 사회 기여를 할 수 있으리라 상된다. 이에 한 상세한 내용은 아래와

같다.

(1) 사서교육훈련의 실 인 평가도구로 활용

본 연구결과를 1차 으로 국립 앙도서 사서교육훈련 과정의 차기년도

집합교육과정 운 시 평가도구로 활용

사서교육훈련의 실제 인 성과와 그 질을 평가하고 그 교육과정의 효과성

을 검증할 수 있는 실 인 평가체계로 활용할 수 있을 것으로 기 됨

(2) 사서교육훈련 매뉴얼 제공으로 교육성과 평가의 가이드라인 역할

국립 앙도서 등 사서교육기 에서 교육과정을 운 하여 그 성과를 평

가할 시 참고할 수 있는 가이드라인이 무한 상황에서 본 연구의 결과

로 제공되는 교육성과 평가 매뉴얼은 각종 도서 에서 사서교육훈련 교

육과정을 운 하고 평가하기 해 실제 으로 활용할 수 있는 교육성과

평가 가이드라인의 역할을 수행할 것으로 단됨

(3) 사서교육훈련 피교육자인 사서의 교육훈련 만족도 제고

체계 인 연구를 통해 개발된 본 사서교육훈련 평가도구는 궁극 으로

국립 앙도서 등 도서 의 사서교육훈련 과정의 효과성을 제고하고 사

서교육훈련 교육과정의 품질을 고도화하여 최종 으로는 사서교육훈련

과정의 피교육자인 일선 도서 사서들의 교육 만족도를 높이는 효과를

기 할 수 있음


제2장 국립중앙도서관 사서교육훈련 프로그램 및 평가체계 분석

2.1 로그램 황 분석

2.2 로그램 평가체계 분석

2.3 시사

- 11 -

제2장 국립 앙도서 사서교육훈련 로그램

평가체계 분석

2.1 로그램 황 분석

2.1.1 로그램 개요

국립 앙도서 은 지난 1945년 국립도서 으로 개 한 이후 1946년부터 한

국 최 의 사서양성 교육을 실시하 으며, 1967년부터 1986년까지 사서자격취

득 강습(65회 3,544명)을 실시하 다. 1997년 사서직 교육훈련 담부서인 사

서연수과를 설치하 으며, 공무원교육훈련법 에 의한 문교육훈련기 으로

지정되었다. 지난 2004년 사서연수과는 직제개편으로 사서능력발 과로, 2010

년 사서교육문화과로 명칭이 변경되어 재까지 매년 다양한 교육훈련 로그

램을 계획·운 하고 있다.

사서교육훈련기 으로서 국립 앙도서 의 역할에 한 법 근거는 도서

법 제19조 제1항 제5호(국립 앙도서 업무), 동법 시행령 제9조제2항(도서

직원의 교육훈련), 공무원인재개발법 제4조 제1항( 문교육훈련기 등)에서

찾을 수 있다. 구체 으로 도서 법에서는 ‘도서 직원의 교육훈련 등 국내도

서 에 한 지도·지원 력’을 명시하고 있으며, 이에 의거하여 국·공립도

서 사립도서 등 국 도서 의 사서직원에 한 연수를 실시하는 문

교육기 으로서의 역할을 수행하고 있다.

국립 앙도서 은 도서 발 을 선도하는 유능한 인재 양성이라는 사서교

육훈련 목표를 달성하기 하여 (1) 직무 문성을 갖춘 유능한 인재양성, (2)

교육훈련 기 간 업 열린교육 실 , (3) 사이버 교육을 통한 상시학습

활성화 등의 주요 추진방향을 설정하고 <표 2-1>과 같이 2016년에 세부과제

를 제시하고 있다. 구체 으로 국립 앙도서 이 실시하고 있는 사서교육훈련

교육 상, 교육과정과 운 체계 등의 개요는 <표 2-2>에 요약한 바와 같다.

- 12 -

구분 목표 및 추진방향

목표 도서관 발전을 선도하는 유능한 인재 양성

추진방향 및

중점중심과제

(2016)

1. 직무 전문성을

갖춘 유능한

인재 양성

• 신입사서 공무원 교육체계 내실화

• 직급별/직무별 체계적인 직무전문 교육과정

운영

• 교육품질 향상을 위한 교육훈련 기반 강화

2. 교육훈련기관

간 협업 및

열린교육 실현

• 교육훈련기관 간 개방 및 상호 공동활용

• 교육생 맞춤형 열린교육 실현

3. 사이버 교육을

통한 상시학습

활성화

• 사이버 사서교육 활성화를 위한 다양한

사이버 콘텐츠 확보

• 상시학습 기회 확대 및 교육의 편의성 제고

법적근거

• 도서관법 제19조 제1항 제5호(국립중앙도서관 업무): 도서관직

원의 교육훈련 등 국내 도서관에 대한 지도․지원 및 협력

• 도서관법 시행령 제9조 제2항(도서관직원의 교육훈련): 도서관

의 장은 소속 직원이 5년에 1회 이상 제1항에 따른 사서교육훈련

과정을 이수하도록 하여야 한다

• 공무원인재개발법 제4조 제1항(전문교육훈련기관): 특수한 직무

를 담당하는 공무원의 교육훈련을 위해 관계 중앙행정기관의 장 소

속하에 전문교육훈련기관을 설치할 수 있다

<표 2-1> 국립 앙도서 의 사서교육훈련 추진방향 법 근거(2016)

1) 국립중앙도서관. 2016. 2016년 사서교육훈련계획 . p.11

- 13 -

구분 개요와 특징

교육대상

(2014년 말

통계기준

추정인원:　

23,093명)1)

국가공무원

• 국립중앙도서관, 국회도서관, 법원도서관 소속 직원

• 중앙행정기관 소속 사서직공무원

• 국립대학(교), 학교 소속 사서직 공무원 및 도서관 직원

지방공무원• 지방자치단체 소속 사서직공무원

• 시ㆍ도 교육청 소속 사서직 공무원 및 도서관 직원

기타

• 정부투자기관, 민간기업체 등 자료실 소속 사서직원

• 사립공공도서관, 사립대학도서관 소속 사서직원

• 초ㆍ중등학교 사서교사(도서관 담당교사), 사서 및 도서관

직원

• 공ㆍ사립문고 및 작은도서관 직원(도서관자원봉사자)

교육형태집합교육 • 찾아가는 사서교육, 교육기관 간 협력교육 포함

사이버교육 • 모바일과정 포함

교육과정

기본교육 • 신임 및 채용후보자에 필요한 능력과 자질 교육훈련

전문교육• 사서직원 등이 담당하고 있거나 담당할 직무에 필요한

전문지식과 기술 교육훈련

기타교육• 교육훈련대상자에 따라 필요하다고 인정되는 사항 교육

훈련

교육훈련비

유상 • 기본 및 전문교육(1인 1일 7시간 기준 28,000원)

무상

• 사이버과정(36개 과정)

• 전문교육 中, 직무기타 영역(4개 과정)

- ｢국가자료종합목록활용｣, ｢도서관자료관리스시스템과

책이음운영｣, ｢작은도서관자료관리시스템｣, ｢KORASⅢ

이해및활용｣• 기타교육 및 정보취약 관종 교육(5개 과정)

- ｢학교도서관운영｣, ｢작은도서관운영｣, ｢전문도서관운영

기초｣, ｢교도소도서관운영｣, ｢병영도서관운영｣

<표 2-2> 국립 앙도서 사서교육훈련 개요

- 14 -

운영체계

운영방법

• 1일 7교시 운영, 분임토의 시간 안배

• 수료결과 통보 : 교육수료 후 10일 이내(교육생 소속

기관)

강사

• 현장실무 경험과 전문지식을 겸비한 전ㆍ현직 공무원

활용

• 교과목별 해당 분야 전문가 및 교수 등 외부강사 초빙

• 국립중앙도서관의 핵심 업무(장서개발, 분류, 목록 등)

과정에 내부강사 활용

• 각 과정별 만족도 평가 후 우수강사 선정 및 활용

교재 편찬

• 당해 교과목 담당 강사 및 교수요원이 집필

• 교수요목, 집필방향, 주안점, 기타 필요사항의 사전 제시

및 과정별 교육목표에 부합하는 성과 달성 유도

첫째, 2014년 말 통계를 기 으로 추산한 교육 상자는 <표 2-3>에 제시한

바와 같이 약 23,093명으로 국립 앙도서 , 국회도서 , 법원도서 소속 직원,

앙행정기 소속 사서직공무원 등으로 포함한 국가공무원, 지자체 시·도

교육청도서 사서직 공무원, 문도서 사립도서 직원, 공·사립 학교도

서 사서교사, 사서직원, 담당자 등이다. 이 가운데 2013∼2015년까지 교육훈

련을 이수한 인원2)은 <표 2-4>와 같이 해마다 증가하고 있는 추세로 2015년

총 이수자는 11,773명이다.

2) 국립중앙도서관. 2016. 2016년 사서교육훈련 . 서울 : 국립중앙도서관. ; 국립중앙도서관. 2015. 2015년

사서교육훈련 . 서울 : 국립중앙도서관. ; 국립중앙도서관. 2014. 2014년 사서교육훈련 . 서울 : 국립중앙도

서관.

- 15 -

구분 국립

공공도서관

대학

도서관

학교

도서관

전문

도서

관

합계

공공

작은

도서관

(문고)

장애인

도서관

병영

도서관

교도소

도서관

도서관수 3 930 4,686 40 1,606 50 458 11,405 596 19,774

직 원 수 695 7,845 5,139 133 881 54 2,364 5,759 223 23,093

사 서 352 3,821 - 37 48 - 1,959 5,759 170 12,146

비사서 343 4,024 - 96 833 54 405 - 53 5,808

<표 2-3> 국립 앙도서 의 사서교육훈련 상기 직원 황

구분

2013 2014 2015

과정수 횟수 총인원 과정수 횟수 총인원 과정수 횟수 총인원

직무

역량

기본교육 1 1 21 1 1 29 1 1 20

전문교육 72 78 10,161 75 104 10,201 83 102 10,761

기타교육 5 12 725 6 12 854 6 12 992

교육

형태

집합 52 60 2,727 54 64 3,010 58 68 3,350

사이버교육 26 31 8,180 28 53 8,074 32 47 8,423

계 78 91 10,907 82 117 11,084 90 115 11,773

<표 2-4> 국립 앙도서 의 사서교육훈련 운 실 (2013-2015)

- 16 -

둘째, 교육훈련체계는 집합교육과 사이버교육으로 별되며, 자는 기본교

육, 문교육, 기타교육으로 세분된다. 특히 문교육은 경력별/직무별로 체계

화하여 핵심역량을 강화하는 교육과정을 개발하여 리역량, 직무 문, 직무공

통으로 체계화하고 있다. 교육과정의 개발에 앞서 온·오 라인을 통한 기 별

교육수요를 분석하여 교육과정을 설계하고 있다. 구체 으로 교육시작 (통

상 1∼2월)에 각 과정별 교육 상자의 선발 요청을 각 기 별로 하면, 소속

기 장은 과정별 합한 교육 상자를 선발한다. 교육인원은 기 별 배정인원

수에 의거하며, 국립 앙도서 은 ‘교육훈련 상자 명단’을 확정·통보 게시

하게 된다.

셋째, 교육훈련비는 기본 문교육의 경우 1인 1일 7시간 기 으로

28,000원을 책정하고 있으나, (사이버) 문교육과정(36개 과정), 직무기타 역

의 ｢국가자료종합목록활용｣, ｢도서 자료 리스시스템과 책이음운 ｣, ｢작은도

서 자료 리시스템｣, ｢KORASⅢ이해 활용｣ 등 4개 과정과 기타교육 정

보취약 종 교육인 ｢학교도서 운 ｣, ｢작은도서 운 ｣, ｢ 문도서 운 기

｣, ｢교도소도서 운 ｣, ｢병 도서 운 ｣ 등 5개 과정은 무상으로 운 하고

있다.

넷째, 운 체계를 살펴보면 교육은 1일 7교시를 기본으로 운 하며, 교육수

료 후 10일 이내에 교육생 소속기 으로 수료결과가 통보된다. 강사진은 장

실무 경험과 문지식을 겸비한 ㆍ 직 공무원 활용 혹은 교과목별 해당 분

야 문가 교수 등 외부강사를 빙하여 운 하되, 국립 앙도서 의 핵심

업무(장서개발, 분류, 목록 등) 과정에는 내부강사를 활용하고 있다. 강의 교재

는 당해 교과목 담당 강사 교수요원이 집필하며, 교수요목, 집필방향, 주안

, 기타 필요사항을 사 에 제시하여 과정별 교육목표에 부합하는 성과를 달

성하도록 유도하고 있다.

마지막으로, 2016년도에 실시한 국립 앙도서 사서교육훈련 집합교육

사이버교육은 총 90개 과정(105회)으로 11,300명의 교육인원을 상으로 하

으며, 구체 인 운 황은 <표 2-5∼6>에 제시한 바와 같다.

- 17 -

구분 교육과정명 교육대상

교육

기간

(일)

교과

목수

교육

인원

/기

(명)

기본교육

관

리

역

량

신임사서기본 8,9급 사서직공무원 15 27 30

전문

교육

도서관리더(중간관리자) 중간관리자 5 11 50

도서관리더(최고경영자) 최고관리자 4 11 40

팔로우리더쉽(팀원) 관종별 도서관 직원 3 8 40

예비관리자역량 중간관리자 4 10 40

행복한도서관만들기 최고관리자 2 6 40

브

랜

드

사서를위한인문학강독 관종별 도서관 직원 5 9 40

사서한마당(워크숍)/ 도서관을바꾸는15분! 관종별 도서관 직원 2 5 100

통합서지용KORMARC형식(도서)(A) 국립․공공도서관 직원 3 9 40

통합서지용KORMARC형식(도서)(B) 대학․전문도서관 직원 4 8 40

통합서지용KORMARC형식(비도서) 관종별 도서관 직원 3 6 40

DDC자료분류 관종별 도서관 직원 4 5 40

KDC자료분류 관종별 도서관 직원 5 6 50

직

무

전

문

도서관과저작권 관종별 도서관 직원 2 6 45

도서관노인서비스 관종별 도서관 직원 3 8 40

도서관다문화서비스 관종별 도서관 직원 2 6 45

도서관문화프로그램 관종별 도서관 직원 3 8 50

도서관이용자관리 관종별 도서관 직원 4 10 50

도서관자료보존및복원 관종별 도서관 직원 3 11 50

도서관장서관리(A) 국립․공공도서관 직원 4 11 60

도서관장서관리(B) 대학․전문도서관 직원 4 11 50

도서관정보활용교육 관종별 도서관 직원 3 8 70

도서관통계활용기법(A) 국립․공공도서관 직원 3 8 40

도서관통계활용기법(B) 대학․전문도서관 직원 3 8 40

독서지도심화 관종별 도서관 직원 4 10 40

독서치료심화 관종별 도서관 직원 4 9 40

<표 2-5> 국립 앙도서 사서교육훈련 집합교육 운 황(2016)

- 18 -

독서토론코칭 관종별 도서관 직원 3 6 40

디지털도서관운영 관종별 도서관 직원 4 11 60

메타데이터활용 관종별 도서관 직원 3 8 45

쉽게배우는서평쓰기 관종별 도서관 직원 3 9 50

어린이·청소년독서프로그램설계 관종별 도서관 직원 3 9 50

주제전문사서(예술) 관종별 도서관 직원 3 8 40

직

무

공

통

도서관공간구성(A) 국립․공공도서관 직원 4 10 45

도서관공간구성(B) 대학․전문도서관 직원 4 10 50

도서관글로벌리더 관종별 도서관 직원 9 6 30

도서관법령실무 관종별 도서관 직원 3 8 70

도서관의이해(비사서직) 관종별 도서관 직원 2 6 60

도서관직원국외연수 관종별 도서관 직원 9 - 30

도서관행정 관종별 도서관 직원 2 6 70

도서관홍보(A) 국립․공공도서관 직원 5 12 60

도서관홍보(B) 대학․전문도서관 직원 5 12 50

보고서잘쓰는방법 관종별 도서관 직원 2 5 40

사서를위한발표스킬 관종별 도서관 직원 4 8 30

사서의은퇴설계 관종별 도서관 직원 2 6 40

아름다운도서관체험:국내편(서울) 관종별 도서관 직원 1 3 40

직

무

기

타

국가자료종합목록활용 관종별 도서관 직원 1 3 40

도서관자료관리시스템과책이음운영 관종별 도서관 직원 1 3 40

작은도서관자료관리시스템운영 관종별 도서관 직원 1 3 40

KOLASⅢ이해및활용 관종별 도서관 직원 1 3 40

기타

교육

교도소도서관운영 교도소도서관 담당자 3 9 35

병영도서관운영 병영도서관 담당자 1 4 70

작은도서관운영 작은도서관 담당자 2 5 75

전문도서관운영기초 전문도서관 담당자 2 9 45

학교도서관운영 학교도서관 담당자 2 7 8~90

계 54개 강좌

- 19 -

구분 교육과정명 교육대상

교육

기간

(시간)

총차시

교육

인원/

기

(명)

(사이버)

전문교육

　

개인정보보호법이해하기 관종별 도서관 직원 3 6 200

공공데이터로만들어가는세상 관종별 도서관 직원 6 12 200

공공도서관과청소년서비스 관종별 도서관 직원 6 12 200

긍정심리 관종별 도서관 직원 7 14 200

도서관경영 관종별 도서관 직원 6 12 200

도서관공간구성 관종별 도서관 직원 14 28 200

도서관과저작권(개정) 관종별 도서관 직원 3 6 200

도서관마케팅과홍보 관종별 도서관 직원 6 12 200

도서관이용자커뮤니케이션 관종별 도서관 직원 6 12 200

도서관장서관리(개정) 관종별 도서관 직원 6 12 200

도서관장애인서비스 관종별 도서관 직원 14 28 200

독서지도기초 관종별 도서관 직원 14 28 200

독서지도심화 관종별 도서관 직원 4 8 150

독서치료기초 관종별 도서관 직원 3 6 200

독서토론코칭 관종별 도서관 직원 7 14 150

문헌정보학기초(도서관이해) 관종별 도서관 직원 6 12 200

보고서잘쓰는방법 관종별 도서관 직원 5 10 200

세계가감동하는TED프레젠테이션 관종별 도서관 직원 4 8 200

소통의핵심기술 경청효과 관종별 도서관 직원 12 24 200

쉽게배우는서평쓰기 관종별 도서관 직원 6 12 200

신임사서실무 관종별 도서관 직원 14 28 200

어린이독서교실운영 관종별 도서관 직원 9 18 200

어린이독서상담 관종별 도서관 직원 14 28 150

어린이서비스의기초 관종별 도서관 직원 14 28 200

어린이와의커뮤니케이션 관종별 도서관 직원 14 28 200

어린이책서평 관종별 도서관 직원 14 28 200

어린이책에대한이해 관종별 도서관 직원 14 28 200

작은도서관운영 관종별 도서관 직원 14 28 200

전문도서관기초 관종별 도서관 직원 6 12 150

<표 2-6> 국립 앙도서 사서교육훈련 사이버교육 운 황(2016)

- 20 -

주제전문사서기초 관종별 도서관 직원 14 28 200

책함께읽기 관종별 도서관 직원 14 28 180

커뮤니케이션스킬 관종별 도서관 직원 9 18 200

학교도서관운영 관종별 도서관 직원 14 28 200

학교도서관협력수업 관종별 도서관 직원 3 6 200

DDC23판자료분류 관종별 도서관 직원 6 12 200

KDC6판자료분류 관종별 도서관 직원 6 12 200

계 36개 강좌

2.1.2 교육과정 설계기 별 분석

1) 기본교육

재 기본교육은 국립 앙도서 지자체·교육청 소속의 8, 9 신임 사서

직 공무원을 상으로 ｢신임사서기본｣ 과정이 개설되어 있으며, 교육과정 개

요 특징은 <표 2-7>에 요약한 바와 같다.

첫째, 교육목표는 신임공무원으로서 갖추어야 할 올바른 공직 국가

을 확립하고 신속한 조직 응과 직무수행에 필요한 문역량을 강화하기 함

이다.

둘째, 교육은 1기당 30명을 상으로 총 15일(105시간)동안 강의(31시간), 실

습(6시간), 토의 사례(35시간), 견학(13시간) 등의 방법으로 이루어지고 있다.

셋째, 교육과목은 직무 문(14과목), 직무공통(11과목), 소양(2과목) 등 총 27

과목으로 편성되어 있으며, 사 에 ｢(사이버)신임사서실무｣ 과정을 블 디드

과정(blended learning)으로 이수하도록 하고 있다. 2016년부터는 신임사서의

공직가치 심 교육을 강화하기 하여 총 교육시간 기 기존의 14%에서

30% 수 까지 확 하여 헌법정신, 국가 , 공직 , 윤리의식 등을 교육하며,

동시에 기본교육 내실화 사회 사활동, 체험학습 등의 장교육을 편성하

여 공직자의 정신자세 확립 문성 강화 교육을 실시하고 있다.

- 21 -


교육

목표

• 신임공무원으로서 갖추어야 할 올바른 공직관 및 국가관 확립

• 신속한 조직적응과 직무수행에 필요한 전문역량 강화

교육

대상• 8,9급 신임 사서직 공무원(인원: 30명/기)

교육시간

및 방법

시간 • 105시간(15일)

방법 • 강의(31시간), • 실습(6시간), • 토의 및 사례(35시간)

• 견학(13시간), • 기타(20시간)

교과목

(27과목)

직무

전문

(14과목)

도서관

행정법

(3과목)

｢국가재정의 이해」, ｢설득을 이끄는 보고서 작

성법」, 「도서관과 저작권법」

이용서비스

(5과목)

｢독서지도 이론과 실제｣, ｢참고정보원 개발 및

서비스｣, ｢국립중앙도서관 탐방｣, ｢국립어린이

청소년도서관 탐방｣, ｢국립세종도서관 탐방｣자료조직

(3과목)

｢도서관 장서개발｣, ｢KDC 6판의 이해 및 적

용｣, ｢KORMARC(통합서지용)의 이해｣리더십

(3과목)

「이해하고 다가서는 소통의 기술」, 「호감을

주는 업무 매너 및 이미지메이킹」, 「나의 커리

어 로드맵 설계하기」

직무

공통

(11과목)

시책교육

(7과목)

「청렴교육, 호국보훈 나라사랑 교육」, 「통일의

식 확립」, 「정부3.0 및 일하는 방식 개선 교

육」, 「준법의식 고취 및 법질서 확립 교육」,

「국가안보·국익에 반하는 외국정보활동 관련

대응 교육(방첩)」, 「사회봉사활동 및 민생현장

체험학습」

「과정안내·입교식｣, ｢분임토의｣, ｢분임토의 결과발표/평

가」, 「학습평가｣

<표 2-7> 「신임사서기본」 교육과정 개요와 특징

마지막으로 교육과정에 한 평가방법은 1단계 만족도 평가와 2단계 학습평

가 분임평가, 근태평가 등의 방식으로 이루어지고 있다.

- 22 -

소양

(2과목)｢문화감성체험｣, ｢멘토(선배사서)와 함께하는시간｣

기타• 블렌디드 과정(blended Learning)으로 사전에 (사이버)

신임사서실무 과정을 이수해야 함(변동가능).

평가

방법

• (1단계)만족도 평가

• (2단계)학습평가 + 분임평가 + 근태평가

2) 문교육

문교육은 도서 의 최고경 자에서 도서 직원(비사서직 포함)에 이르기

까지 직 별·직무별로 체계 인 문지식과 기술을 훈련하는 교육과정으로 개

요와 특징은 <표 2-8>에 요약한 바와 같다.

첫째, 2016년도 문교육 운 방향은 (1)창의인재 양성을 한 역량별 교육

설계, (2)경력·직 별( 원에서 최고 리자까지) 단계별 리더십 교육 운 , (3)

직무별 참여형, 체험형 실무 활용형 교육 운 , (4)퇴직 정자의 사회 응

력 제고를 한 교육과정 운 으로 잡고 있다. 컨 , 직무별 참여형 교육과

정은 ｢사서한마당(워크샵)/도서 을 바꾸는 15분!｣, 체험형 교육과정은 ｢아름

다운도서 체험: 국내편(서울)｣, 실무활용형 교육과정으로는 분류·목록 련

강좌와 ｢쉽게배우는서평쓰기과정｣, 퇴직 정자의 사회 응력 제고 과정으로는

｢사서의은퇴설계｣ 과정 등은 이러한 운 방향이 반 된 교육과정이라 할 수

있다.

둘째, 교육 상은 교육과정별로 도서 장부터 일반 직원까지인데, 특히

문교육 가운데 리역량 교육과정(5개 과정)3)은 최고경 자(도서 장), 간

리자(도서 과장, 사무 , 계장, 부장, 차장, 과장, 장 ), 도서 직원(

원)으로 상을 제한하고 있다. 한 ｢통합서지용KORMARC형식(도서)｣, ｢도

서 장서 리｣, ｢도서 통계활용기법｣, ｢도서 공간구성｣, ｢도서 홍보)｣ 등 5

개 과정은 (A)국립·공공도서 직원, (B) 학· 문도서 직원으로 종별로

3) ｢도서관리더(최고경영자)｣, ｢도서관리더(중간관리자)｣, ｢팔로우리더쉽(팀원)｣, ｢예비관리자역량(사무관 이상,

5급승진예정자 포함｣, ｢행복한도서관만들기(관장)｣으로 교육대상자를 각각 제한하고 있음

- 23 -

교육 상을 나 어 편성하 다.

셋째, 교육시간 방법은 각 과정 교육목표별로 1∼9일 과정으로 강의, 실

습, 토의 사례, 견학 등으로 구성되어 있다. ｢도서 로벌리더｣, ｢도서 직

원국외연수｣ 과정은 국외에서, ｢사서한마당(워크 )/도서 을바꾸는15분!｣, ｢아

름다운도서 체험: 국내편(서울)｣ 과정은 교육장소가 국립 앙도서 사서연수

이 아닌 외에서 이루어진다.

넷째, 교육과정은 (1) 리역량(5과목), (2)직무 문(19과목), (3)직무공통(집

합 13과목, 사이버 36과목), (4)직무기타(4과목), (5) 랜드과정(7과목) 등 5개

역량별로 구분된 총 84과목을 운 하고 있다. 특히 랜드과정은 국립 앙도

서 사서교육훈련의 표 분야를 의미하는 것으로 분류 목록, 인문학 소

양 등 문역량 강화를 목 으로 기획된 교과목으로 구성되어 있다. 그리고

직무 문 과정은 주제 문서비스와 독서지도 분야에 있어 기 심화로 단

계별 교육과정을 마련하고 있다. 즉, ｢주제 문사서｣ 과정은 격년으로 법학,

심리학, 술학 주제과정을 개설하고 있으며, ｢독서지도심화｣, ｢독서치료심화｣

과정은 독서 역의 심화과정이라 할 수 있다. 한편, 직무공통 과정에 사이버

(모바일 병행) 교육과정으로 36개 과정이 편성되어 있다. 사이버 교육과정은

｢도서 마 과홍보｣ 등 3개 과정은 공동 활용 홈페이지 탑재 공개, 국가공

무원인재개발원에서 공동활용하는 ｢ 정심리｣ 등 6개 과정, 사이버교육 다양

화를 하여 민간 사이버교육 콘텐츠를 임 해 활용하는 ｢(사이버)세계가감

동하는TED 리젠테이션｣ 1개 과정과 자체개발한 사서직무교육 교과 과정 등

이 포함되어 있다. 사이버 교육과정은 상시학습 기회 확 교육의 편의성

제고, 복습기간 연장 기수료 과정 신청 제한 폐지로 학습 기회 확 , 원활

한 교육 운 리를 한 사서교육시스템 기능 개선(모바일 병행 과정

미리보기 기능 등 사용자 인터페이스 개발, 교육과정 통계 검색 항목 수정

등 기능 보완) 등으로 인하여 2015년 한해에만 32개 과정(47회)에 8,424명이

과정을 이수하 다.

마지막으로 교육과정별로 평가방법은 만족도 평가와 근태평가를 하며, 사이

버 교과목에 해서는 해당 강좌별 진도율로 평가하고 있다.

- 24 -


운영방향

• 창의인재 양성을 위한 역량에 맞는 교육 설계

• 경력·직급별(팀원에서 최고관리자까지) 단계별 리더십 교육 운영

• 직무별 참여형, 체험형 및 실무 활용형 교육 운영

• 퇴직예정자의 사회적응력 제고를 위한 교육 운영

교육대상

• 최고경영자(도서관 관장)

• 중간관리자(도서관 과장, 사무관, 계장, 부장, 차장, 과장, 팀장급)

• 도서관 직원(사서직, 비사서직)

교육시간 및

방법

교육시간 • 각 과정별 상이(1~9일)

교육방법

• 각 과정 교육목표별 강의, 실습, 토의 및 사례, 견학,

기타 등 구성

• 국외 연수 및 사서연수관 외부 교육 포함

교과목

(84과목)

관리역량

（5과목)

｢도서관리더(중간관리자)｣, ｢도서관리더(최고경영자)｣, ｢팔로

우리더쉽(팀원)｣, ｢예비관리자역량｣, ｢행복한도서관만들기｣

직무전문

(19과목)

｢도서관과저작권｣, ｢도서관노인서비스｣, ｢도서관다문화서비

스｣, ｢도서관문화프로그램｣, ｢도서관이용자관리｣, ｢도서관자

료보존및복원｣, ｢도서관장서관리(A)｣, ｢도서관장서관리(B)｣, ｢도서관정보활용교육｣, ｢도서관통계활용기법(A)｣, ｢도서관

통계활용기법(B)｣, ｢독서지도심화｣, ｢독서치료심화｣, ｢독서

토론코칭｣, ｢디지털도서관운영｣, ｢메타데이터활용｣, ｢쉽게배

우는서평쓰기｣, ｢어린이·청소년독서프로그램설계｣, ｢주제

전문사서(예술)｣

직무공통

(13과목)

｢도서관공간구성(A)｣, ｢도서관공간구성(B)｣, ｢도서관글로벌

리더｣, ｢도서관법령실무｣, ｢도서관의이해(비사서직)｣, ｢도서

관직원국외연수｣, ｢도서관행정｣, ｢도서관홍보(A)｣, ｢도서관

홍보(B)｣, ｢보고서잘쓰는방법｣, ｢사서를위한발표스킬｣, ｢사서의은퇴설계｣, ｢아름다운도서관체험:국내편(서울)｣

직무기타

(4과목)

｢국가자료종합목록활용｣, ｢도서관자료관리시스템과책이음운

영｣, ｢작은도서관자료관리시스템운영｣, ｢KOLASⅢ이

<표 2-8> 문교육과정 개요와 특징

- 25 -

해및활용｣

브랜드

(7과목)

｢사서를위한인문학강독｣, ｢사서한마당(워크숍)/ 도서관을바꾸는15

분!｣, ｢통합서지용KORMARC형식(도서)(A)｣, ｢통합서지용KORMARC

형식(도서)(B)｣, ｢통합서지용KORMARC형식(비도서)｣, ｢DDC자료

분류｣, ｢KDC자료분류｣

사이버

직무공통

(36과목)

｢개인정보보호법이해하기｣, ｢공공데이터로만들어가는세상｣, ｢공공도서관과청소년서비스｣, ｢긍정심리｣, ｢도서관경영｣, ｢도서관공간구성｣, ｢도서관과저작권(개정)｣, ｢도서관마케팅과홍

보｣, ｢도서관이용자커뮤니케이션｣, ｢도서관장서관리(개정)｣, ｢도서관장애인서비스｣, ｢독서지도기초｣, ｢독서지도심화｣, ｢독서치료기초｣, ｢독서토론코칭｣, ｢문헌정보학기초｣, ｢보고서잘

쓰는방법｣, ｢세계가감동하는TED프레젠테이션｣, ｢소통의핵심

기술경청효과｣, ｢쉽게배우는서평쓰기｣, ｢신임사서실무｣, ｢어린이독서교실운영｣, ｢어린이독서상담｣, ｢어린이서비스의기초｣, ｢어린이와의커뮤니케이션｣, ｢어린이책서평｣, ｢어린이책에대한

이해｣, ｢작은도서관운영｣, ｢전문도서관기초｣, ｢주제전문사서

기초｣, ｢책함께읽기｣, ｢커뮤니케이션스킬｣, ｢학교도서관운영｣, ｢학교도서관협력수업｣, ｢DDC23판자료분류｣, ｢KDC6판자료

분류｣

평가방법• (1단계)만족도 평가 + 근태평가 　

• 진도율(사이버 직무공통 과목에 해당)

3) 기타교육

기타교육은 교육훈련 상자에 따라 필요하다고 인정되는 사항을 교육훈련

하는데 개요와 특징은 <표 2-9>와 같다.

- 26 -


교육목표• 도서관 운영 활성화 방안 및 효율적인 자료정리와 프로그램 운영

방안 모색

교육대상 • 관종별 도서관 직원 및 담당자

교육시간 및

방법

• 교육시간 : 각 과정별 상이(1~3일)

• 교육방법 : 각 과정 교육목표별 강의, 실습, 토의 및 사례, 견학,

기타 등 구성

교과목

(5과목)

협

력

교

육

｢교도소도서관운영｣법무부 및 국방부 ｢병영도서관운영｣

｢작은도서관운영｣ 지역대표도서관 및 지방자치단체

｢학교도서관운영｣ 학교도서관협의회 및 시·도 교육청

｢전문도서관운영기초｣ -

평가방법 • (1단계) 만족도 평가 + 근태평가

<표 2-9> 기타교육( 력과정) 개요와 특징

첫째, 교육목표는 도서 (작은, 학교, 병 , 교도소, 문도서 )의 운 활성

화 방안 효율 인 자료정리와 로그램 운 방안을 모색하는데 있다.

둘째, 교육 상은 각 도서 운 자 직원이며, 교육기간은 과정별로 1

∼3일로 상이하다.

셋째, 재 개설된 5개 교과목 가운데 ｢작은도서 운 ｣ 과정은 지역 표도

서 을 심으로 자치단체와 함께 기획·운 하는데, 2016년에는 충남(충남도문

회 )과 북( 북도청도서 ) 지역과 력과정으로 개설하 다. ｢학교도서

운 ｣ 과정은 학교도서 의회 시·도 교육청과 력교육으로 기획·운

하는데, 2016년에는 경북, 강원, 세종, 인천 등의 교육청과 력과정으로 개설

하 다. 끝으로 ｢교도소도서 운 ｣, ｢병 도서 운 ｣ 과정은 법무부 국방

부와 력교육으로 기획·운 하고 있다.

넷째, 각 교과목의 평가방법은 1단계 만족도 평가와 근태평가에 그치고 있다.

- 27 -

2.2 로그램 평가체계 분석

국립 앙도서 사서교육훈련 로그램 평가체계를 분석하기 하여 3년간

(2014-2016) 사서교육훈련 자료집 등 문헌과 일부 과정별 평가결과 일을 분

석하 다. 사이버 교육과정은 진도율 평가 외에 다른 평가 차가 없으므로 본

분석에서는 제외하며, 분석 결과는 다음과 같다.

2.2.1 평가규정

국립 앙도서 사서교육훈련 교육과정에 한 평가는 <표 2-10>에 제시한

바와 같이 ｢국립 앙도서 사서교육훈련운 규정｣4)에 따른다.

먼 , 제16조(성 평가) 규정에 따르면 교육생의 교육성과를 측정하기 하

여 평가를 실시할 수 있으며, 평가방법은 학습평가, 연구실 평가, 실습평가

근무태도평가로 구분된다. 근무태도평가는 모든 교육과정에 하여 실시하

며, 교육기간 의 출석상황과 학습활동 등에 하여 <표 2-11>과 같은 <근무

태도평가 기 표>에 의한 해당 수를 감 하여 평가한다. 교육훈련과정별 성

평가의 종류와 학습평가 리는 각 과정별 세부운 계획에 의해서 정하는데

과정별 특성에 따라 학업성취도 평가, 업 용도 평가, 교육성과 평가를 실시

하도록 규정하고 있다.

다음으로 교육훈련운 에 한 평가는 규정 제32조(교육훈련운 평가)에

따르며, 연도별 교육훈련이 종료된 때에 당 의 교육훈련계획과 그 운 결과

등 당해연도 교육훈련운 반에 하여 평가를 실시한다. 구체 으로 교과

목 편성의 타당성, 교육방법·교육시간 배정의 정성, 교육단계의 체계성·합리

성, 강의교수 선정의 정성, 피교육자의 교육내용에 한 수용정도와 반응,

교육내용의 활용가능성 등 교육효과 측 등의 사항에 하여 분석·평가하도

록 규정하고 있다.

4) 국립중앙도서관. 2014. 국립중앙도서관 규정집 . 서울 : 국립중앙도서관, pp.267-280.

- 28 -

구분 규정 내용

제16조

(성적

평가)

①교육생의 교육성과를 측정하기 위하여 평가를 실시할 수 있으며, 평가

점수는 100점을 만점으로 하고, 모든 항목평가 점수는 가감하며, 근무

태도 평가 점수는 감점하여 산정한다.

②평가는 학습평가, 연구실적평가, 실습평가 및 근무태도평가로 구분하

고, 연구실적평가는 개인연구실적과 분임연구실적으로 구분하여 평가

할 수 있으며, 선택 또는 통합하여 평가할 수 있다.

③평가방법은 다음과 같다.

1. 학습평가는 필기시험에 의하여 평가한다.

2. 개인연구실적평가는 주어진 과제에 대한 연구보고서에 의하여 별지

제1호 서식으로 평가한다.

3. 분임연구실적 평가는 별지 제2호 서식의 분임연구실적평가표에 의하

여 평가한다.

4. 실습평가는 강의수가 부여하는 실습과제의 처리결과에 의하여 평가

한다.

5. 근무태도평가는 교육기간중의 출석상황과 학습활동 등에 대하여 별

표 1에 의한 해당 점수를 감점하여 평가한다.

④교육훈련과정별 평가의 종류와 학습평가관리는 각 과정별 세부운영계

획에 의해서 정한다. 다만, 근태평가는 모든 과정에 대하여 실시한다.

⑤연구실적평가의 결과는 각각 별지 제2호 및 제3호 서식에 기록·관리

한다.

제32조

(교육

훈련운영

평가)

①연도별 교육훈련이 종료된 때에는 당초의 교육훈련계획과 그 운영결

과 등 당해 연도 교육훈련 전반에 관하여 평가를 실시한다.

②평가는 다음 각 호의 사항에 대하여 분석·평가한다.

1. 교과목 편성의 타당성

2. 교육방법·교육시간 배정의 적정성

3. 교육단계의 체계성·합리성

4. 강의교수 선정의 적정성

5. 피교육자의 교육내용에 대한 수용정도와 반응

6. 교육내용의 활용가능성 등 교육효과 예측

7. 제30조의 규정에 의한 설문조사 결과

8. 기타 교육운영에 관하여 평가가 필요한 사항

<표 2-10> ｢국립 앙도서 사서교육훈련 운 규정｣ 의 평가 련 규정

- 29 -

<표 2-11> 국립 앙도서 사서교육훈련 근무태도평가 기 표

- 30 -

2.2.2 평가방법

행 국립 앙도서 사서교육훈련 로그램 평가는 과정별 특성에 따라

<표 2-12>에 제시한 바와 같이 4단계 방법으로 평가를 실시하고 있다. 2016

년도 교육과정 기 1단계 만족도 평가는 집합교육 과정에 하여 실시하고

있으며, 2단계 평가는 ｢신임사서기본과정｣에만, 3단계 업 용도 평가는 분

류, 목록 이용자교육 련 6개 교과과정에 하여 실시하고 있다. 4단계 교

육성과에 한 평가는 ｢쉽게배우는서평쓰기｣ 과정에 계획하 으나 평가를 실

시하지는 않았다5). 단계별 평가는 자체 으로 연도별 교육훈련이 종료된 때에

교육훈련 운 반에 한 평가를 실시하여, 차년도 계획수립 시 반 하고

있다.

구분1단계 2단계 3단계 4단계

만족도 학업성취도 현업적용도 교육성과*

과정/

과정명

집합교육

전과정

｢신임사서

기본｣

｢KDC자료분류｣, ｢DDC자료분류｣, ｢도서

관이용자관리｣, ｢통합서지용KORMARC형

식(도서)(A)｣, ｢통합서지용KORMARC형

식(도서)(B)｣, ｢통합서지용KORMARC형

식(비도서)｣

｢쉽게배우는

서평쓰기｣

과정수

(비율%)

54

(100%)

1

(1.85%)

6

(11.1%)

1

(1.85%)

시기교육 종료

직후교육 중

교육 종료

3~6개월 후

교육 종료

6~12월 후

방법 설문지

설문지,

필기시험

(개인 70%,

분임 30%)

설문지 등보고서 작성

제출

* 평가계획을 수립했으나 실제 평가는 수행되지 않았음

<표 2-12> 사서교육훈련 과정별 평가방법

5) 2014년도는 ｢독서지도전문사서과정｣, 2015년도에는 ｢보고서작성스킬｣ 과정에 대하여 4단계 교육성

과평가에 대하여 평가를 계획하였으나 실행하지 못함(담당자와의 인터뷰에 의함 2016.12.27.).

- 31 -

1) 만족도 평가

1단계 만족도 평가는 집합교육 과정을 상으로 실시하고 있으며, 평가분

야 내용은 <표 2-13>에 정리한 바와 같다. 기본교육, 문교육, 기타 교육

등 역량별 교육과정, 교육기간별 등에 한 구분 없이 동일한 설문지를 사용

하고 있으며, 분석내용은 다음과 같다.

첫째, 설문지는 학습자 요인, 교육과정 교육설계 요인, 기타 건의사항 등

총 13문항과 교과목 강사에 한 만족도 문항(교과목 수 강사의 수에

따라 증감)으로 구성되어 있다. 한 문항별 평가방식은 선택형과 선다형, 리

커트 5 척도, 개방형 서술문항으로 구성되어 있다.

둘째, 구체 으로 만족도 평가 설문지는 (1)교육과정 반 만족도, (2)교과

목별 만족도, (3)강사 만족도( 문성, 강의기법, 강의태도) 등 교과목 강사

평가에 하여 리커트 5 척도를 활용하고 있으며, (4)불만족 요인(교과목 구

성, 강사진, 교재내용, 교육일수, 강의실 등 교육환경 등), (5)교육과정 설계에

있어서 과정 연장·단축 희망 교과목에 한 문항은 교과목 번호를 기입하도록

설계하 다. 마지막으로 (6)개설 희망 교육과정 교과목, 추천강사에 한

문항과 사서교육훈련 반에 한 건의사항은 개방형으로 구성하고 있다.

셋째, 만족도 평가 설문구성에 있어 교육내용(학습목표 달성, 내용이해여부,

용가능한 내용구성), 교육자료 매체(최신의 교육자료, 교육목표와 일치, 이

해하기 쉽게 교재 유인물 구성, 학습보조자료의 용이성), 교수 학습활동

(교육목 달성의 성, 흥미유도), 강사 학습 진자( 비, 문지식, 열의,

이해하기 쉽게 설명, 커뮤니 이션) 등에 한 구체 인 분석이 불가하고 단순

히 교과목별 만족도만 측정하도록 구성되어 문제 과 한계로 지 할 수 있다.

넷째, 평가시기에 있어 일률 으로 집합교육 과정에 하여 교육종료 직

후에 평가를 실시하고 있어 교육기간이 길고 교과목 수가 많은 과정의 경우

평가의 신뢰도를 낮추는 요인으로 작용할 가능성이 크다.

- 32 -

구분 평가내용 평가방식 문항 수

학습자

요인

• 성별

선택형 5

• 연령

• 근무지(도서관 관종)

• 근무연수

• 교육참여 동기 및 목적

①전문지식 함양

②업무능력 향상

③최신동향 파악

④교육시간 필요

⑤기타

교육과정

및

교수설계

요인

• 교육과정 전반적 만족도리커트 5점

척도 1

• 교육과정 불만족 요인

①교과목 구성

②강사진

③교재내용

④교육일수

⑤강의실 등 교육환경

⑥기타

선다형 1

• 교과목별 만족도 리커트 5점

척도

α

(교과목 수)

• 교육과정별 연장(단축) 희망 교과목

(1)연장

(2)단축

개방형 2

• 개설(신설) 희망 교육과정 및 교과목

(1)교육과정

(2)교과목

(3)추천강사

개방형 3

<표 2-13> 사서교육훈련 집합교육 만족도(1단계) 평가분야 내용

- 33 -

강사 요인

• 강사의 전문성리커트 5점

척도

β(강사 수) *3• 강의기법

• 강의태도

기타 건의 사항 및 기타 의견 개방형 1

계 13+α+3β

2) 학업성취도 평가

행 사서교육훈련 교육과정 가운데 실제 교육의 결과로 나타난 지식습득,

기술습득, 가치/윤리 등 태도변화를 측정하며, 교육내용의 인지 성취도를 평

가하는 2단계 학업성취도 평가는 ｢신임사서기본｣ 과정만 실시하고 있으며, 평

가방법과 내용은 <표 2-14>에 정리한 바와 같다. 학업성취도 평가는 (1)개인

학습평가 70 과 (2)분임평가 30 을 합산하여 100 만 으로 하되, (3)근무

태도평가 결과 감 수가 합산되는데 구체 평가방법은 다음과 같다.

구분

평가

평가시기 평가방법 출제자

종 류 배점

기본

교육

학습평가 70점 교육과정 중 4지 선다형평가과목

담당교수

분임평가 30점 교육과정 중 분임연구발표분임별

자유주제

근태평가 감점수료자

사정시

근태평가 기준표에

의한 개인별 감점 평가-

<표 2-14> ｢신임사서기본｣ 과정 학업성취도 평가방법 내용

- 34 -

구분 과 목 명강의

시간

의뢰

문항

출제

문항비 고

직무

전문

1. 국가재정의 이해 3 20 10

• 시험지 작성

-객관식(4지 선다형)100문항 출제

-과정장이 과목별 10문항씩 총50문항

선정

-2개 유형(A, B)으로 작성

• 점수

-2점씩 총100점 만점(소수점 둘째 자

리까지 산정)의 70% 적용

• 평가시간 : 50분

2. 참고정보원 개발 및

서비스3 20 10

3. 도서관 장서개발 3 20 10

4. KDC6판의 이해 및

적용3 20 10

5. 독서지도 이론과

실제3 20 10

계 15 100 50

<표 2-15> ｢신임사서기본｣ 과정 학습평가 방법 내용

첫째, 학습평가는 ｢신임사서기본｣ 과정의 직무 문분야 교과목 총 14과목

가운데 5과목을 선정하여 담당 교과목 강사가 <표 2-15>의 기 에 의거하여

문제를 출제한다6). 그 가운데 과정장이 각 교과목별 10문제씩 총 50문항을 선

정하여 시험지를 작성하며, 문항 당 수는 각 2 씩 총100 만 (소수 둘

째 자리까지 산정)의 70%를 용하여 <표 2-16>과 같이 평가한다. 이때 학습

평가에 있어 학업성취도의 사 -사후평가는 하지 않고 사후 테스트만 실시한

다. 학습평가 후 채 은 교육운 강사 혹은 각 과정별 과정장이 하고 있다.

둘째, 분임평가는 분임원들의 공통 심사항을 집약한 주제로 교육생이 실

제 업무에서 실행 활용할 수 있는 주제를 선정하여 각 분임별 선정된 주제

에 한 토의 장 탐방하고 분임토의 연구결과보고서(A4, 5～7매)를 작성

6) 2014~2016년도 ｢신임사서기본｣ 과정의 필기시험은 ｢국가재정의 이해｣, ｢참고정보원 개발 및 서비스｣, ｢도서관 장서개발｣, ｢KDC6판의 이해 및 적용｣, ｢독서지도 이론과 실제｣ 등 5개 과목에 대하여 지속적

으로 평가를 실시하고 있으며, 필기시험 과목의 선정에 대한 사항도 명확한 규정이 없고 담당자의 재량

이나 관례로 이루어지고 있음.

- 35 -

하여 제출한다. 평가자는 분임평가시 과제에 한 이해도, 내용의 체계성, 이

론 배경과 논리 분석도, 창의성, 실무 용의 실용도 등 5개 역을 평가하

고 <표 2-17>에 제시한 바와 같이 총 30 을 반 한다.

이상에서 분석한 결과, 국립 앙도서 사서교육훈련 2단계 학업성취도 평

가의 한계와 문제 은 54개 집합교육 과정 가운데 단 1개의 ｢신임사서기본｣과

정만 실시하고 있다는 과 학습평가 문제의 출제와 채 이 과목별 담당 강사

에 의해서 이루어지고 있는 은 추후 집합교육 체로 2단계 평가가 확 될

때 제한된 운 인원으로 인하여 어려움이 상된다. 한 해당 과정에서 학습

평가를 한 필기시험 과목의 선정에 있어 명확한 규정이 없다는 도 개선해

야할 으로 생각된다.

- 36 -

<표 2-16> 국립 앙도서 사서교육훈련 개인연구실 평가표

- 37 -

<표 2-17> 국립 앙도서 사서교육훈련 분임연구실 평가표

- 38 -

3) 업 용도 평가

3단계 업 용도 평가는 지속 으로 운 하는 문교육과정 교육 결과

측정이 가능한 과정을 선정하여 교육과정 수료생들이 교육훈련을 통해 학습한

지식, 기술 등을 실제 업무에 얼마나 활용하고 있는지 실태를 조사하여 업에

미치는 향요인을 분석한다. 재는 분류․목록 이용자 리 분야의 ｢KDC

자료분류｣, ｢DDC자료분류｣, ｢도서 이용자 리｣, ｢통합서지용KORMARC형식

(도서)(A)｣, ｢통합서지용KORMARC형식(도서)(B)｣, ｢통합서지용KORMARC형

식(비도서)｣ 등 6개 교육과정에 하여만 업 용도 평가를 실시하고 있으며,

평가방법과 내용은 <표 2-18>과 같다.

첫째, 설문지는 학습자 요인(기본항목), 교육 만족도, 교육내용 활용도, 교육

성과, 기타 항목으로 구성되며, 문항별 평가방식은 선택형, 선다형, 리커트 5

척도, 개방형 서술문항 등 14개 문항으로 구성되어 있다.

둘째, 구체 으로 업 용도는 (1) 반 직무수행 효과성, (2) 교육내용의

직무 련성, (3) 향후 업무수행 활용가능성, (4) 업무 활용도 향상 정도, (5) 업

무 활용도 비향상 요인, (6) 업무처리능력(문제해결력) 향상, (7) 업무이해도

향상, (8) 업(동료 부하직원) 용도 등을 평가하고 있다.

셋째, 평가는 교육 종료 3∼6개월 후에 사서교육홈페이지(http://edu.nl.go.kr)

를 통한 온라인 설문조사를 실시하며, 참여율 제고 방안으로 설문 응답자 50

명을 추첨하여 모바일 기 티콘을 증정하고 있다. 2014-2016년도까지 과정 수

료생들을 상으로 업 용도를 평가한 결과는 <표 2-19>와 같으며 3년간

평균 응답률은 61.13%이다.

넷째, 업 용도 평가도 술한 학업성취도 평가와 같이 과정별 교육목표

와 성격에 따라 설문지가 달리 개발되어야 함에도 불구하고 모두 같은 도구를

사용하고 있고, 도서 장의 업무행태별 연구도 고려한 평가가 이루어져야

할 것으로 생각된다. 컨 , 일부 도서 의 경우 분류나 목록업무를 아웃소싱

에 의존하는 경우, 지 처럼 분류와 목록 련 교육과정에 한 업 용도

평가는 의미가 없을 수밖에 없다.

- 39 -

구분 평가내용 평가방식 문항수

학습자

일반적

요인

• 성별

선택형 4

• 연령

• 근무지(도서관 관종)

• 근무연수

개인

전이

• 전반적 직무수행 효과성

리커트 5점 척도

8

• 교육내용의 직무관련성

• 향후 업무수행 활용가능성

• 업무 활용도 향상 정도

• 업무 활용도 비향상 요인

① 교육내용의 업무연관성 미비

② 실천의지 및 동기 부족

③ 상사나 동료의 인식 부족과 비협조

④ 기타

선다형

• 업무처리능력(문제해결력) 향상

리커트 5점 척도• 업무이해도 향상

• 협업(동료 및 부하직원) 적용도

기타

• 신설(개설) 희망 교과목 및 강사 추천

개방형 2

• 건의사항

계 14

<표 2-18> 사서교육훈련 업 용도 평가방법 내용

- 40 -

구분 과정명 대상자(명) 응답자(명) 응답률(%)

2014

KDC자료분류 66 38 57

DDC자료분류 21 14 66

통합서지용KORMARC형식(도서)(A) 40 31 77

통합서지용KORMARC형식(도서)(B) 33 28 84

통합서지용KORMARC형식(비도서) 38 21 55

2015





2016


DDC자료분류 25 15 60

도서관이용자관리 72 34 47




계 61.13

<표 2-19> 사서교육훈련 업 용도 평가결과(2014-2016)

다섯째, 평가시기와 련하여, 업 용도 평가는 통상 11월에 일 으로

설문을 진행해 왔기 때문에 월별 교육일정을 고려해보면, 교육후 3∼6개월의

시간이 경과하지 않은 교육생에 한 평가를 하게 되어 분석결과가 왜곡될 가

능성이 크다. 한 교육 이후 근무부서가 바 는 경우에 한 평가방법에

한 고려도 필요하다.

- 41 -

구분 시사점

평

가

단

계

1단계

만족도

• 집합교육 전체 54개 과정에 실시

- 역량별, 교육기간별 교육과정에 대한 구분 없이 동일한 평가도구

사용

• 설문지 문항구성의 획일성

- 교육 내용(학습목표 달성, 내용이해여부, 적용가능한 내용구성),

교육자료 및 매체(최신의 교육자료, 교육목표와 일치, 이해하기

쉽게 교재 및 유인물 구성, 학습보조자료의 용이성), 교수 및 학

습활동(교육목적 달성의 적절성, 흥미유도), 강사 및 학습촉진자

(준비, 전문지식, 열의, 이해하기 쉽게 설명, 커뮤니케이션) 등에

대한 구체적인 분석이 불가하고 단순히 교과목별 만족도만 측정

하도록 구성되어 있음

• 설문지 외에 인터뷰, 행동평가, 관찰평가 등의 도입 필요

• 평가시기 조정 필요

- 일률적으로 집합교육 전과정에 대하여 교육종료 직후에 평가를 실시

<표 2-20> 국립 앙도서 사서교육훈련 로그램 분석 결과 시사

4) 성과 평가

국립 앙도서 사서교육훈련 계획에 따르면 매년 1개 교과과정에 하여

성과 평가를 하도록 편성하고 있지만, 재까지 수행된 바는 없는 것으로

악된다. 가령, 2014년도는 ｢독서지도 문사서｣, 2015년도에는 ｢보고서작성스킬｣,

2016년도는 ｢쉽게배우는서평쓰기｣ 과정에 하여 4단계 성과 평가를 계획하

으나 실행하지 못한 것으로 나타났다.

2.3 시사

국립 앙도서 사서교육훈련 로그램 평가체계를 분석한 결과를 토 로

평가단계별, 평가방법, 평가 상, 운 주체 별로 개선방안 시사 을 정리하

면 <표 2-20>과 같다.

- 42 -

하고 있어 교육기간이 길고 교과목 수가 많은 과정의 경우 평가의

신뢰도를 저해하는 요인으로 작용할 가능성이 있음

2단계

학업

성취도

• 평가대상 과정 확대 필요

- 54개 집합교육 과정 가운데 단 1개의 과정만 실시

• 명확한 평가 규정의 부재

- 학습평가(70%)와 분임평가(30%)로 구성되는데, 학습평가 시 필

기시험 과목 선정에 대한 규정이 부재하고, 담당자의 재량이나 관

례로 이루어지고 있음

• 평가방법 확대 필요

- 과정별 사전-사후 평가, 사후평가 등 활용 필요

3단계

현업

적용도

• 현재 분류, 목록, 이용자교육 등 관련 6개 과정에 현업적용도 평가

실시

- 교육투입의 적절성, 현업적용의 가치, 현업적용 고려 과정개발, 현

업적용 평가지원 획득여부, 측정가능성을 고려하여 대상 과정 결

정 필요

• 필요과정별 교육목표와 성격에 따른 평가도구(설문지) 개발 필요

- 교육훈련 설계요인(교육훈련의 직무관련성, 강사능력, 교육훈련 전

이설계), 조직환경 특성요인(상사의 지원, 동료의 지원, 변화가능

성) 등 현업적용도 영향요인을 반영한 평가도구 개발

• 도서관 현장의 업무행태를 반영한 평가 필요

• 평가시기의 유연성 확보 필요

4단계

성과

평가

• 현재 실시하지 않음

• 성과 측정 가능성 연구 필요

평가방법

• 설문지 평가에 의존

- 설문지, 인터뷰, 행동평가, 관찰평가, 사전-사후 평가 등 평가방법

다양성 확보 필요

• 교수·학습단계별 평가방법(진단평가, 형성평가, 총괄평가), 평가수

준(반응평가, 학습평가, 현업적용도, 교육투자효과 평가), 평가영역

(지식, 스킬, 태도/가치), 평가형태(시험, 행동, 보고서형태)의 다양

화 필요

• 평가 시기(학습 전, 중, 후)를 교과목 특성별로 조정 필요

- 43 -

• 프로그램 운영의 효과성 및 효율성 측정 한계

• 평가자료 분석이 평균, 빈도 산출에만 그치고 있음

평가대상

• 평가주체의 확대 필요

- 현행 평가대상은 교육대상자에게만 한정

- 교육과정별, 평가단계별 상사. 동료 등 주변인 평가 확대 고려

• 과정별 강사와 평가자가 동일

- 교육 프로그램 평가 운영 전담직원 필요성 대두

운영진

역량

• 3년간 평가방법에 대한 개선책 마련 부재

- 교육 프로그램 평가뿐만 아니라 과정 운영 전반에 대한 운영자의

역량 개발 필요


제3장 국내외 문헌조사 및 선행연구

3.1 직무교육 로그램 평가모형 차

3.2 선행연구

3.3 시사

- 47 -

영역 비고

평가목적

- 교육의 목표달성도- 교육의 질적개선- 교육의 투자효과분석- 교육과정의 지속가능성 및 변경의 의사결정

평가내용

- 교육대상자의 만족도- 학업성취도- 현업적용도- 조직의 성과

평가수행자

- 프로그램 운영자- 담당 교수

평가 - 설문

제3장 국내외 문헌조사 선행연구

3.1 직무교육 로그램 평가모형 차

3.1.1 교육평가의 의의 략

교육훈련 평가는 ‘교육목 의 달성도에 한 증거 교육목 의 달성에

향을 미치는 변인에 한 증거를 수집하고 그에 해 교육 의사결정을 내리

는 과정’(네이버 교육학용어사 )으로 교육과 련된 모든 것을 체계 이고 과

학 으로 측정, 찰하여 가치나 품질을 평가하는 행 이다. 교육평가는 교육

의 목 달성도, 교육의 질 개선, 교육훈련의 효율성 제고, 교육과정의 지속가

능성 변경 등의 의사결정의 객 인 근거제공, 교육훈련 담당자의 능력제

고 등 다양한 목 을 달성하기 하여 수행된다. 이를 통해 교육과정의 문제

개선방안을 악하여 교육과정에 반 하고, 교육 상자의 만족도, 학업성취

도, 업 용도, 조직의 성과에 정 인 변화를 유도하 는지를 확인한다.

교육평가를 한 효율 인 략을 수립하는 것이 요한데, 아래 <표3-1>

과 같이 교육 로그램에 합한 평가목 , 평가내용, 평가수행자, 평가방법 평

가시기 등을 수립해야 한다.

<표 3-1> 교육 로그램의 평가 략

- 48 -

방법- 면담- 자필검사(선택형, 서답형), 수행평가- 관찰

평가시기

- 교육 시작전- 교육 종료직후- 교육 종료 후 일정시간 경과 뒤

3.1.2 교육 로그램 평가모형

교육 로그램 효과에 한 평가를 하여 다양한 평가모형이 제시되었는데,

크게 과정지향형(system oriented approaches)과 결과지향 모형(objective orientd

model)으로 구분된다(박미경, 신재은, 박지 2011). 과정지향모형은 교육 로

그램 과정을 평가하는 것을 목 으로 하며, 결과지향모형은 교육 로그램

결과를 평가하는 것을 목 으로 한다. 결과지향 모형은 궁극 으로 교육 로

그램의 목표와 교육을 통한 조직의 결과를 산출해내는 것을 목표로 한다는

에서 목표지향 모형으로도 구분된다.

과정지향모형은 CIPP 모형 IPO 모형이 표 이다. CIPP 모형은 Stufflebeam

(1971)에 의하여 제시되었으며, 교육 로그램 목표를 구성하는 상황(Context)

에 한 평가, 로그램 목표를 성취하는데 요구되는 투입(Input)에 한 평가,

교육 로그램 운 상황(Process) 검토에 한 평가, 로그램 효과(Product)

에 한 평가로 구분한다. 상황평가는 교육 상자의 요구, 교육기 의 환경 등

을 측정하며, 투입평가는 로그램 략 설계, 산, 일정 등을 평가한다.

과정평가는 과정설계 운 , 활동상의 기록을 기반으로 하며, 성과평가는 목

표, 투입, 과정 상의 연 성, 산출물의 로그램 목표 부합정도 등을 바탕으로

성과에 한 단을 기반으로 한다.

이를 통해 궁극 으로 교육 로그램의 지속여부 수정사항에 한 근거

를 제공한다.

IPO 모형은 Bushnell(1990)에 의하여 교육훈편 로그램의 평가를 하여 고

안되었으며, 로그램에 향을 미칠 수 있는 요소(Input))에 한 평가, 교육

- 49 -

과정개발 운 의 차에 한 평가(Process), 교육과정을 통해 얻어지는 지

식, 기술, 성과의 향상에 한 평가(Output)로 구분된다. 투입에 한 평가는

훈련 상자, 강사, 교재유용성, 장비, 훈련시설, 비용 등을 기반으로 하며, 과정

에 하 평가는 교육 로그램의 계획, 설계, 개발, 달 등의 단계에 따른 교

수목 , 설계기 , 교수 략, 훈련자료 등을 활용하며, 산출은 훈련에 한 반

응, 수익성, 경쟁력, 학습된 지식 기술 등을 평가한다(농림수산식품교육문

화정보원 2013, 15).

과정지향 모형은 환경이나 투입 등을 고려하는 등 체 인 맥락을 고려한

다는 의미를 가지고 있으나 교육의 성과를 평가하기 보다는 교육의 과정에

을 맞추고 있으며, 평가의 구체 지침을 제공하지 못하는 한계를 갖는다.

이에 반해 결과지향 평가모형은 로그램의 목표와 결과를 강조함으로써 로

그램 설계 운 자에게 도움이 된다는 장 이 있으나, 4,5단계 모형에 한

구체 인 지침을 제공하지 못하는 한계를 가진다.

이러한 이유에서 목표지향 모형이 많이 사용되는데, 목표지향 모형은

Kirkpatric의 4단계와 Phillips의 5단계 모형이 표 이다. Kirkpatrick 모형은

반응(Reaction), 학습(Learning), 행동(Behavior), 결과(Results)의 4단계로 구성

되며, 1959년 Kirkpatrick에 의해서 제시되었다. Phillips(1997)는 Kirkpatrick의

4단계를 보다 발 시킨 모형으로 5단계 평가모형을 제시한다. Phillips(1997)는

ROI(Return On Investment)에 을 두고 있으며, 반응 실천계획, 학습,

업 용, 사업결과, 투자결과로 구분하여 사실상 Kirkpatrick의 4단계 평가를

사업에 한 기여도와 ROI 등 두 단계로 구분하여 제시하고 있다.

본 연구는 사서교육 로그램의 효과성 검증을 하여 각 과정별 측정지표

를 개발한다는 에서 과정지향 모형보다는 결과지향 모형이 하다. 한

재 4단계 평가 역시도 실 으로 이루어지기 어려운 실을 감안할 때

Phillips의 5단계 모형보다는 Kirkpatrick의 4단계 모형이 합하다.

- 50 -

접근방법 평가모형 단계

과정지향

CIPP 모형 환경(Context) - 투입(Input) - 과정(Process) - 산출(Product)

IPO 모형 투입(Input) - 과정(Process) - 산출(Output) - 결과(Outcomes)

TVS 모형 환경(Situation) - 개입(Intervention) - 영향(Impact) - 가치(Value)

결과지향

Kirkpatrick

4단계 모형반응(Reaction) - 학습(Learning) - 행동(Behavior) - 결과(Result)

Phillips

5단계 모형

반응(Reaction) - 학습(Learning) - 적용(Job Application) -

영향(Business Impact) - 회수율(Return on Investment)

<표 3-2> 교육 로그램 평가모형

(경찰 학 치안정책연구소 2015, 24 수정보완한 것임)

3.1.3 Kirkpatrick 평가모형

Kirkpatrick은 평가단계별 체계 이며 실제 용가능할 수 있는 방법을 제시

하 다는 에서 교육평가를 하여 가장 보편 으로 사용되는 모형 에 하

나이다(이 , 권선진, 임정기 2014; 이홍재, 권 이, 차용진 2016). Kirkpatrick

은 궁극 으로 교육을 통해 조직의 결과를 산출해내는 것을 목표로 한다는

에서 결과 지향 모형(이 , 권선진, 임정기 2014)으로 기업의 교육훈련평가

에 주로 활용되어 왔으나, 최근에는 공공기 , 군, 사회복무요원 등 범 한

조직의 교육훈련평가에 활용되고 있다. Kirkpatrick은 다음의 4단계 평가를 제

시한다.

반응(Reaction)은 교육에 참여하는 상자의 반응, 즉 만족도를 측정하는 것

이다. 주로 교육 참가자의 태도나 신념 변화를 측정하며 교육내용 교수내

용, 학습자요인, 강의자, 교육시설, 교육일정 등에 한 만족도를 측정한다. 교

육이 종료된 직 후에 실시되며, 리커트 5 척도를 주로 활용한다. 설문이나

면담 , 찰 등이 사용가능하나, 주로 설문이 활용된다(한인섭 외 2011). 반응

평가는 교육주제, 강사, 시설, 일정 등에 한 정보를 제공한다는 에서 향후

교육 로그램 설계에 반 될 수 있는 양 정보를 제공한다.

학습(Learning)은 실제 교육의 결과로 나타난 지식습득, 기술습득, 태도변화

를 측정하며 교육내용의 인지 학업성취도를 평가한다(조홍제 외, 2014). 이

- 51 -

러한 이유로 성취도 평가라고 지칭된다. 즉, 교육참여를 통해 지식, 기술, 태도

등을 얼마나 습득하 는지를 평가한다. 학습평가는 자필평가, 수행평가, 태도

평가를 사용하며(이홍재, 권 이, 차용진 2016), 사 -사후평가, 사후검사, 비교

-통제 집단의 비교를 통해 학업성취도를 측정할 수 있으며, 자필검사, 체크리

스트, 수행평가 등이 활용된다.

사 -사후 평가는 교육 상자의 교육 의 학업정도가 사후 얼마나 향상되었

는지를 측정하고자 사용되며, 교육 상자의 사 지식이 없을 때 사후평가가

사용되거나, 시험 등을 실시할 수 없는 경우 설문을 통해 교육참여자의 인지

학업성취를 평가한다. 2단계 성취도 평가는 교수자에게 교육 로그램에

한 피드백을 제공할 수 있다는 에서 의의가 있으며, 이러한 피드백을 기

반으로 교수자는 교육 로그램 설계 내용개발에 활용할 수 있다.

행동(Behavior)평가는 교육 상자가 교육에 참여함으로써 직무에 발생한 변

화정도를 평가하며 업 용도 평가라고 불리기도 한다. 행동평가는 교육에서

습득한 내용을 얼마나 직무에서 활용( 는 이)하고 있는지를 평가하는 것이

므로 주로 교육종료 3개월-6개월 후에 평가되며, 설문조사, 면담, 찰 등을

통해 측정가능하다. 평가의 신뢰성을 높이기 하여 상사, 동료에 의한 다면

평가가 이루어지기도 한다. 실제 3단계 평가를 실시하는 것은 어려운데, 학습

한 내용을 발휘할 조직에서의 기회를 얻을 수 있는 환경이 아닐 경우 학습에

서의 효과가 3단계로 이어지지 않을 수 있기 때문이다. 그러므로 학습한 내용

의 직무에서의 활용뿐만 아니라, 본인의 문제해결능력 향상에 한 교육 상

자의 인지정도를 측정하기도 한다.

결과(Results)평가는 교육 상자가 교육에 참여함으로써 조직에 발생하는 최

종 성과, 즉 생산성 수익성에 한 변화정도를 평가한다. 결과평가는 재무

평가와 비재무 평가로 구분되어 이루어지는데, 비재무 평가는 리더십,

경 변화, 동기, 의사소통, 경 평가, 직무만족수 , 고객불만율 등을 측정하며,

재무 평가는 생산성 증가, 품질 개선, 시간 약, 비용 감소, 매 증가, 이직

율 감소, 사고 감소 등을 평가한다. 결과평가는 실제 조직에 발생하는 성과를

측정해야 하므로, 성과변화가 나타날 수 있는 시간을 요구한다. 그러므로 교육

- 52 -

단계 정의 평가항목 방법 시기

1단계:반응(Reaction)

교육대상자의

만족도

교육내용 및 교수내용, 학습자

요인, 강의자, 교육시설, 교육

일정에 대한 만족도

설문이나

면담, 관찰교육직후

2단계:학습(Learning)

교육대상자의 학업성취도 지식, 기술, 태도변화

자필평가, 수행평가, 태도평가

사전-사후사후

3단계:행동(Behavior)

교육내용의 직무상의 현업적용도

직무에 발생한 행동변화 설문, 면담, 관찰

교육종료 3~6개월 후

4단계:결과(Results)

교육내용의 조직에 발생하는 최종성과

조직의 개선에 기여한 재무적/비재무적 성과

설문, 면담, 데이터분석

교육종료 후 6~12개월 후

종료 후 6-12개월 후에 평가한다. 사 -사후, 사후평가 등을 활용하며 손익분

석(cost/benefit analysis), 투자회수율(ROI:Return On Investment), BCR(Benefit

Cost Ratio)등이 주로 활용된다. 평가를 해서는 설문조사나 성과자료 분석이

이루어진다. 투자회수율은 교육훈련에 투자된 비용 비 발생한 이익을 계산

함으로써 교육훈련의 최종성과를 도출하는 것이다. 그러나 실제 가시 효과

를 측정하기 어려운 요소가 많아 이에 한 측정이 어렵다는 단 이 있으므로

(경찰 학 치안정책연구소 2015), 실제 경제 비용이나 이익을 산출하기 용이

하지 않은 기 은 3수 의 업 용도를 용하는 수 으로 평가를 체하고

있다(권 제, 이상덕, 오 철, 서휘석 2013).

<표 3-3> Kirkpatrick 평가모형

Kirkpatrick모형의 반응-학습-행동-결과단계 평가는 순차 계성 정

인 상 계를 가정하고, 체계 인 평가 단계를 제시하고 있다는 에서 가장

범 하게 활용되고 있는 모형이다( 주성, 김소 2011, 128).

Kirkpatrick에 따르면 상 단계의 효과성은 하 단 의 조건들이 갖추어야 가

능하므로 평가는 1단계부터 시작되어야 한다. 즉, 3단계 업 용도의 정 인

평가는 1,2단계의 교육내용의 만족도 학습성취가 이루어져야 가능하다는 것이

- 53 -

평가단계 정보의 가치 영향력 사용빈도 평가 난이도

반응 최저 최저 자주 최저

학습

현업적용도

결과 최고 최고 가끔 최고

다. 그러므로 3단계의 의도한 정 인 평가가 나타나지 않았을 경우에는 1,2단계

에서 원인을 찾을 수 있는 근거를 제공한다. 실제 최근 (2010), 노인택(2009), 주

주, 김소나, 박수 , 김은경(2009) 등 다수의 연구에서 Kirkpatrick의 1단계가 2

단계, 3단계에 정 인 향을 미치고 있음을 밝힌 연구가 수행된 바 있다( 주성,

김소 2011, 132).

이러한 Kirkpatrick 모형의 장 에도 불구하고 다음단계의 평가로 갈수록 더

많은 정보를 제공할 수 있다는 장 이 있는 반면, 많은 비용 시간이 소요된

다는 단 이 있다. 실제 Bassi와 Van Buren(1999)이 미국의 기업을 상으로

Kirkpatrick의 간 단계 용 황을 조사한 결과, 1단계 81%, 2단계 40%, 3단계

11%, 4단계 6%로 활용하는 것으로 나타났으며, ASTD 조사연구(권 제, 이상

덕, 오 철, 서휘석 2013, 176)는 1단계 74%, 2단계 31%, 3단계 14%, 4단계

8%정도로 나타나는 것으로 분석되어, 여 히 행동평가 결과평가는 제한

으로 이루어지고 있는 것을 알 수 있다.

<표 3-4> Kirkpatrick 평가단계별 평가고려사항

(농림수산식품교육문화정보원 2013, 16)

- 54 -

3.2 선행연구

3.2.1 직무교육평가

이용탁(2005)은 e-Learning의 유효성을 평가하기 한 연구를 수행하 다. 국

내외 e-Learning의 유효성 측정방법에 한 선행연구를 분석하여, e-Learning에

있어서 유효성을 측정하기 한 요소를 교육훈련 측면의 유효성, 기술측면의

유효성, 학습자의 학업성취도 측면으로 구분하 다. 교육훈련 측면의 유효성으

로는 학습자만족, 학습참여와 상호작용, 피드백의 유효성으로 제시하고, 기술

측면의 유효성으로는 교육과정설계와 달방법의 효율성, 학습 환경의

성, 사용자 인터페이스 설계의 유효성으로 제시하 다. 학습자의 학습 성취

도 측면의 유효성으로는 학습과정, 학습목표, 학습결과가 직무에 미치는 향

력으로 제시하 다.

진선미, 정은정(2005)은 서울시공무원교육원 평가도구 개발을 한 연구를 수

행하 으며, Kirkpatrick, Phillips 등의 이론을 분석하고, 서울시공무원 교육

로그램 개발 분석을 통해 평가체계를 제시하 는데, 평가 시기(학습 , ,

후), 평가방법(진단평가, 형성평가, 총 평가), 평가수 (반응평가, 학습평가,

업 용도, 교육투자효과 평가), 평가 역(지식, 스킬, 태도/가치), 평가형태(시험,

행동, 보고서형태)에 따라 공무원교육결과의 평가방안을 제시하 다. 한 시

로 문제해결능력향상과정에서 활용할 수 있는 평가도구 방법을 제시하 다.

홍계훈, 김익성(2008)은 직장인 교육 로그램 참가자를 상으로 반응평가

모델을 개발하기 한 연구를 수행하 으며, Kirkpatrick의 모델을 활용하

다. 실제 개인이 가지고 있는 기 를 을 두고 조사하 으며 설문기법을

활용하 다. 연구결과로 1단계(감정 인 반응, 유용성, 어려움), 2단계(주

인 학습), 3단계( 이동기, 이가능성), 4단계(결과에 한 기 ) 간의 상 정

도를 측정하 는데, 감정 인 반응, 로그램의 유용성이 높아질수록 2,3,4단계

가 높게 나타났으며, 어렵다고 느낄수록 2,3,4 단계가 낮게 나타남을 악하여

단계 변수간의 상 성이 있음을 악하 다.

- 55 -

강명희, 최형신, 김민정, 박미순(2009)은 농업정보화 교육 로그램의 효과성

측정을 한 평가 거 개발에 한 연구에서 문헌분석을 기반으로 5개의 평가

거를 추출하고, 753명의 농업인을 상으로 타당도 신뢰도 분석을 실시

한 결과, 5개 요인 23개 문항을 도출하 다. 도출된 요인은 교수-학습 로

그램, 사 지식, 교수자, 교육환경 운 , 학습동기를 바탕으로 총 23개의 평

가문항을 확정하 다. 연구결과를 통해 도출된 평가항목으로 교수-학습 로그

램은 학습내용의 련성, 교수자료의 실용성, 분량의 성, 학습내용의 논리

성 계열성, 교육시간의 성, 수업방법의 성, 사 정보제공의 충분성

등을 도출하 으며, 사 지식은 컴퓨터 활용능력, 직무에서의 컴퓨터 활용능

력, 교수자는 강의 문성, 강의 달력, 강사의 열정, 강사의 학생존 정도, 교

육환경 운 은 교육시설의 쾌 성 충분성, 교육장비의 최신성 충분

성, 기술 인 지원여부, 교육기 의 서비스, 학습동기는 교육에 한 지각된

가치, 자기조 학습능력, 학습자의 자기 효능감을 도출하 다. 한 연구결과

를 통해 효과성을 높이기 해서는 학습자인 농업인의 을 반 , 즉 교육

상자의 요구분석이 요한 요소임을 악하 다.

주성, 김소 (2011)은 학부설 평생교육원 로그램의 평가모델을 제시하

기 한 연구를 수행하 으며, Kirkpatrick의 모형 3단계까지의 내용을

심으로 선행연구를 통해 지표를 도출하고, 교육 상자를 상으로 설문을 통

해 타당성을 평가하 다. 반응(강사, 교육시설/환경, 교육시간, 교육내용, 교육

지원서비스), 경력계획, 자기효능감, 학습, 활용을 분석한 결과, 각 변수는 효과

성을 측정하는 지표로 타당성을 입증하 으며, 반응(만족감)이 높을수록 학습

수 이 높았으며, 경력계획과 효능감이 높을수록 학습결과에 한 인식이 높

았다. 한 학습결과를 높게 인식할수록 교육내용에 한 활용도가 높게 나타

나 계 계 역시 입증하 다. 한 강사와 교육내용이 학습과 상 계가

높게 나타났으며, 경력계획 효능감은 직 인 향을 주진 못하며 간

인 매개변수의 역할을 담당함을 악하 다. 이를 통해 학습 활용을 높이

기 해서는 강사와 교육내용이 요함을 알 수 있다.

김소 , 홍성민(2012)은 소기업 채용 정자 훈련의 성과평가를 측정하기

- 56 -

하여 Kirkpatric 4단계 모형을 용하여 만족도 학습정도, 조직에서의 업

무수행, 조직성과를 분석하 다. 상 리 의 평가에 을 맞추었으며,

3,4단계는 채용 후에 평가하여 업무수행에 따른 평가를 시행하 다. 연구결과

로 훈련생의 자질과 역량 고려여부, 훈련기 의 사후 리체계, 훈련내용 구성

의 성 운 의 내실성 등이 만족도, 학습정도, 조직에서의 업무수행, 조

직성과에 향을 미치는 요소임을 확인하 다. 이를 통해 훈련사업의 질 향

상 운 상의 내실화가 필요함을 제시하 다.

임업훈련원(2012)은 교육성과평가 교육기능 개선방안을 수행하기 하여

효과성 효율성을 바탕으로 교육성과평가 모형을 제시하 으며, 효과성은

Kirkpatrick & Phillips 모형을 기반으로 하 다. 선행연구 분석 담당자 면

담, 교육담당자 교육생 상 설문을 실시하여 교육과정의 평가수 을 분류

하고 각 단계별 평가도구 도출 매뉴얼을 제시하 다.

만족도 평가는 수업만족도와 과정만족도로 구분되며, 수업만족도는 교육수

업내용내용(학습목표 달성, 내용이해여부, 용가능한 내용구성), 교육자료

매체(최신의 교육자료, 교육목표와 일치, 이해하기 쉽게 교재 유인물 구성,

학습보조자료의 용이성), 교수 학습활동(교육목 달성의 성, 흥미유

도), 강사 학습 진자( 비, 문지식, 열의, 이해하기 쉽게 설명, 커뮤니

이션)로 구성하 다. 과정만족도는 교육과정 내용, 교육환경, 과정시기 시간

으로 제시하 다. 학업성취도는 사 사후 테스트로 동형문항으로 검사할 거을

제시하 으며, 선다형, 단답형으로 제시하 다. 업 용도는 교육내용의 업

용노력, 용여부, 업무성과 향상도, 문제해결능력의 향상, 상사 동료의

업 용도 향상평가 등으로 측정하며, 이외에 과정별 맞춤형으로 학습목표

진술, 필수학습요소 작성을 제시하 다.

업 용도 향요인으로 교육훈련 설계요인(교육훈련의 직무 련성, 강사능

력, 교육훈련 이설계), 조직환경특성요인(상사의 지원, 동료의 지원, 변화가

능성)을 제시하 다. 성과평가는 공통 결과평가, 인식기반 ROI평가, 데이터

기반 ROI평가로 구분되며, 공통평가요소는 생산성, 매량 품질, 가격, 완료시

간, 직무만족, 고객만족의 개선정도를 제시하 다.

- 57 -

문경환, 민경석, 최 (2014)는 경찰교육의 효과성 측정을 한 지표개발

평가를 실시하 다. Kirkpatrick의 4단계 3단계까지 측정하 으며, 경감·

경정 기본교육과정에 한 평가를 교육 이수자를 상으로 설문을 통해 평가

하 다. 반응-학습, 학습-행동사이의 상 계가 높게 나타났으며. 경정교육이

경감교육보다 반 으로 높은 수 을 보 다.

이 , 권선기, 임정기(2014)는 사회복무요원직무교육의 효과성을 측정하기

한 연구를 수행하 다. Kirkpatrick 모형을 기반으로 선행연구를 분석하여

반응, 학습, 행동, 성과의 항목에 한 지표를 도출하 으며, 1단계 반응평가는

교육에 한 반 만족도, 진행방식, 학습환경, 교육정도, 교육수 , 도움정

도, 학습평가는 지식, 기술, 가치/태도, 행동평가는 조직수행도 조직시민행

동, 성과평가는 직무만족, 조직몰입, 조직성과로 정의하 다. 교육에 참여한 사

회복무요원을 상으로 설문을 바탕으로 각 단계간의 상 계 계 회

기분석을 분석한 결과, 단계별 과정이 순차 으로 진행되는 것을 악하 다.

앙공무원교육원(2014)은 신임 리자과정을 상으로 업 용도를 심으

로 교육성과를 분석하기 한 연구를 수행하 다. 이를 해 신임 리자 과정

내용 평가체계를 분석하고, 교과목별 평가단계를 분류하여, 단계별 평가도

구를 개발하고 시범평가를 진행하 다. 앙공무원 신임 리자과정 만족도 평

가는 기본항목, 교육과정, 교육환경, 교육활동, 교과목 교수, 기타 등 6개

역의 13개 문항으로 이루어지고 있으며, 학업성취도는 개인평가, 평가, 분

임평가의 형식으로 객 식, 개인보고서, 보고서, 분임보고서, 발표 등을 통해

이루어진다. 2단계평가는 측정필요성, 측정가능성을 바탕으로 선정된다. 3단계

는 업 용의 가치, 업 용 고려 과정개발, 업 용 평가지원 획득여부,

측정가능성을 고려한다. 이러한 기 을 바탕으로 교수자와의 논의를 거친 후,

교과목별 평가단계 분류를 확정하 으며, 결과 직무역량배양과목에서 6개 과

목에 업 용도 평가를 용하기로 하 다.

경기평생교육진흥원(2015)은 교육효과측정과 성과 리 연구를 진행하 는데,

Kirkpatrick의 만족도조사를 한 지표를 도출하 으며, 선행연구 사례조사

를 기반으로 하 다. 도출된 범주는 학습도, 강사, 내용 성, 교수설계, 교

- 58 -

육행정, 교육 반이며, 학습도는 교육내용 이해도, 교육시간 충분도, 강사는 강

의 내용의 합, 강의스킬, 내용 성은 업무 련성, 강의유익, 교수설계는 교

과목 합성, 교재내용 활용성, 교육방법 효과성, 교육행정은 진행자 만족도,

교육 반은 교육 반 만족도의 지표를 도출하 다. 학업성취도는 지식, 기술,

태도의 지표를 도출하 다.

민경석, 최 , 문경환(2015)은 경찰교육훈련 평가지표를 개발하기 한 연

구를 수행하 으며 이를 하여 Kirkpatric 모형을 활용하 다. 이를 해 선행

연구 국과 미국의 경찰교육훈련 평가모형을 분석하 으며, 이를 통해 1단

계, 2단계, 3단계 범주 항목을 도출하 다. 1단계는 목표, 로그램 설계,

로그램 콘텐츠, 교육방법, 환경의 7개 범주의 24개 항목으로 구성되며, 2단계는

지식, 기능, 태도 범주의 11개 항목, 3단계는 개인 이 조직 이 항목의 8개

항목을 제시하 다.

이홍재, 권 이, 차용진(2016)은 개인정보보호 교육효과 측정모형 지표를

개발하기 한 연구를 진행하 다. 선행연구를 통해 Kirkpatrick 단계별 측정

지표를 도출하 으며, 이를 통해 단계별 각 5개 측정변수를 도출하 다. 이를

바탕으로 개인정보보호교육을 수강한 지방자치단체 공무원을 상으로 설문조

사를 실시하 으며, Cronbach’s 알 계수 고차요인분석(higher order factor

analysis) 등을 바탕으로 신뢰성 타당성을 분석하 다. 이를 바탕으로, 만족

도를 측정하기 한 요소로 교육내용, 교육방법, 교육강사, 교육시간, 교육시설

을 도출하 으며, 2단계 학습은 이해증진, 새로운 지식습득, 새로운 학습내용,

세부규정이해, 요성 인지, 3단계 행동은 고지의무 수, 업무과정활용, 4단계

결과는 침해사고, 유출사고, 오남용사고, 비용감소, 이미지개선 등의 항목을 도

출하 다.

- 59 -

3.2.2 업 용도 련 선행연구

경기복지재단(2011)은 업 용도 수 에 향을 미치는 요인 업 용

도 수 과 요인간의 상 계에 한 연구를 수행하 다. 경기복지재단 교육

과정 투자된 비용과 교육생 수, 교육 로그램의 지속성이 높은 과목을 선정

하여 업 용도를 측정하 으며, 설문 면담을 실시하 다. 학습자 특성요

인(자기효능감, 이동기( 업 용도 의지)), 조직특성요인(상사/동료의 지원),

교육 로그램 특성요인( 이설계, 직무 련성)에서 업 용도와 정 인 상

계를 보 으며, 이 특히 교육 로그램 특성요인이 가장 상 계가 높게

나타났다. 한 사례 심의 심화 로그램에서 업 용도가 더 높게 나타났다.

즉, 교육생의 업 용 의지를 고취시킬 수 있는 교육과정 운 설계 자체

가 이를 진할 수 있도록 설계되었는지가 요함을 제시하 다.

권 제, 이상덕, 오 철, 서휘석(2012)은 공군 교육 로그램의 업 용도 평

가를 한 요인을 도출하고, 이에 한 타당성 검증 실제 미치는 향정도

를 평가하기 한 연구를 수행하 다. Kirkpatrick의 3단계에 집 하 으며,

교육 로그램 수료자를 상으로 설문조사를 수행하 다. 이에 따른 회귀분석

을 실시한 결과 모두 3개 요인이 모두 유의미한 향을 미치고 있었으며, 교

육설계, 조직환경, 학습자 요인 순으로 향을 미치고 있는 것으로 나타났다.

특히 다양한 지식 기술 달을 한 체계 인 교육설계가 업 용도에 있

어서 가장 요함을 악하 다.

노혜란, 박선희(2012)는 실제 교육참여자의 업 용도를 평가하기 한 연

구를 진행하 으며, 보건복지 교육 상 기 의 참여자, 동료 등을 상으로 설

문 면담을 실시하여 업 용도를 평가하 다. 교육 상자의 설문 면담

조사를 하여 사용된 지표는 학습 지도, 업무 련도, 업무활용기회도, 업무

의 활용도, 업무능력향상도, 성과향상도이며, 동료평가 설문에 사용된 지표는

업무 활용도, 업무능력 향상도, 성과 향상도이다. 연구결과로 참여자의 업

용도 평가보다 동료의 업 용도 평가가 높게 나타났다.

농 진흥청(2012)은 업 용도 성과평가를 한 연구를 수행하 다. 연구

- 60 -

는 선행연구, 우수사례 벤치마킹을 바탕으로 Kikrpatrick, Phillips의 4단계

5단계에 응되는 결과 지향 이면서 투자에 한 성과를 측정할 수 있는

평가도구의 개발을 목 으로 하 다. 도출한 주요 지표로는 만족도, 업 용

도, 성과의 3단계로 진행하 으며, 만족도 측정을 한 요소로 종합 인 만족

도, 직무수행도움정도, 교육운 만족도, 강의시설 매체 만족도를 제시하 으

며, 업 용도는 SCM( 업 용도 우수자 면담) 교육 상자/상사에 한

연구를 진행하 는데, 우선 업 용도 평가는 사후평가를 한 설문을 진행하

고, 업무에 향을 미치는 요인으로 개인특성요인, 교육과정요인, 조직환경요인

을 도출하 으며, 업 용도 측정요인으로 업무활용도, 능력향상도, 성과향상

도, 평 향상도를 측정할 것을 제시하 다. 업 용도 측정을 해서는 상사

학습자의 각 50% 가 치로 계산하 으며, 교육종료 3개월 후에 실시하고,

설문을 활용하여 리커드 5 척도를 활용할 것을 제시하 다. 우수성과자(SCM)

는 업 용도 설문응답자의 15%에 해당하는 상자를 선별하고, 이 설문의

신뢰도 검증 면담을 거쳐 최종 3인을 선정하여 이루어졌다. 우수성과자 분

석을 통해 업 용도의 핵심 성공요인을 도출하 는데, 이들은 다른 참가자들

에 비하여 과정참여도, 학습동기, 업무 련성과 업무도움도가 높은 편이며, 문

제해결능력 심의 학습방법, 장 심의 교육내용, 강사선정이 요함을 언

하 다.

성과 비용은 성과를 해서는 농업기계 교육시간 감소율, 정비시간 감소

율, 농업기계 정비오류 감소율, 안 사고 감소율 등의 요소를 비용항목으로는

학습자비용, 교수자 비용, 교육 로그램 운 비, 리시설비 등을 측정하여

ROI를 계산할 것을 제시하 다. 실제 4개 교육훈련 로그램의 효과성 평가를

해 도출된 항목 문항을 바탕으로 연구를 진행하 다. 실제 성과항목은 자

기보고식 설문조사 결과로 참가자 는 리자에 의한 추정으로 계산하 다.

김정원, 김동철(2013)은 공무원교육의 업 용도를 향상시키기 한 연구를

수행하 다. 이를 통해 업 용도에 향을 미치는 요인을 학습자, 교육내용,

직무수행환경으로 구분하여 연구하 으며, 업 용도 향요인을 분석하기

하여 강원도 인재개발원에서 교육받은 공무원을 상으로 설문을 실시하

- 61 -

다. 연구결과 학습자 내 특성( 비도, 경력계획, 성취욕구, 이동기, 기 , 자

기효능감), 교육내용 설계(내용 련성, 교육훈련 설계, 환경유사성, 피드백),

직무수행환경( 이기회, 동료의 지원, 상사의 지원, 조직의 지원, 조직문화)에

한 향요인이 높은 것으로 나타났으며, 인식이 높게 나타난 요소에 해서

는 계속 으로 지원하고, 낮게 나타난 조직문화 등에서는 개선방안이 필요함

을 제시하 다.

박진환, 김상순, 이춘우(2014)는 소기업연수원의 소기업 임직원 교육

로그램의 업 용도 평가를 한 연구를 실시하 다. 업 용도 평가를

하여 용빈도, 업무향상, 결과인정, 문제해결, 업무 용을 기 으로 5 척도

를 평가하 으며, 교육 평가자를 상으로 설문을 실시한 결과, 독립변수 개인

수 (메타인지), 과정수 ( 업 용설계), 조직수 (조직의 지속 학습문화)과

업 용도가 유의미한 상 계를 보여 을 악하 다. 즉, 개인의 업 용

도를 높이기 한 노력 업 용도에 합한 설계, 조직의 지원이 필요함

을 알 수 있었다.

지방행정연수원(2014)은 업 용도 평가제도 개편을 한 연구를 수행하

는데, 선행연구 기존 업 용도 평가내용을 바탕으로 평가문항을 재설계하

다. 특히 기존의 설문에 의존하던 방법을 넘어, 간주 평정(BARS 행 기

척도)을 도입하여 다면 으로 업 용도를 평가하고자 하 다. 업 용도

조사에 합한 과정을 선별하기 하여, 교육투입의 성(교육시간, 인원, 투

입비용), 업복귀특성(교육이후 련 분야 업복귀, 업복귀 이후 잔여 근무

기간), 교육내용특성(교육의 내용, 교육기획특성, 교육과정 개편 신설), 교육

요도 특성(원차원의 교육과정 요도, 외부기 심도)등의 체크리스트를

활용하 다. 이를 바탕으로 4개 과목에 해 시범평가를 설문을 통해 교육직후

실시하 다. 과목에 따라 사 조사, 반응조사, 사 -사후조사가 필요한 경우로

구분하고, 사 조사는 목표역량 필요도, 목표역량 수 , 반응조사는 교육목

-가치 수 , 교육 업기여도 평가, 목표역량 수 , 목표역량 향상도, 사

후조사는 교육 업기여도 평가, 목표역량 업무 용도, 목표역량 업무성과 기

여도, 업 용 장애요인으로 구분하 다. 각 과정마다 역량목표를 제시하고,

- 62 -

이에 따라 역량수 (사 -사후), 활용가능성을 제시하여 업 용도를 평가하

다.

앙공무원교육원(2014)은 신임 리자과정을 상으로 업 용도를 심으

로 교육성과를 분석하기 한 연구를 수행하 다. 3단계는 업 용의 가치,

업 용 고려 과정개발, 업 용 평가지원 획득여부, 측정가능성을 고려한다.

이러한 기 을 바탕으로 교수자와의 논의를 거친 후, 교과목별 평가단계 분류

를 확정하 으며, 결과 직무역량배양과목에서 6개 과목에 업 용도 평가를

용하기로 하 다. 업 용도평가는 1단계 설문조사, 2단계 우수자 인터뷰

(SCM기법), 3단계 결과분석으로 이루어지며, 평가는 작업환경요인(상사지원,

동료지원, 변화가능성), 이요인( 이성과)을 바탕으로, 이평균, 업 용기

회, 4 이상 이자 비율을 측정하 다. 신뢰도분석은 Cronbach’s 알 계수를

사용하여 확인하 으며, 타당도분석은 요인분석을 실시하 다. SCM은 업

용도 설문자의 상 10%를 면담하 다.

민경석, 최 (2015)는 경찰 학 직무과정 업 용도 평가를 한 연구를

수행하 다. 선행연구 공공기 업 용도 용사례를 조사하 으며, 교육

상자 설문을 통한 측정지표의 타당성을 조사하 다. 본 연구를 바탕으로

업활용도에 요하게 향을 미치는 요인으로는 학습자 특성, 교육내용, 직무

수행환경을 제시하 으며, 업 용도 종속요인으로 학습, 업무 련성, 활용도

등을 도출하 다. 업 용도 측정지표의 내용 타당성을 확보하기 하여

경감 경정 기본교육과정 이수자를 상으로 면담을 거쳤으며, 경감과 경정

기본교육에 한 설문조사(총 415명)를 통해 상 계수를 측정한 결과, 반응-학

습, 학습-행동간의 높은 상 계수를 보여, 각 단계별 순차 연계성을 확인하

다.

- 6

3 -

저자

분야

이론

방법

범주

항목

연구

결과

이용

탁(2

005)

이러

닝선

행연

구

분석

교육

훈련

유

효성

, 기

술측

면의

유

효성

, 학

업성

취도

1.

교육

훈련

측면

의 유

효성

(학습

자만

족,

학습

참여

와 상

호작

용,

피드

백)

2.

e-

Learn

ing 기

술측

면의

유

효성

(교육

과정

설계

와 전

달방

법,

학습

환경

, 인

터페

이스

설계

)3.

학습

자의

학

업성

취도

측

면의

유

효성

(학습

과정

, 학

습목

표,

학습

결과

가 직

무에

미치

는 영

향력

)

평가

지표

도출

진선

미,

전은

정(2

005)

서울

시공

무원

교육

과정

Kir

kp

atr

ick

선행

연구

평가

시기

, 평

가수

준,

평가

영역

, 평

가형

태

1.

평가

시기

– 학

습 전

, 중

, 후

/ 진

단평

가,

형성

평가

, 총

괄평

가2.

평가

수준

– 반

응평

가,

학습

평가

, 현

업적

용도

, 교

육투

자효

과 평

가3.

평가

영역

– 지

식,

스킬

, 태

도/가

치4.

평가

형태

– 시

험,

행동

, 보

고서

형태

평가

도구

홍계

훈,

김익

성(2

008).

2008.

직장

인

교육

프로

그램

kirkpat

rick

선행

연구

및

설문

만족

, 학

습,

수행

, 결

과

만족

(감정

적인

반응

, 유

용성

, 어

려움

)학

습(주

관적

인 학

습)

수행

(전이

동기

, 전

이가

능성

)결

과(결

과에

대한

기대

)

단계

간

상관

성

강명

희,

최형

신,

김민

정,

박미

순(2

009)

농업

정보

화선

행연

구 및

사

례조

사,

설문

교수

-학

습

프로

그램

. 사

전지

식,

교수

자,

교육

환경

및

운영

, 학

습동

기

1.

교수

-학

습프

로그

램(학

습내

용의

관

련성

, 교

수자

료의

실

용성

, 분

량의

적절

성,

학습

내용

의 논

리성

및 계

열성

, 교

육시

간의

적

절성

, 수

업방

법의

적

절성

, 사

전정

보제

공의

충

분성

)2.

사전

지식

(컴퓨

터 활

용능

력,

직무

에서

의 컴

퓨터

활용

능력

)3.

교수

자(강

의전

문성

, 강

의전

달력

, 강

사의

열

정,

강사

의

학생

존중

정도

)4.

교육

환경

및

운

영(교

육시

설의

쾌

적성

및

충

분석

, 교

육장

비의

최

신성

및

충

분성

, 기

술적

인 지

원,

교육

기관

의 평

가도

구

<표 3-5> 교

육훈련 평

가도구

- 6

4 -

서비

스)

5.

학습

동기

(교육

에 대

한 지

각된

가

치,

자기

조절

학습

능력

, 학

습자

의 자

기효

능감

)

전주

성,

김소

영(2

011)

대학

부설

평

생교

육원

Kir

kp

atr

ick

선행

연구

및 설

문반

응,

학습

, 활

용

1.

반응

(강사

, 교

육시

설/환

경,

교육

시간

, 교

육내

용,

교육

지원

서비

스)

- 강

사(열

정적

인 강

의,

준비

, 기

자재

활

용,

참여

유도

, 교

육방

법,

눈높

이에

맞는

교육

)-

교

육내

용(교

육목

표와

의

관련

, 학

습자

관

심사

, 업

무와

의 관

련성

, 난

이도

, 흥

미성

, 직

업능

력 개

발에

도움

)-

교

육시

설/환

경(수

강생

인

원,

강의

실,

주변

교육

환경

, 교

통,

부대

시설

, 교

육용

기자

재)

- 교

육시

간(회

수,

학습

내용

, 교

육기

간,

실습

/이론

배분

)-

교육

지원

서비

스(행

정적

인 절

차,

상담

)2.

학습

3.

활용

-평

가지

표,

위계

적

관계

-강

사와

교

육내

용이

가

장

중요

한

요인

김소

영,

홍성

민(2

012)

중소

기업

직

업훈

련

kirkpat

rick

선행

연구

및

설문

독립

변수

및

종속

변수

(반응

, 학

습,

수행

, 성

과)

1.

독립

변수

훈련

기관

의 훈

련생

자

질과

역

량 고

려,

훈련

기관

의 사

후관

리체

계,

훈련

기관

운영

의 내

실성

, 훈

련내

용의

적절

한 구

성

2.

종속

변수

2.1

. 반

응(상

급자

의 만

족도

, 훈

련참

가자

의 만

족도

, 기

대효

과 충

족정

도,

지속

적인

참여

의사

)2.2

. 학

습(지

식과

기술

학습

의 충

분성

, 기

업이

요구

하는

지식

과 기

술,

학습

정도

, 직

무준

비정

도)

2.3

. 수

행-

업

무수

행내

용(직

무내

용이

해,

직무

숙련

기간

, 지

식기

술활

용,

직무

적응

정도

)-

사회

심리

적 요

소(직

무만

족도

, 직

무몰

입도

, 참

여도

)

독립

변수

의

교육

효과

영

향력

- 6

5 -

2.4

. 성

과(참

여목

적달

성,

조직

채용

성과

, 지

식기

술습

득향

상,

교육

부담

경감

, 조

직성

과향

상)

임업

훈련

원(2

012)

임업

훈련

원

Kirkpa

trcik

, Phill

ips

선행

연구

, 설

문,

전문

가자

문

만족

도,

성취

도,

현업

적용

도,

성과

1.

만족

도-

수업

만족

도 평

가(교

육수

업내

용,

교육

자료

및 매

체,

교수

및

학습

활동

, 강

사 및

학습

촉진

자)

- 과

정만

족도

(교육

과정

내용

, 교

육환

경,

과정

시기

및 시

간)

2.

학업

성취

도(사

전사

후 테

스트

)3.

현업

적용

도-

지

표:

적용

의지

, 적

용도

, 업

무성

과 향

상도

, 문

제해

결능

력의

향상

,-

방법

: 본

인,

상사

및 동

료평

가-

특

징:

공통

및

과

정별

맞

춤형

(학습

목표

진

술,

필수

학습

요소

작성

)-

현

업적

용도

영

향요

인(교

육훈

련

설계

요인

, 조

직환

경특

성요

인)

4.

수준

평가

- 공

통적

결

과평

가,

인식

기반

R

OI평

가,

Data

기반

R

OI

평가

평가

도구

및

매뉴

얼

중앙

공무

원연

수원

(2014)

신임

관리

자과

정K

irkpa

tric

k

선행

연구

, 전

문가

, 설

문,

SC

M

만족

도,

학업

성취

도,

현업

적용

도

1.

만족

도(기

본항

목,

교육

과정

, 교

육환

경,

교육

활동

, 교

과목

및 교

수,

기타

) 2.

학업

성취

도(측

정필

요성

, 측

정가

능성

에 따

라 결

정)

3.

현업

적용

도(현

업적

용의

가

치,

현업

적용

고

려 과

정개

발,

현업

적용

평가

지원

획득

여부

, 측

정가

능성

에 따

라 결

정)

지표

문경

환,

민경

석,

최대

현(2

015)

경찰

교육

Kirkpa

tric

k선

행연

구,

설문

반응

, 학

습,

행동

반응

-학

습,

학습

-행

동사

이의

상관

관계

위계

적

상관

관계

- 6

6 -

이전

, 권

선기

, 임

정기

(2014)

사회

복무

요원

직

무교

육K

irkpa

tric

k선

행연

구,

설문

반응

, 학

습,

행동

, 성

과

1.

반응

(교육

에 대

한 전

반적

만

족도

, 진

행방

식,

학습

환경

, 교

육정

도,

교육

수준

, 도

움정

도)

2.

학습

(가치

나 윤

리,

지식

, 기

술)

3.

행동

(조직

수행

도,

조직

시민

행동

)4.

성과

평가

(직무

만족

, 조

직몰

입,

조직

성과

)

지표

, 상

관성

및

위계

적

회기

분석

경기

평생

교육

진흥

원(2

015)

평생

교육

kirkpat

rick

선행

연구

, 설

문만

족도

, 학

업성

취도

1.

만족

도-

학습

도(교

육내

용 이

해도

, 교

육시

간 충

분도

)-

강사

(강의

내

용의

적

합,

강의

스킬

), 내

용적

절성

(업무

관련

성,

강의

유익

) -

교수

설계

(교과

목 적

합성

, 교

재내

용 활

용성

, 교

육방

법 효

과성

)-

교육

행정

(진행

자 만

족도

), 교

육전

반(교

육전

반 만

족도

)2.

학업

성취

도(지

식,

기술

, 태

도)

지표

민경

석,

최대

현,

문경

환(2

015)

경찰

대학

직무

과정

Kirkpa

tric

k

선행

연구

, 사

례조

사,

면담

, 설

문

반응

, 학

습,

행동

1.

반응

(목표

, 프

로그

램,

교육

방법

, 환

경)

2.

학습

(지식

, 기

능,

태도

)3.

행동

(개인

전이

, 조

직전

이)

지표

, 상

관계

수

이홍

재,

권준

이,

차용

진(2

016)

지방

공무

원

(개인

정보

보호

)K

irkpa

tric

선행

연구

, 설

문반

응,

학습

, 행

동,

결과

1.

만족

도(교

육내

용,

교육

방법

, 교

육강

사,

교육

시간

, 교

육시

설)

2.

학습

(이해

증진

, 새

로운

지

식습

득,

새로

운 학

습내

용,

세부

규정

이해

, 중

요성

인지

)3.

행동

(고지

의무

준수

, 업

무과

정활

용)

4.

결과

(침해

사고

, 유

출사

고,

오남

용사

고,

비용

감소

, 이

미지

개선

)

지표

, 위

계적

상

관관

계

- 6

7 -

저자

분야

방법

범주

항목

연구

결과

경기

복지

재단

(2

011)

경기

복지

재단

설문

, 면

담-

영향

요인

-현

업적

용도

1.

영향

요인

-학

습자

특성

요인

(자기

효능

감,

전이

동기

)-

조직

특성

요인

(상사

/동료

의 지

원)

-교

육프

로그

램 특

성(전

이설

계,

직무

관련

성)

2.

현업

적용

도-

능력

향상

도,

실제

활

용도

, 업

무활

용시

도,

업무

능력

향상

에 대

한

상사

및 동

료평

가,

문제

해결

도움

정도

)

-지

표 및

상관

관계

-교

육프

로그

램

특성

요인

이

상관

관계

가 가

장

높음

권혁

제,

이상

덕,

오현

철,

서휘

석(2

012)

공군

사관

학교

선행

연구

, 설

문

-영

향요

인-

현업

적용

도

1.

영향

요인

-학

습자

(효능

감,

전이

동기

, 교

육만

족도

)-

교육

설계

(직무

관련

, 수

업설

계,

교관

능력

)-

조직

환경

(상사

의 지

원,

동료

의 지

원)

2.현

업적

용도

-현

업활

용도

(학습

파지

도,

업무

관련

도,

업무

활용

기회

도)

-역

량향

상도

(업무

활용

도,

업무

능력

향상

도,

성과

향상

도)

-지

표 및

상관

관계

-교

육설

계가

영향

가

장 높

음

노혜

란,

박선

희(2

012)

보건

복지

선행

연구

, 설

문,면

담현

업적

용도

-학

습파

지도

(과정

에서

학

습한

내

용을

지

속적

으로

기

억하

는

정도

)-

업무

의 관

련도

(과정

내용

과 학

습자

업무

와의

관련

정도

)-

업무

활용

기회

도(과

정에

서

학습

한

내용

을

업무

에

적용

할

기회

가 학

습자

에게

주어

지는

정도

)-

업무

의 활

용도

(과정

에서

학

습한

내

용을

업

무에

활

용하

고 있

는

정도

)-

업무

능력

향상

도(과

정 참

여 후

업무

능력

이 향

상된

정도

)-

성과

향상

도(과

정 참

여 후

조직

의 성

과가

향상

된 정

도)

-지

표 및

평가

-동

료평

가가

참

여자

평가

보다

높

음

농촌

진흥

청(2

012)

농촌

진흥

청선

행연

구

현업

적용

도S

CM

설문

및

만족

도(종

합적

인 만

족도

, 직

무수

행도

움정

도,

교육

운영

만족

도,

강의

기설

및 매

체 만

족도

)현

업적

용도

(업무

활용

도,

능력

향상

도,

성과

향상

도,

평판

향상

도)

지표

<표 3-6>

업용도 평가도구

- 6

8 -

면담

상사

/교육

대상

자 설

문교

육성

과

성과

(농업

기계

교

육시

간 감

소율

, 정

비시

간 감

소율

, 농

업기

계 정

비오

류 감

소율

, 안

전사

고 감

소율

등

의 요

소)

및 비

용항

목(학

습자

비용

,교수

자비

용,교

육프

로그

램 운

영비

)

김정

원,

김동

철(2

013)

강원

도

인재

개발

원선

행연

구,

설문

-영

향요

인-

현업

적용

도

1.

영향

요인

학습

자

내적

특성

(준비

도,

경력

계획

, 성

취욕

구,

전이

동기

, 기

대,

자기

효능

감),

교

육내

용 및

설

계(내

용관

련성

, 교

육훈

련 설

계,

환경

유사

성,

피드

백),

직

무수

행환

경(전

이기

회,

동료

의 지

원,

상사

의 지

원,

조직

의 지

원,

조직

문화

)2.

현업

적용

도

교육

내용

및 설

계,

직무

수행

환경

이

영향

력이

높음

박진

환,

김상

순,

이춘

우(2

014)

중소

기업

진

흥공

단설

문 및

면

담(S

CM

)-

영향

요인

-현

업적

용도

1.

영향

요인

(개인

수준

, 현

업적

용설

계,

조직

의 지

속적

학습

문화

)2.

현업

적용

도(적

용빈

도,

업무

향상

, 결

과인

정,

문제

해결

, 업

무적

용)

지표

및 상

관관

계-

교육

내용

및 조

직

지방

행정

연수

원(2

014)

지방

행정

연수

원

선행

연구

및

사

례조

사,

설문

, S

CM

현업

적용

도

-사

전(목

표역

량 필

요도

, 목

표역

량 현

수준

)-

반응

(교육

목적

-가

치

수준

, 교

육

현업

기여

도

평가

, 목

표역

량

현 수

준,

목표

역량

향상

도)

-사

전-

사후

(교육

현

업기

여도

평

가,

목표

역량

업

무적

용도

, 목

표역

량 업

무성

과 기

여도

, 현

업적

용 장

애요

인)

평가

도구

- 69 -

3.3 시사

국내외 선행연구 문헌조사를 바탕으로 평가도구에 한 다음의 고려사항

을 도출할 할 수 있다.

첫째, 교육훈련 로그램의 효과성 측정을 한 다양한 연구에서 Kirkpatrick

의 모형이 사용되었다. 서울시 공무원 교육과정(진선미, 은정 2005), 앙공무

원연수원( 앙공무원연수원 2014), 지방공무원(이홍재, 권 이, 차용진 2016), 농

업공무원(강명희, 최형신, 김민정, 박미순 2009), 임업공무원(임업훈련원 2012),

경찰교육(문경환, 민경석, 최 2015) 등의 공무원 교육훈련기 을 포함하여,

이러닝(이용탁 2005), 평생교육( 학부설 평생교육원 2011; 경기평생교육진흥

원 2015), 소기업직업훈련(김소 , 홍성민 2012), 직장교육(홍게훈, 김익성

2008), 사회복무요원(이 , 권선기, 임정기 2014) 등 공공기 , 군, 사회복무요

원, 평생교육 등 범 한 조직의 교육훈련평가에 활용되고 있다.

둘째, Kirkpatrick 모형의 1단계 반응, 2단계 학습, 3단계 행동, 4단계 성과

사이의 지표 간의 상 성 계 상 계가 다수의 연구에서 입증되었다

( 주성, 김소 2011; 김소 , 홍성민 2012; 문경환, 민경석, 최 2015; 이

, 권선기, 임정기 2014; 이홍재, 권 이, 차용진 2016). 즉, 교육생 만족도는

학업성취도에 향을 주며, 학업성취도는 업 용도에, 업 용도는 성과에

향을 주는 요인임을 확인하 다. 조직에서 업 용도 성과를 향상시키

는 것이 교육 로그램의 주요한 목 임을 감안할 때, 교육훈련생의 만족도

학업에 한 효과성이 뒷받침되어야 하며 평가는 1단계 평가가 필수로 실시되

어야 함을 확인할 수 있다.

셋째, 상 단계의 평가는 평가를 수행하기 한 비용 시간이 요구되고,

측정 역시 용이하지 않기 때문에, 과정에 한 평가단계를 결정하는 의사결정

역시 요하다. 1단계 만족도 평가는 모든 과정에 범 하게 사용될 수 있으

나, 2,3,4단계의 경우, 측정가능성 측정필요성 등을 고려하여 평가단계를 결

정해야 하며(경기복지재단 2011; 임업훈련원 2012; 앙공무원연수원 2014),

평가시기, 평가 역, 평가형태, 평가주체의 한 선택이 요하다.

- 70 -

항목 비고

지표

강사 강의전문성, 강의전달력, 강사의 열정, 강사의 학생존중정도, 참여유도, 교육방법의 적절성, 기자재활용

교육시설/환경

수강생 인원의 적절성, 교육시설의 쾌적성 및 충분성, 주변교육환경의 쾌적성, 교통의 편리성, 교육장비의 최신성 및 충분성, 교육기관의 서비스(상담 및 행정적인 절차)의 적절성

교육시간 회수, 교육기간의 적절성, 실습/이론 배분

넷째, 업 용도와 유의미한 상 계가 있는 향요인으로는 교육내용

설계요인(교육훈련의 직무 련성, 교육훈련 이설계, 교 능력), 조직환경 특

성요인(상사의 지원, 동료의 지원, 조직지원, 조직문화, 변화가능성), 학습자 개

인요인(자기효능감, 이동기, 교육만족도, 비도, 기 , 성취욕구, 경력계획)

이 있다. 한 이 에서 교육내용 설계요인이 미치는 향이 가장 높은

것으로 나타났으며, 그 다음이 조직환경 특성요인이며, 학습자 개인요인이 가

장 은 향을 미치는 것으로 나타났다. 즉, 업 용도를 향상시키기 해서

는 직무에 한, 직무에 용 가능한 교육과정의 설계가 선결되어야 함을

알 수 있다.

넷째, 유효한 평가도구 지표를 도출하기 해서는 사례조사, 문가

교육훈련생의 참여가 요하다. 많은 연구에서 문가 자문 교육훈련생 면

담 설문을 통한 지표도출 타당성, 신뢰성 평가(노혜란, 박선희 2012; 임

업훈련원 2012; 민경석, 최 , 문경환 2015) 가 이루어졌다.

이러한 시사 을 통한 각 단계별 평가도구에 한 요약은 다음과 같다.

1단계(반응)평가

1단계(반응)평가는 만족도 평가로 강사, 교육시설/환경, 교육시간, 교육내용

설계, 반 만족도를 바탕으로 평가하며, 여러 선행연구에서 업 용도

에 가장 큰 향을 주는 요소가 교육내용 설계로 나타났으므로 이에 한

만족도 평가가 요하다. 교육과정의 교육참가자를 상으로 설문을 통해 교

육직후에 실시되는 것이 바람직하다.

<표 3-7> 1단계 평가방안

- 71 -

교육내용 및 설계

교과목 적합성, 교육목표와 내용과의 관련성, 수업설계의 적절성, 업무와의 관련성, 교육수준의 적절성(난이도), 흥미성, 교육내용의 유용성(직업능력 개발에 도움), 지속적인 참여의사, 기대효과 충족정도

전반적 만족도 교육프로그램의 전반적 만족도

방법 설문

시기 교육직후

과정 모든 과정

평가대상 교육참가자

항목 비고

지표

지식 교육내용습득의 충분성, 새로운 전문지식 및 정보습득

기술(기능) 기술 학습의 충분성, 새로운 기술습득여부, 직무전문성향상

가치/윤리 중요성 인지, 업무에 대한 적극성, 조직인으로 자긍심 향상

2단계(학습)평가

학습평가는 교육충분도를 평가하며, 측정가능성 측정필요성을 바탕으로

평가여부를 결정한다. 평가항목은 지식, 기술, 가치/윤리 등을 평가한다. 평가

방법은 주 인 학업성취도, 필기평가, 보고서 발표 등을 활용할 수 있으

며, 필기평가의 경우, 선다형, 단답형, 서술형, 문제해결형의 문제를 제출할 수

있다. 평가 상은 개인, , 분임평가가 이루어질 수 있으며 평가시기는 사 -

사후 사후평가가 가능하다. 사 -사후평가를 할 경우는 동형 는 동일문

항을 활용하여 사 /사후 간의 향상된 수로 학업성취도를 평가하며, 사후는

교육과정의 주 효과성을 평가한다.

학습평가 도구설계 시, 학습목표 필수학습요소를 도출하고, 학습목표

학습요소에 따른 학습 성취도 측정방식을 선택한다. 동형문항형식을 활용할

경우, 문항의 난이도 문항수, 검사내용이 유사하며, 검사의 평균 표 편

차가 동일한 형태를 유지하는 것이 요하다.


- 72 -

대상 교육참가자

개인

팀(팀단위 발표/토의, 창의성, 실용성 등을 평가)

분임평가(그룹단위로 연구결과 발표/토의 참여, 실용성, 창의성 등을 바탕으로 평가)

시기 사전-사후 또는 사후 사전-사후의 학업성취도 향상도 평가

평가결정고려사항

평가필요성 교육참여자들의 학업성취도 측정필요성

평가가능성 교육참여자들의 학업성취도를 필기, 실기, 보고서, 발표 등의 방법으로 측정가능성

방법

필기평가선다형, 단답형, 서술형, 문제해결형

동형 또는 동일문제활용

실기평가 담당교수가 실습을 통한 평가

보고서

발표

설문지 주관적인 학습충분도

평가주체담당교수 필기평가, 보고서, 발표

교육수행기관 설문

3단계 행동평가

3단계는 행동평가는 업 용도를 평가하는 단계이다. 3단계 평가는 평가를

수행하기 한 비용 시간이 요구되기 때문에 모든 과정에 용할 필요는

없으며, 교육투입의 성, 업 용의 가치, 업 용 고려 과정개발, 업

용 평가지원 획득여부, 측정가능성을 고려하여 결정한다. 선행연구에 따르면,

교육생 수의 확보, 로그램의 지속성, 기 의 교육과정의 요도 외부

심도, 사례 심의 심화과정 등을 고려할 것을 제시하고 있다. 효과 인 업

용도 평가를 해서는 용과정의 학습목표 필수학습요소 등을 명확히 하

고 이를 바탕으로 평가여부 결정 달성여부를 평가하는 것이 요하다.

평가지표는 개인 이과 조직 이를 바탕으로 평가할 수 있으며, 개인 이는

학습 지도, 업무능력향상도, 업무활용도, 평 향상도, 업무 련도, 업무활용기

회도, 문제해결 도움정도를 바탕으로 측정하며, 조직 이는 교육내용의 요성

에 한 인식향상도, 교육내용의 직무 용에 한 심도, 성과향상도를 바탕

으로 평가한다. 평가방법은 설문 면담을 바탕으로 하며, 설문은 업 용도

- 73 -

항목 비고

지표

개인전이도

학습파지도 과정에서 학습한 내용을 지속적으로 기억하는 정도

업 무 능 력 향 상도 과정 참여 후 업무 능력이 향상된 정도

업무활용도 과정에서 학습한 내용을 업무에 활용하고 있는 정도

평판향상도동료/상사의 긍정적 평가동료의 평가의 가중치 적용가능(예:가중치 50% + 50%)

업무관련도 과정내용과 학습자 업무와의 관련정도

업무활용기회도

과정에서 학습한 내용을 업무에 적용할 기회가 학습자에게 주어지는 정도

문제해결도움정도

과정에서 학습한 내용이 업무의 문제해결에 도움이 되는 정도

조직전이도

교육내용의 중요성 인식도

교육훈련내용의 직무에서의 중요성에 대한 인식도

교육내용의 직무적용에 대한 관심

교육내용의 직무적용에 대한 관심정도

성과향상도 과정 참여 후 조직의 성과가 향상된 정도

방법설문

면담 SCM(고성과자, 교육참가자의 10%)

시기교육직후 인식조사

3개월-6개월 후 교육종료 후 3개월 후 고려

평가결정고려사항

교육투입의 적절성

투자된 비용, 교육생 수, 프로그램의 지속성-개설빈도 및 교육시간

현업적용의 가치

학습내용이 현업 적용될 가치가 있는지 여부(기관의 교육과정의 중요도 및 외부 관심도, 사례중심의 심화과정)

현업적용 고려 과정개발

현업적용이 가능하도록 과정이 설계되어 있는지 여부교육내용의 특성을 고려하여 평가

평가 상 교육과정에 참여한 교육 상자 는 상사나 동료를 상으로 이루

어지며, 설문에 참여한 교육 상자의 상 10-15%에 해당하는 고성과자를

상으로 면담을 실시하는 SCM(Success Case Method)를 병행하기도 한다. 시

기는 교육직후 는 교육종료 후 3개월에서 6개월 내에서 실시하는 것이 보편

이나, 사후평가기간이 6개월 이상이 될 경우, 교육내용을 기억하기가 어려워

실제 평가를 측정하기가 어렵다.


- 74 -

현업적용 평가지원 획득여부

현업적용도 평가에 필요한 인적/물질적 자원을 제공받을 수 있는지 여부

측정가능성 현업적용도 평가방법으로 측정가능한지 여부

대상교육대상자

상사/동료 업무활용도, 업무능력향상도, 성과향상도

4단계 성과평가

실제 4단계 평가를 용하는 사례가 많지 않고, 4단계 성과평가를 측정하는

것 역시 용이하지 않다. 4단계 평가여부 결정하는 것은 략목표의 달성과

련성, 투자성, 경 성과 기여도 ROI 측정가능성을 바탕으로 결정할 수 있

다. 4단계 평가는 성과인식도 조사, 인식기반 ROI평가, 데이터기반 ROI 평가

로 구분되는데, 성과인식도 조사는 직무만족도, 조직몰입도, 조직성과에 한

평가를 설문을 통해 조사하는 방식이다. 인식기반 ROI 평가는 조직몰입도, 조

직성과, 직무만족도 등의 가치를 으로 환산하는 단계를 거친다. 특히 조

직성과에서 품질개선에 의한 비용 감, 시간 감의 가치, 오류 감의 가치 등

을 으로 환산한다. 데이터 기반 ROI 평가는 체 투입된 비용 비 순

과정 이익을 도출하는 방식으로 평가한다.

실제 교육 로그램 효과성 평가상의 인식기반 ROI평가나 데이터 기반 ROI

를 평가하는 것을 쉽지 않은데, 를 들어 업무만족도 증가, 조직기여도 증가,

고객의 불평불만 감소, 고객만족도 개선, 워크 향상 등 무형 가치를

가치로 환하기 어렵기 때문이다. 이러한 이유로 부분의 4단계 평가를

하는 교육훈련기 에서 성과인식도 기반의 설문을 활용하여, 사 -사후평가를

통해 교육내용의 성과개선에 한 기 를 바탕으로 평가하며, ROI평가는

Phillips에 5단계에 해당하는 방법론으로 제시되고 있다.

- 75 -

항목 비고

지표

성과인식도조사

직무만족도

조직몰입

조직성과 고객만족, 불평불만 감소, 생산성, 판매량, 품질, 가격, 완료시간 등의 개선여부

인식기반 ROI

비용 대비 성과

- 비용(학습자비용, 교수자비용, 운영비, 관리시설비)

- 성과(품질개선에 의한 비용절감, 시간절감의 가치, 오류절감의 가치, 불만감소의 가치 등)

데이터 기반 ROI

비용 대비 성과

- 비용(학습자비용, 교수자비용, 운영비, 관리시설비)

- 성과(시간감소율, 오류감소율, 사고 감소율, 교육시간 감소율 등)

방법 설문

대상 교육참가자

시기사전-사후 성과인식도

사후 교육과정 직후 또는 종료 후 3,6~12개월 후

평가여부 결정

전략목표의 달성과 관련성

교육과정의 사서교육훈련의 전략목표달성과의 관련성

투자성 투자비용 및 시간

경엉성과 기여도 및 ROI 측정가능성

경영성과 기여도 및 ROI측정가능성



제4장 교육훈련기관 평가사례 분석

4.1 국내사례

4.2 국외사례

4.3 국외도서

4.4 벤치마킹 기 면담

- 79 -

시기

평가단계 및 도구

연수 시작 전

(연수 첫날)

연수 중

(연수 2-3일차)

연수 후

(3-4개월)

연수 후

(6-12개월)

1단계(만족도)

설문조사 X 설문조사(연수종료직후)

X X

2단계(학업성취도)

객관식평가주관식평가

X연수평가

(과정운영계획에 의거)

X X

3단계(현업적용도)

사전/사후설문조사

사전 설문조사(과정구체문항,

오프라인)X

사후설문조사(과정공통 및 과정구체문항,

온라인)

X

실천계획서 수립 및 자기평가

X실천계획서 작성・제출

실천계획서자기평가서 수집

X

4단계(성과향상도)

핵심집단면담 X X X

성과향상도 설문조사 및

SCM

제4장 교육훈련기 평가사례 분석

4.1 국내사례

4.1.1 앙교육연수원

앙교육연수원은 교육부 일반직 공무원과 16개 시도교육청 교육 문직,

학교경 자(교장, 교감), 학부모 등을 상으로 교육 로그램을 제공하는 기

이다. 앙교육연수원에서는 연수원에서 이루어지는 교육훈련에 한 체계

인 평가를 계획, 실시하고 있다. 앙교육연수원의 교육훈련 평가 목 은 첫

째, 연수과정의 효과 측정 환류 시스템 마련을 통해 교육 로그램의 장

합성 연수원 성과창출 기여도를 제고하기 해서이다. 둘째, 교육훈련의

업 용 직무능력 향상 기여 정도를 체계 으로 조사・분석하여 교육성

과를 확인하고 과정 개선에 활용하기 해서이다.

<표 4-1> 앙교육연수원 교육 로그램 평가체계

- 80 -

평가단계 평가내용 평가방법

1단계(만족도 평가)

∙ 교육과정평가- 교육과정 목표 및 효과- 교육과정 설계 및 운영∙ 강사 평가- 교육내용의 효과성- 강의기술- 강의 전문성- 강의 태도

∙ 만족도 설문조사 (연수과정 종료 시)

2단계(학업성취도평가)

∙ 학업성적- 학습평가- 학습보고서 평가- 과제연구평가- 연구논문평가∙ 학습활동- 분임활동평가, 실기・실습평가∙ 연수생활- 연수태도, 연수공헌도

∙ 과정별 특성을 반영하여 평가분야별로 배점을 조정・시행

※(수료기준) 교육과정 총 시수의 8할 이상을 수강하고, 평가종합득점이 만점의 60% 이상인 경우

3단계(현업적용도평가)

∙ 구체적인 학습목표 또는 수행목표에 대한 현장적용 내용∙ 과정별 구체문항(사전/사후)

- 수행목표 활용정도에 관한 문항

∙ 질문지법- 현업적용도 사전・사후 설문조사- 온라인 설문, 5점 리커르트 척도∙ 실천계획서 평가법(Action Plan)

이러한 평가목 을 이루기 한 앙교육연수원의 교육 로그램 평가는

Kirkpatrick의 4단계 평가 모형을 용하여 <표 4-1>과 같이 만족도 평가(1단

계), 학업성취도 평가(2단계), 업 용도 평가(3단계), 성과향상도 평가(4단계)

를 실시하고 있으며, 연수기간 상, 직무의 업 용성 등 과정 특성에

따라 합한 평가단계를 용하고 있다. 앙교육연수원의 평가는 집합교육에

해서 이루어지며 2016년에는 집합교육 과정인 59개 과정에서 평가가 이

루어졌다( 앙교육연수원, 2016).

59개 교육과정 1단계 평가는 59개 과정 체에, 2단계 평가는 교육기간

이 2주 이상인 6개 과정과 자기평가를 실시하는 정보화 6개 과정에서 이루어

졌다. 3단계 평가는 교육 로그램을 통해 습득한 주요 지식 기술의 업

용성이 높고 교육 효과성이 있는 6개 과정에서 이루어졌으며, 4단계 평가는

3단계 평가 상인 6개 과정을 상으로 이루어졌다. 각 단계별 구체 인 평

가 내용과 평가 방법은 <표 4-2>와 같다.

<표 4-2> 앙교육연수원 평가단계별 내용 방법

- 81 -

(10개) - 실천계획 수립 및 실천 여부 자기평가

- 온라인설문, 5점 리커르트 척도

4단계(성과향상도평가)

∙ 역량향상도- 직무수행의 변화 내용- 업무관련 역량 향상 정도∙ 업무기여도- 연수 후, 성과달성 기여 정도∙ 신뢰도- 답변에 대한 신뢰도∙ 교육훈련 적응방법, 궁극적인 성과,

성과창출 유발요인 및 저해요인, 교육훈련 전이 상황 및 방법, 전이영향요인 등

∙ 사후 설문조사- 과정 및 대상자 특성 고려∙ SCM(Success Case Method)

평가단계 및

평가도구구분 내용

1단계

(만족도 평가)

-연수만족도

교육과정평가

교육환경

․ 기자재 및 학습도구․ 식당․ 부대시설․ 직원친절도․ 기숙사편의

교육과정목표 및 효과

․ 전반적인 만족도․ 업무수행에 도움․ 과정유지필요

교육과정설계및운영

․ 교과목의 체계적 구성․ 교육내용과 교육목표의 일치․ 교육방법의 효과․ 과정 운영자의 진행

기타(해당되는

경우)

․ 분임활동․ 현장연수․ 사이버교육내용

강사평가

․ 교육내용의 효과성․ 강의기술․ 강의전문성․ 강의태도

개방형질문․ 본 교육 중 느낀 점 기술․ 본 과정에 개설 희망하는 교과목, 강사 건의․ 본 원에 신설 희망하는 교육과정 건의

2단계

(학업성취도평가)

- 지필고사

학업성

학습평가․ 중간평가(주관식 논술형)․ 종합평가(객관식 4지 선다형)

학습보고서

앙교육연수원에서 4단계에 걸쳐 이루어진 평가에 사용하는 평가도구들의

평가내용을 정리하면 <표 4-3>과 같다.

<표 4-3> 앙교육연수원 평가단계별 평가도구 주요 내용

- 82 -

적평가

평가

과제연구평가

연구논문평가

학습활동

분임활동평가 ․ 분임활동 참여내용 및 태도

실기・실습평가

연수생활

연수태도 ․ 근태평가

연수공헌도 ․

3단계

(현업적용도평가)

-사전/사후설문

조사

공통문항

․ 과정 참여도․ 과정 이해도․ 적용 자신감․ 적용 노력도․ 업무 관련성․ 업무 도움도

․ 적용 기회․ 조직 지원․ 직무 수행능력 향상도․ 직무 성과 향상도․ 주변 평판 향상도․ 장애요인 및 촉진요인

특화문항․ 과정 이해도․ 학습목표 또는 수행목표에 기반한 특화문항

4단계

(성과향상도평가)

-반구조화된

면접조사

적용방법, 시기, 환경

․ 교육훈련을 통해 학습한 것을 언제, 어떠한 상황에서 적용하였는가?․ 교육훈련을 통해 학습한 것을 구체적으로 어떻게 적용하였는가?

적용의 성과

․ 교육훈련이 도움이 되어 얻은 가치있는 결과는 무엇인가?․ 이 결과가 왜 중요한가?․ 학교의 어떤 경영목표에 기여했는가?

개인특성 요인

․ 왜 그리고 어떻게 교육훈련에 참가하게 됐는가?․ 개인의 레퍼토리나 환경에서 교육에서 배운 내용을 현업의 직무에 적용하는 데 도움이 되었던 것은 무엇인가?

교육설계 요인

․ 교육내용은 현장에서 적용할 수 있는 내용으로 구성되어 있는가?․ 교육 프로그램의 내용과 현재 직무와의 관련정도는 어느 정도인가?․ 강사의 교육 내용 및 현장에 대한 전문성은 어떠했는가?

조직특성 요인

․ 상사(교장, 교감, 부장교사)는 해당 교육 프로그램에 참가하는 것에 대해 어떻게 생각하는가?․ 상사(또는 동료교사)의 지원이 현업 적용에 어떻게 도움이 되었는가?․ 인센티브, 보상 등 성공에 기여한 특별한 제도가 있었는가?․ 교육에서 배운 것을 업무에 적용해 볼 기회나 상황이 많았는가?․ 학교는 교육에서 배운 것을 업무에 적용하는데 필요한 도구, 장비 등을 사용하는데 용이한가?

기타․ 교육에서 배운 내용을 직무에 적용하는데 원동력

이 되는 우선순위 및 다른 참고할 수 있는 환경은 무엇인가?

※ 4단계 평가에 사용된 면 조사 질문은 특정 교육과정에서 사용된 사례임.

- 83 -

평가단계 주요 내용

1단계(교육과정별

평가단계의 구분)

∙ Kirkpatrick의 4단계 평가모형 기반∙ 교육과정별 평가단계 구분기준을 바탕으로 교육과정 평가단계 결정


과정유형 구분)

∙ 교육과정의 특성에 따른 유형 구분∙ 필수여부 - 의무, 선택∙ 교육기간 - 단기, 중장기∙ 교육대상자 - 신규, 재직자3단계

(교육과정유형별 맞춤형 평가도구

적용)

∙ 유형에 따라 1단계(반응) 및 3단계(협업적용도) 평가의 평가자료 수집 내용과 방법을 추가 설계


평가결과의 축척)

∙ 과정별 평가를 통해 수집된 자료를 바탕으로 교육과정 운영계획 등에 피드백 제공∙ 교육과정의 개선과 효과성을 확인할 수 있도록 지원

앙교육연수원은 최근 두되고 있는 성공사례기법(SCM: Success Case

Method)을 활용한 업 용도 평가를 도입하여 교육 로그램을 평가하는 등

평가의 선진화를 도모하고 있다는 에서 의의를 갖는다.

4.1.2 국가공무원인재재발원

국가공무원인재개발원은 변화와 신을 선도하는 공무원 양성이라는 비 하

에 국가공무원 교육훈련 실시, 각 공무원 교육훈련기 지원· 력, 교과·교

재 교육기법의 연구·개발·보 , 외국공무원 교육훈련 국제 력을 실시하

고 있다. 국가공무원인재개발원에서는 본원에서 이루어지는 교육훈련에 한

체계 인 평가를 계획, 실시하고 있다. 국가공무원인재개발원의 교육훈련 평가

목 은 교육 로그램의 개선, 교육 로그램의 목표 달성 정도의 확인, 교육

로그램의 효과성 단이다.

이러한 평가목 달성을 해 교육과정 유형별 맞춤형 평가, 평가 지표의

다양화 Big Data 축 리를 실시하여 평가기능의 문화를 확보하기

해 노력하고 있다. <표 4-4>는 이러한 내용이 포함된 국가공무원인재개발

원의 교육평가체계 단계이다(국가공무원인재개발원, 2016).

<표 4-4> 국가공무원인재개발원 교육평가체계

- 84 -

단계1단계

(만족도평가)

2단계

(학업성취도 평가)

3단계

(현업적용도 평가)

평가시기 교육직후 교육종료시

전 : 교육신청시

중 : 교육종료시

후 : 교육 2-3개월 후

평가내용

∙ 교육생 만족도

- 교육내용・운영・환경,

강사평가 등)

∙ 강사 만족도(교육생

태도・참여도, 교육

운영자, 환경 등)

∙ 지식・스킬의 학습 정도

∙ 학습내용을 통한 인식

의 변화 정도

∙ 학습내용을 실제 현업에

적용・활용하는 정도

평가방법 ∙ 설문, 관찰 ∙ 지필고사, 보고서 등∙ 사전・사후테스트, 설문,

SCM 및 FGI 등

평가대상교과

∙ 전 교육과정의 교과목

(집합교육 83개 과정)

∙ 7개 과정(고위정책과정,

5급 신임자, 5급 승진

자, 7급 신규자, 7・9급

지역인재, 장애인경채)

∙ 기본교육 일부 교과목 및

전문・글로벌 과정

- 기본 교육 : 5개 과정 5개

교과목(역량이론 실습, 정

책기획 등)

- 전문교육 : 6개 과정(인사

혁신, 강의스킨향상 등)

- 글로벌교육 : 3개 과정(국

제업무기본, 국제회의 준비

등)

국가공무원인재개발원에서는 <표 4-4>에 제시된 교육평가체계에 따라 과정에

한 평가를 설계 실시하고 있으며, 2016년 재 <표 4-5>와 같이 Kirkpatrick

의 4단계 평가 1, 2, 3단계 평가를 실시하고 있다. 단계별 구체 인 내용은

다음과 같다.

<표 4-5> 국가공무원인재개발원 교육평가

첫째, 만족도 평가(1단계)는 교육생의 교육과정 만족도 평가와 강사의 교육

운 만족도 평가의 체계로 이루어지며, 주요 내용은 <표 4-6>과 같다.

- 85 -

구분 교육생의 교육과정 만족도 평가 강사의 교육운영 만족도 평가

목적

∙교육 내용・강사・방법・환경 등에

대한 교육생 반응을 통해 교육운영

개선에 반영

∙교육운영 및 교육생 수강 태도 등에 대

한 평가로 교육운영 개선에 반영

대상 ∙전 교육과정의 교육생 ∙국가인재원 출강 외부강사

내용

∙교육과정 : 교육효과, 교과편성, 교육

운영

∙교과환경 : 강의실, 식장, 직원친절

도, 기숙사 등

∙교과목 : 업무능력향상

∙강사 : 전문성, 기술, 태도

∙교육운영 : 사전 교육 안내, 담당자 태

도, 시설환경, 교육기자재, 강사수당 등

∙교육생 : 수강태도, 질문여부 등

∙기본사항 : 강의시간, 인적 사항, 건의

사항 등

방법∙설문조사 : OMR, 수기 설문지, 온라인

평가시스템 등을 활용∙온라인 평가시스템을 활용한 설문조사

시기

∙과정 종료후

∙장기교육과정의 경우 매주 교과목 및

강사평가 실시

∙분기별 1회

구분 내용

목적∙학습목표(지식, 기술, 태도) 달성 정도를 확인하기 위해 교육 내용의 이해, 지식,

기술 습득 정도를 평가

대상 ∙기본교육과정 내 기초직무 관련 교과목 및 교육모듈

내용

∙학습평가(논술식・객관식 평가)

-(5급 신임) 헌법・법제・예산 등, (6급 이하) 인사・법제・행정법・회계실무 등

∙활동평가(개인・분임별 과제수행 평가)

-(고위정책) 정책연구, (5급 승진) 정책기획보고서, (5급 신임)정책기획, 유형별

보고서, 정책사례 연구 등, (6급 이하)공직가치 사례연구, 법제과정, 보도자료

작성 등

방법 ∙지필고사 및 보고서 평가

시기 ∙교육과정 운영 중

<표 4-6> 국가공무원인재개발원 만족도평가(1단계) 특성

둘째, 학업성취도 평가(2단계)는 교육생을 상으로 학습목표 달성 정도를

확인하기 해 이루어진다. 구체 인 내용은 <표 4-7>과 같다.

<표 4-7> 국가공무원인재개발원 학업성취도평가(2단계) 특성

셋째, 업 용도 평가(3단계)는 학습한 교육 내용을 업에 얼마나 용・활용하는지에 한 평가로 구체 인 내용은 <표 4-8>과 같다.

- 86 -

구분 내용

목적∙학습한 교육내용을 현업에 얼마나 적용・활용하는지에 대한 평가로 교육성과

분석 및 과정 개선방안 마련

대상

∙기본교육: 5개 과정 5개 교과목

∙전문교육: 6개 과정

∙글로벌교육 : 3개 과정

시기 교육신청시(전) 교육종료시(중) 교육종료 2-3개월 후(후)

내용

전문역량

학습준비도

(학습목표이해,

사전과제이행 등)

학습향상정도 학습 파지도

과정내용

교육내용의 업무연관

기대정도

사전 업무연관 기대

부합정도

실제 업무연관성 및

활용도

현업적용

역량향상 기대정도,

현업적용 유용성

현업적용 예상 수준,

성과향상 기대감

실제 현업적용 수준,

성과향상 기여도

기타

교육생 현황파악, 과정

요구사항, 교육신청

동기

과정설계, 현업적용시

예상 장애요인실제 현업적용 장애요인

단계별추진사항

∙평가계획수립・사전평가

실시

-교육생에 평가공지(일정, 방법 등) 및 사전평가 실시

∙평가문항개발

-필수학습요소 도출에 따른 교과목과정별 구체문항 개발

∙설문조사・결과분석・보고

-온라인 설문・결과분석, 과정개선방안 마련

구분 내용

목적 ∙현업적용 성공・실패 요인분석 및 성공사례 전파

대상 ∙전이성과 우수자 선정(교육과정별 수료자 10%내외)

내용∙현업적용 내용 및 방법, 현업적용 성공사례 및 성과, 현업적용 장애요인 및 개선

사항 등

방법 ∙질문지를 토대로 대면・유선 인터뷰 진행

시기 ∙각 과정별 온라인 설문조사 시행 후 수시진행

<표 4-8> 국가공무원인재개발원 업 용도 평가(3단계) 특성

업 용도 평가에서는 심층 분석을 해 SCM 포커스 그룹 인터뷰(FGI)

를 실시하며 구체 인 내용은 <표 4-9>와 같다.

<표 4-9> 국가공무원인재개발원 업 용도 평가를 한 SCM FGI

- 87 -

단계1단계

(학습자 만족도평가)

2단계

(학습 성취도 평가)

3단계

(현업적용도 평가)

평가시기 교육직후

전 : 교육2-4주전

중 : 교육중

후 : 교육직후

전 : 교육2-4주전

후 : 교육 2-3개월

평가내용

∙교육만족도

∙도움이 된 내용

∙강사, 학습환경

∙지식이나 스킬을 어느 정

도 학습하였는가?

∙지식이나 스킬을 현업에

∙배운 지식이나 스킬을 현업에

실제 얼마나 활용하고 있나?

국가공무원인재개발원은 교육과정 유형별 맞춤형 평가 등을 한 평가기능

문화를 한 교육평가체계를 갖고 있다는 에서 의의를 갖는다. 한 만족

도 평가 단계에서 평가주체를 다양화하여 해당 교육에 해 다면 으로 평가

할 수 있도록 한 것도 시사 을 제공한다.

4.1.3 서울시인재개발원

서울시인재개발원은 서울시 본청 사업소, 자치구, 공사 출연기 을

상으로 교육을 담하는 기 이다. 서울시인재개발원에서는 새내기 공무원에게

는 공직 응 실무능력을 배양하도록 돕고, 재직 공무원들에게는 직 별 업

무분야별 체계 인 역량개발을 하도록 지원하며, 공직생활을 마무리하는 퇴직

비 공무원에게는 제2의 인생을 설계하도록 맞춤형 로그램을 제공하고 있

다. 한 이러한 교육과정의 내실을 기하기 해 교육과정에 한 체계 인 평

가를 수행하고 있다. 서울시인재개발원의 교육평가체계는 <표 4-10>과 같으

며, 2016년 기 3단계인 업 용도 평가가 이루어진 과정은 10개(직 별 리

더십: 과장리더십, 장리더십, 견실무리더십, 실무리더십/ 직 별 리더

십: 9 신임리더, 5 승진리더, 6 실무 문가양성/ 직무공통: 상생과 력을

한 갈등 리/ 직무 문: 도시재생실무, 기실무)이다. 단계별 구체 인 내용은

다음과 같다(서울특별시인재개발원, 2016a; 서울특별시인재개발원2016b).

<표 4-10> 서울시인재개발원 교육평가체계

- 88 -

적용하는 방법을 얼마나

습득하였는가?

프로세스

단계 교육전 조사 교육후조사 현업적용도조사

조사 및 분석방법

∙온라인 설문

∙정량적 분석

∙온라인 설문

∙정량적 분석

∙온라인 설문

∙포커스 그룹 인터뷰(FGI)

활용 성공사례 심층인터뷰

∙정량적 분석 및 정성적 분석

조사내용

∙교육생 개인특성, 학습

동기 및 기대사항, 학

습준비도 등

∙교육내용, 방법, 강사,

강의환경 등 교육 전반

에 대한 만족도

∙사전조사 내용과 대비하

여 지식, 기술 등 학업

성취도 조사

∙현업적용도 수준을 계량화하

는 설문조사(교육수료 후 3개

월 경과시)

∙주요 학습내용의 현업적용도,

현업적용시 유용도・업무개선

도 조사

결과활용

∙교육과정 개선 및 교

육효과 측정의 기준점

으로 활용

∙교육목표 미달 원인 파

악 및 프로그램 개선을

위한 근거자료로 활용

∙현업적용도 수준 확인으로 교

육과정의 문제점・개선사항 도

출

서울시인재개발원의 교육평가는 <표 4-10>에 제시된 것처럼 교육 과 후에

조사하며, 이를 평가시기에 따라 정리하면 <표 4-11>과 같다.

<표 4-11> 서울시인재개발원 평가 차

평가시기별로 정리된 <표 4-11>의 내용을 Kirkpatrick의 4단계에 따라 정리

하면 다음과 같다. 첫째, 교육직후 이루어지는 학습자 만족도평가는 설문조사

형태로 이루어지며 <표 4-12>와 같다.

- 89 -

조사영역 문항수 설문 문항

개인특성 7 ∙성별, 나이, 최종학력, 소속기관, 직급, 직렬, 재직기간

교육만족도

교육내용만족도 5

∙학습목표가 분명하게 제시되었다.

∙교육내용은 학습목표 달성을 위해 유용한 내용이다.

∙업무에서 필요로 하는 내용이 반영되어 있다.

∙교육내용의 난이도는 적절하였다.

∙강의시간 배분 및 교육기간이 적절하였다.

교수방법만족도 3

∙내용을 이해하는데 적절한 교수법이 활용되었다.

∙다양한 정보와 현장자료가 활용되었다.

∙교재가 교육내용에 적합하도록 구성되었다.

강사만족도 5

∙수업 준비를 충실하게 했다.

∙열의를 가지고 강의에 임하였다.

∙교육내용을 명료하고 이해하기 쉽게 전달했다.

∙강의진행 속도는 적절하였다.

∙학습자들의 적극적인 참여를 유도했다.

강의환경만족도 5

∙강의실의 규모와 구조는 적절하였다.

∙수강 인원은 적정하였다.

∙마이크, 빔프로젝터, 실습장비 등 기자재는 준비가 잘 되

었다.

∙소음, 조명, 난방, 청소상태 등 강의환경은 만족스러웠다.

∙구내식당 환경 및 급식의 질은 만족스러웠다.

학습효과인식도 5

∙나는 학습목표를 충분히 달성하였다.

∙나는 배워야 할 내용을 충분히 습득하였다.

∙학습한 내용이 나의 업무수행에 도움이 될 것이라 생각한

다.

∙본 과정을 다른 동료들에게도 적극 추천하고 싶다.

∙전반적으로 본 교육과정에 만족한다.

<표 4-12> 서울시인재개발원 학습자만족도평가(1단계) 도구

둘째, 학업성취도 평가(2단계)에서는 지식・기술 학업성취수 을 평가하기

해 개별 교육과정별 학습목표를 고려하여 도출하며 략 5-6개 정도의 문항

으로 구성되며, 교육 2-4주 과 교육직후에 조사하여 차이를 분석한다.

셋째, 업 용도 평가(3단계)는 배운 지식이나 스킬을 업에 실제 얼마나

활용하고 있는지 평가하기 한 것으로 교육 2-4주 과 교육 2-3개월 후에

조사하여 차이를 분석한다. <표 4-13>은 업 용도 조사를 한 문항이다.

- 90 -

조사영역 문항수 설문 문항

개인특성 8∙성별, 나이, 최종학력, 소속기관, 직급, 직렬, 재직기간,

현재업무담당기간

담당업무와 관련성 1 ∙교육내용이 담당업무와 관련있는가?

현업적용 수준 4

∙교육받은 내용을 실무에 적용해 보았는가?

∙교육받은 내용을 실무에 적용해 보지 않은 이유는 무엇인

가?

∙교육받은 내용이 실무에 도움이 되었는가?

∙교육받은 내용을 실무에 적용했을 때 업무성과가 좋아졌

는가?

∙실무적용 및 업무성과 향상의 구체적인 성공사례를 기술

한다면?

상사・동료의 지원 5

∙교육 참여를 적극 지지하는가?

∙교육에 참여할 수 있도록 업무 부담을 줄여주는가?

∙교육내용을 직무에 적용할 수 있는 기회를 제공하는가?

∙교육내용을 직무에 적용할 수 있도록 지지하는가?

∙교육내용을 직무에 적용할 시, 상담, 코칭, 피드백 등을

지원하는가?

조직 분위기 6

∙교육에 대해 많은 가치를 부여하는 분위기인가?

∙구성원들이 변화하고 혁신하는 것을 높이 평가하는 분위

기인가?

∙구성원들이 교육받은 것을 스스로 적용해볼 수 있는 재량

권을 주는 분위기인가?

∙교육을 통해 구성원들이 성장할 수 있도록 충분한 지원을

해주는가?

∙나의 능력을 향상시킬 수 있게 직무를 제공하는가?

∙조직분위기가 나로 하여금 더욱 열심히 일하도록 만드는

가?

<표 4-13> 서울시인재개발원 업 용도평가(3단계) 도구

업 용도 평가에서 사용하는 심층인터뷰 세부 질문문항은 <표 4-14>와

같다.

- 91 -

구분 인터뷰 내용

현업적용

내용 및 방법

∙교육을 통해 얻을 수 있었던 내용(예, 주요 지식, 기술, 태도 등)은

무엇이었습니까?

∙교육을 통해 학습한 내용을 언제, 어떤 상황과 환경 속에서, 어떻

게 적용하였습니까?

궁극적인 성과

∙교육 참여의 결과로 직무에서 개선 또는 향상될 것이라고 기대하는

가치있는 행동은 무엇입니까?

∙이 결과가 왜 중요합니까?

∙이 결과는 어떠한 시정 목표에 기여하였습니까?

∙이 결과를 통하여 어떠한 측정 가능한 변화(성과)가 있었습니까?

∙이 변화(성과)는 얼마나 가치가 있습니까?

성과창출 유발요인

및 저해요인

∙업무 수행시 어떤 측면에서 도움이 되었습니까?

∙성공의 원동력이 되었던 요인들은 무엇이 있습니까?

∙성공에 저해가 되었던 요인들은 무엇이 있습니까?

기타 제안∙성공적인 현업적용을 위해서는 어떤 점이 더욱 개선되어야 한다고

생각합니까?

<표 4-14> 서울시인재개발원 업 용도 평가를 한 심층인터뷰 질문

서울시인재개발원은 교육효과성과 향요인을 측정하기 해 사 조사와 사

후조사를 실행하고 있다는 에서 의의를 갖는다. 한 업 용도 평가결과

를 체 교육과정의 교육내용과 교육방법 개선에 극 반 하고 있다는 도

의의가 있다.

4.1.4 그 외 공공교육훈련기 성과평가 동향

앞서 살펴본 3개 기 이외의 공공교육기 성과평가 동향을 정리하면 <표

4-15>와 같다.

- 92 -

<표 4-15> 공공교육훈련기 성과평가

평가수준1수준

(반응평가)

2수준

(학습평가

3수준

(행동평가)

4수준

(결과평가)비고

산림인력개발원

∙인터뷰 평가

∙교육만족도조사

∙교육 전・후

필답고사 실시

∙설문조사를 통해

개인의 인식수준

평가

∙특정 교육과정에

실시

농업연수원 ∙만족도 평가∙학업성취도

향상평가

∙수료3개월 후

이메일 설문조사

∙HRD변화관리분

야 교육과정에

실시

∙구체적인 결과

제시 못함

농촌진흥청 ∙교육만족도 조사

∙학업성취도평가

(사전, 사후)

∙직무능력 평가

∙보고서 및

과제발표

∙현업적용과

연계성이 높은

과정을 평가

∙설문조사를 통해

개인의 인식수준

평가

∙사전사후검사

∙SCM

수산인력개발원

∙인터뷰평가

∙교육만족도 조사∙학업성취도 평가

∙우편 설문조사

∙교육이수자와

함께

상급자에게도

설문조사 실시

∙실시하지 않음

∙현업적용도

평가대상에

상급자를 포함

중앙소방학교 ∙만족도평가


∙실기실습 평가

∙형성평가

∙분임연구 평가 등

∙일부 표본에게만

설문조사를 실시

∙교육생의 상사와

동료를 대상으로

심층 인터뷰

실시

∙실시하지 않음

∙현업적용도

평가에 상사와

동료의

인터뷰를 활용

임업훈련원

∙교육만족도

조사(교육종료

및 매일 수업

종료 후)


∙현업적용도

평가지

∙이메일로 설문

의뢰

∙평가수준

결정을 위한

문항 여부 결정

지식경제공무원교육원

∙학습자 만족도

평가

∙학업성취도

평가(지필평가)

∙현업적용도

평가(사전/사후

진단, 행동사례

도출)

∙경영성과 기여도

평가(ROI 평가와

함께 매년 실시)

∙5단계에서 ROI

평가

∙기존의 평가를

5단계로 확장

보건복지인력개발원 ∙만족도평가

∙현업적용도평가

(3일이상

소요되는

교육과정)

∙고객만족도단계

(전 교육과정

대상)

∙평가의 전문성

및 객관성

담보를 위해

외부 기관 위탁

등 실행

- 93 -

<표 4-15>에 제시된 공공교육훈련기 의 성과평가 동향을 정리하면 1수

만족도 평가에 해서는 사이버교육이나 단기교육을 제외하고는 부분 실시

하고 있었으며, 몇몇 기 에서 인터뷰 평가를 통해 교육과정에 한 교육생의

요구사항을 수렴하여 다음 교육과정계획 수립에 반 하고 있다. 2수 학업

성취도 평가의 경우 직무교육과 역량교육에 해당하는 과정들에 하여 부분

실시하고 있다. 3수 업 용도 평가는 주로 개인의 의식을 묻는 수 에서

설문조사의 형태로 실시되고 있으며, 몇몇 기 에서는 상사 는 동료를 활용

하고 SCM(우수사례분석)을 활용하여 업 용도 평가를 실시하고 있다. 4수

경 성과 기여도 평가는 지식경제공무원교육원에서 경 성과 기여도평가와

직무성과향상도 평가를 실시하고 있다.

4.1.5 서울 학교 치의학 문 학원

한치과 회는 치과의사가 문가로서 역할을 수행하는데 필요한 계속교육

을 시행하는 것이 필요함을 강조한다. 치과의사를 상으로 한 계속교육은 일

반 인 성인교육과 달리 진료 능력과 학습 능력을 향상시키고, 진료역량을 유

지 개발하는데 목 이 있다. 즉, 교육 후 실제 진료 행동에 변화가 일어나

는 것을 목표로 하고 있다. 서울 학교 치의학 문 학원에서는 치과 개업의

를 상으로 임 란트 연수 로그램을 운 하고, Kirkpatrick의 4단계 평가를

활용하여 교육 로그램의 효과를 평가하 다. 이 때 교육 상자가 치과 의사

인 을 고려하여 2단계 평가는 실시하지 않고, 1,3,4단계에 해 설문조사를

활용하여 평가하 다(윤경인, 최형길, 임명기, 2015). 서울 학교 치의학 학원

에서는 1, 3, 4단계 평가를 해 <표 4-16>과 같이 설문문항을 사용하 다.

<표 4-16>에 제시된 것처럼 3단계 평가와 4단계 평가에 사용된 문항은 교육

내용을 반 하고 있다.

- 94 -

평가단계 평가내용 평가시기

1단계 평가반응/만족도

∙교육내용과 방식

1. 배운 지식은 흥미가 있었습니까?

2. 강사는 준비를 잘 했습니까?

3. 강사는 효과적으로 내용을 전달했습니까?

4. 실습 내용은 진료와 관련이 있었습니까?

5. 강의 내용은 진료와 관련이 있었습니까?

6. 강의 방식은 적절했습니까?

7. 시설은 적절했습니까?

∙교육여건

1. 수강 인원은 적절했습니까?

2. 실습장비와 재료는 적절했습니까?

3. 행정지원은 적절했습니까?

4. 비용은 적절했습니까?

∙실습

1. 강의와 실습의 배분은 적절했습니까?

2. 실습 방식은 적절했습니까?

∙시간과 기간

1. 연수 기간은 적절했습니까?

2. 교육 과정(curriculum)은 잘 짜여져 있습니까?

3. 연수 시간은 적절했습니까?

연수직후

3단계 평가행동변화

∙행동변화

1. 배운 것을 진료에 적용할 수 있는 능력이 생겼습니까?

2. 연수가 진료와 접한 관련이 있습니까?

3. 배운 것을 진료에 적용할 때 도움이 될 만한 사람을 알고

있습니까?

4. 배운 것을 진료에 적용할 때 직원이나 동료들이 긍정적인

평가를 하였습니까?

5. 연수 후 합병증 해결능력이 향상되었습니까?

6. 배운 지식을 진료에 직접 이용하십니까?

7. 어떤 연수교육을 받았는지 직원이나 동료가 알고 있습니까?

8. 연수 후 상담 능력이 향상되었습니까?

연수

6개월 후

4단계 평가결과

∙결과

1. 연수 후 합병증 발생비율이 감소하였습니까?

2. 배운 것을 진료에 적용하여 병원의 비용 절감에 도움이 되

었습니까?

3. 연수 후 진료 시간이 단축되었습니까?

4. 배운 것을 진료에 적용하여 병원 수익이 향상되었습니까?

연수

6개월 후

<표 4-16> 서울 학교 치의학 학원의 단계별 평가 도구

- 95 -

4.1.6 시사

앙교육연수원, 국가공무원인재개발원, 서울시공무원인재개발원, 그 외 공

공교육훈련기 과 서울 학교 치의학 학원의 교육성과 평가 계획 운 사

항을 검토한 결과 다음과 같은 시사 을 도출할 수 있다. 첫째, 수 별 평가

상 교과목을 선정하는 기 이 필요하다. 모든 공공교육훈련기 이 Kirkpatrick

의 4수 평가 1, 2단계 평가를 수행하고 있으며, 교육과정별로 3단계 평가

와 4단계 평가를 부분 으로 진행하고 있다. 이 때 요한 것은 3, 4 단계 평

가 상이 될 교육과정을 선정하는 명확한 기 을 수립하는 것이다. 둘째, 평

가결과의 의미를 명확히 해석하기 해 사 평가와 사후평가 실시가 필요하

다. 몇몇 기 에서 사 평가와 사후평가를 실시하고 있다. 수 별 평가를 통해

수집한 결과에 해 명확하게 해석하기 해서 교육생들에 한 기 자료 확

보가 필요하기 때문이다. 기 자료는 연수를 신청하는 시 부터 연수 첫날에

이르기 까지 다양한데, 이러한 기 자료를 수집한 경우 이후에 이루어지는

학업성취도 평가 업 용도 평가 결과를 의미있게 해석할 수 있다. 셋째,

정량 평가와 함께 정성 평가가 병행되어야 한다. 정량 평가는 제한 인

정보만 수집할 수 있다. 3, 4수 평가의 경우 우수 사례를 상으로 한 성공

사례분석(Success Case Method) 등 교육생들을 상으로 한 질 자료를 수

집, 분석, 용이 필요하다. 넷째, 평가주체가 다양화되어야 한다. 교육은 교육

운 자, 교수자(강사), 학습자들의 상호작용에 의해 이루어진다. 따라서 학습자

들만을 상으로 한 평가가 아니라 교수자와 교육운 자들도 평가 주체가 되

어야 한다. 업 용도 평가의 경우에도 본인의 자기진단을 넘어 동료와 상사

등 조직 구성원들의 의견도 수렴할 필요가 있다. 다섯째, 평가 상자의 특성을

고려할 때 평가의 효율성 실성을 고려하여 2단계 평가는 생략 는 학습

자들의 인식조사 형태로 이루어질 수 있다.

- 96 -

4.2 국외사례

4.2.1 미국 OPM(Office of Personnel Management)

OPM(Office of Personnel Management)은 미국 정부의 앙공무원 상 교

육훈련기 으로, 국가공무원들에게 인 자원 리더십 개발 교육 훈련 로

그램을 제공하고 있으며, 로그램 평가를 해 ‘교육훈련 평가 가이드북

(Training Evaluation Field Guide)(2011)’을 개발하여 활용하고 있다. OPM은

교육훈련 평가 가이드북의 목 은 훈련의 효과성에 한 양 ·질 자료를 수

집하기 한 것이라 밝혔는데, 수집한 자료는 다음의 질문에 한 단자료가

된다고 하 다. 즉, 1) 교육 훈련이 개발 요구에 부합했는가? 2) 학습자들의

훈련 내용을 얼마나 마스터했는가?, 3) 학습 내용이 실무 상황으로 잘 이되

었는가?, 4) 훈련이 정부기 의 미션을 달성하는데 공헌하 는가? 이다.

OPM의 교육훈련 평가는 <그림 4-1>과 같은 Kirkpatrick의 평가 모형

업그 이드된 4단계 평가모델인 New World Kirkpatrick Four Levels에 기반

한다. 새 모형의 단계별 특성은 다음과 같다. 첫째, 1단계 반응평가에서는 학

습자 만족도, 참여의지(교육에 얼마나 참여했는가?), 련성(relevance, 교육이

학습자의 업무에 얼마나 련되어 있는가?)을 다룬다. 2단계 학습평가에서는

지식, 기술, 태도, 자신감(confidence, 새로 습득한 지식, 기술, 태도가 실제 업

무에 유용할 것이라고 생각하는 정도), 여/몰입(commitment, 새로 습득한

지식, 기술, 태도가 업무에 용될 것이라고 믿는 정도)을 다룬다. 3단계 행동

평가에서는 행동변화를 측정하는 것에 더해 행동에 한 찰(monitor), 강화

(reinforce), 보상(reward), 진(encourage)을 통해 피드백하거나 평가한다. 4

단계 결과평가에서는 바람직한 결과와 행동동인지표(leading indicators)를 다

룬다. 즉, 학습자의 주요 행동이 교육의 정 인 결과로 이어지도록 연결해주

는 동인 혹은 강화에 한 평가도 포함함을 의미한다.

- 97 -

단계 하위단계

계획(Planning)

step 1. 킥오프 미팅 및 이해관계자들의 관심사항 점검하기

step 2. 기대사항 점검 및 최종 결과물 정의하기

step 3. 주요행동 결정하기

step 4. 필요한 행동동력(driver) 결정하기

step 5. 행동동인지표(leading indicators) 확인하기

step 6. 성공을 위한 필요조건 제시하기

실행(Execution)

step 1. 사전 훈련 및 훈련 프로그램과 행동동력 설계 및 개발하기

step 2. 평가도구 개발하기

step 3. 평가준거 구축하기

step 4. 사전훈련 및 훈련 실행하기

step 5. 1수준 평가, 2수준 평가 실시하기

step 6. 지속적으로 강화 및 모니터링 실시하기

step 7. 3수준 평가, 4수준 평가 실시하기

가치검증(Demonstration

of Value)

step 1. 가치 검증 증거자료 수집하기

step 2. 자료 및 정보 보고하기

<그림 4-1> New World Kirkpatrick Four Levels

이러한 New World Kirkpatrick Four Levels에 기반한 OPM은 교육훈련 평

가 가이드북에서 평가의 목 주요 원리와 평가를 계획, 실행하고 훈련에

한 가치를 입증하는 단계별로 해야 할 구체 인 활동들을 안내하 다. <표

4-17>은 OPM이 교육훈련 평가 가이드북에서 안내하는 평가계획, 실행, 가치

입증의 주요 단계에 한 설명이다.

<표 4-17> OPM은 교육훈련 평가 가이드북에서 제시한 평가 단계

- 98 -

자료수집방법평가단계

1단계 반응평가

2단계 학습평가

3단계 행동평가

4단계 결과평가

설문, 질문지, 개인 혹은 그룹 인터뷰 ○ ○ ○ ○

액션 플랜 수립 ○ ○ ○

<표 4-17>에 제시된 것처럼 계획단계에서는 주로 로그램의 고객과 함께

로그램을 통해 얻을 수 있는 결과를 사 에 논의하고 의하여 훈련을 통해

얻을 수 있는 상 결과물을 도출한다. 상 결과물을 얻기 해 이해 계자

들과 다음의 질문에 해 의한다. 1) 훈련의 성공은 어떤 결과를 가져올 것

인가?, 2) 어떤 필요에 의해 훈련을 기획하는가?, 3) 훈련을 통해 무엇을 할

수 있는가?, 4) 어떠한 결과를 측정할 수 있는가?, 5) 재 훈련의 내용과 자

원으로 어느 수 의 결과가 상되는가?, 6) 훈련의 직 인 결과 외에 어떠

한 부수 결과가 상되는가? 이러한 질문에 답하는 과정에서 훈련 결과 측

정에 가장 큰 향을 미치는 주요 행동(critical behaviors), 상 행동을 통해

얻어지는 성과 지표들(leading indicators), 그리고 측되는 훈련의 결과

(targeted results)가 무엇인지 정립한다. 한 학습 이를 진시킬 행동동력

(driver)이 무엇인지 악한다. 행동동력이란 훈련 종료 후 훈련의 내용이 실

제 상황에 잘 용될 수 있도록 훈련이 종료된 후에도 학습자의 주요 행동을

지속 으로 리하는 것을 의미한다. 따라서 이 내용을 기획 단계에서 훈련

계자들이 논의하여 결정한다.

실행단계에서는 계획단계에서 도출된 내용을 심으로 훈련을 설계, 운 한

다. 훈련 로그램을 설계할 때는 로그램과 함께 Kirkpatrick의 단계별 평가

방법도 함께 설계하는데, 평가결과 활용의 효율성과 효과성을 고려하여 정량

인 자료를 수집한다. 평가 단계별 자료수집 방법은 <표 4-18>과 같다. <표

4-18>에 제시된 것처럼 2단계 평가에 단순한 지필고사를 넘어 3, 4단계와 연

계되어 있는 액션 랜 수립, 액션러닝 등이 포함되어 있어서 3, 4 단계 평가가

이 단계의 평가 내용 방법과 연계되어 있음을 알 수 있다.

<표 4-18> 평가단계별 자료수집 방법

- 99 -

업무요약, 기술 관찰, 행동 관찰, 액션러닝 ○ ○

사례연구, 지필고사, 능력시험, 발표 등 ○

프로그램 효과의 타당화 ○ ○

주요 사업과 HR 연계표 ○

구분 평가도구들

프로그램 사전평가

영역 문항학습환경

(Learning

environment)

∙이 교육을 통해 나는 많은 것을 배울 것이다.

∙이 교육을 이수하는데 장애물이 없을 것이다.

관련성

(Relevance)

∙이 교육은 나의 경력개발에 도움이 될 것이다

∙이 교육에서 배운 것은 바로 현업에 적용될 것이다.

참여 및 활용

(Delivery)

∙나는 열의를 갖고 이 교육에 임할 것이다.

∙이 교육에서 이루어지는 활동과 연습은 내가 학습하는 데 도

움이 될 것이다.

∙나는 내가 배운 것을 활용할 기회가 있을 것이다.

전체적인 의견

(Overall)

∙이 교육은 나의 프로그램에 대한 예상을 충족시켜줬다.

∙나는 배운 것을 현업에 적용시킬 수 있다.

∙ 이 교육을 통하여 무엇을 현업에 적용시킬 수 있는가?

변화에너지

(Energy for

Change)

∙이 교육을 통해 배운 것이 현업에 유용할 것인가에 대하여 어

느 정도의 확신을 갖고 있는가? (해당되는 곳에 체크)

(확신없다) 0-1-2-3-4-5-6-7-8-9-10(확신한다)

∙ 6점 이하의 점수를 준 경우) 확신이 낮은 이유는 무엇인가?

① 나는 교육 이수를 위한 충분한 사전지식을 갖고 있지 않다

② 나는 이 교육을 통해 얻을 수 있는 것이 무엇일지 알 수 없다

③ 나는 다른 중요한 할 일이 있다

④ 나는 교육을 이수하는 데 필요한 자원을 갖고 있지 않다

⑤ 나는 교육을 이수하는 데 필요한 자원을 받지 못한다

⑥ 기타 다른 이유 ( )

참여/몰입 ∙이 교육을 통해 배운 것이 현업에 어느 정도 적용될 것이라는

∙ 반응 및 학습평가를 위한 사전 평가 도구 문항

(① 매우 동의하지 않음, ⑤ 매우 동의함으로 구성된 5점 척도에 체크)

가치검증단계에서는 OPM에서 제공하는 훈련을 통해 학습자들이 속한 정부

기 에 가치를 창출시키는가를 평가한다. 이 단계에서는 이 단계들에서 수

집한 데이터를 기반으로 창출된 가치를 검증할 수 있는 증거를 작성하게 된

다. <표 4-18>에 제시된 자료수집 도구인 OPM에서 사용하는 주요 평가도구

를 정리하면 <표 4-19>와 같다.

<표 4-19> OPM에서 사용하는 주요 평가도구들

- 100 -

(Commitment)믿음을 갖고 있는가? (해당되는 곳에 체크)

(믿지않는다) 0-1-2-3-4-5-6-7-8-9-10 (믿는다)

∙ 6점 이하의 점수를 준 경우) 믿음이 낮은 이유는 무엇인가?

① 나는 교육 이수를 위한 충분한 사전지식을 갖고 있지 않다

② 나는 이 교육을 통해 얻을 수 있는 것이 무엇일지 알 수 없다

③ 나는 다른 중요한 할 일이 있다

④ 나는 교육을 이수하는 데 필요한 자원을 갖고 있지 않다

⑤ 나는 교육을 이수하는 데 필요한 자원을 받지 못한다

⑥ 나는 이 교육이 꼭 필요하지 않다

⑦ 나는 이 교육을 이수한다고 해서 보상 또는 인정을 받지 못한다

⑧ 기타 다른 이유 ( )

∙ 이 교육을 통해 배운 것을 현업에 적용하는 데 가장 방해가 되는 요인은 무

엇인가?

∙ 이러한 방해요인을 극복하기 위해서 필요한 것은 무엇인가?

∙ 당시이 교육 이수에 들이는 노력이 어떤 결과로 나타나길 원하는가?

프로그램 사후평가

1. 나는 이 교육에 열의를 가지고 참가하였다.

2. 이 교육은 나의 관심을 끌기 충분하였다.

3. 이 교육 강사의 교수법은 내가 학습하는 데 많은 도움을 주었다.

4. 이 교육은 현업과 관련이 많으며 적용 가능하였다.

5. 나는 나의 동료에게 이 교육을 추천할 것이다.

교육 전 교육 후

① ② ③ ④ ⑤ 6. 교육목적 (1) ① ② ③ ④ ⑤

① ② ③ ④ ⑤ 7. 교육목적 (2) ① ② ③ ④ ⑤

① ② ③ ④ ⑤ 8. 교육목적 (3) ① ② ③ ④ ⑤

9. 이 교육을 향상시키기 위해서는 어떻게 해야 하나?

10. 이 교육에 관한 다른 의견이 있을 경우 제시해주세요.

∙ 반응 및 학습평가를 위한 프로그램 사후 평가 도구 (① - ⑩ 중 체크)

프로그램 사후

인터뷰

∙ 프로그램 사후에 참가자 그룹을 형성하여 그룹 인터뷰를 진행함.

∙ 그룹 인터뷰 질문 예시

1. 교육에서 가장 기억나는 것은 무엇인가요?

2. 교육을 통하여 가장 현업에 유용하게 적용되는 것은 무엇인가요?

3. 교육에서 다루지 않은 중요한 내용은 무엇인가요?

4. 교육에서 배운 것을 어느 정도까지 현업에 적용시킬 수 있었나요?

5. 배운 것을 현업에 적용하는데 있어 필요한 지원은 무엇인가요?

6. 배운 것을 현업에 적용하는데 어떤 어려움이 있었나요?

프로그램 사후

설문지 영역 문항

∙ 반응, 현업적용도, 결과평가를 위해 교육실시 후 설문지를 활용하여 정보 수

집 (① 매우 동의하지 않음, ⑤ 매우 동의함으로 구성된 5점 척도에 체크)

- 101 -

학습효과

(Learning

effectiveness)

∙이 교육에서 배운 것은 현업에 많은 도움을 준다

∙이 교육 내용은 내가 필요로 했던 것을 충족시켜준다

적용

(Application)

∙이 교육을 통해 배운 것을 현업에 적용할 수 있었다

∙나는 배운 것을 현업에 즉시 적용할 수 있었다

∙나는 배운 것을 현업에 적용시키는 데 1달이 채 안걸렸다

∙나는 배운 것을 현업에 적용시키는 데 3-4달이 걸렸다

∙나는 배운 것을 현업에 아직 적용시키지는 않았으나 미래에는

적용할 것이다

∙나는 배운 것을 현업에 적용시키지 못할 것이다

∙ 만약 내가 교육을 통해 배운 것을 현업에 적용하지 못한다면, 그 이유는 무

엇인가? (복수응답가능)

① 교육 내용이 나의 현업과 관련이 없다

② 교육 내용을 적용할 기회가 없다

③ 교육 내용을 적용하는데 제약이 많다

④ 교육 내용을 잘 이해하지 못해서 적용할 수 없다

⑤ 나는 다른 할 일이 너무 많다

⑥ 기타 다른 이유 ( )

∙ 만약 내가 교육에서 배운 것을 현업에 잘 적용시킬 수 있었다면, 그 이유는

무엇인가? (복수응답가능)

① 직장 상사의 코칭

② 적절한 지원과 격려

③ 효과적인 모니터링

④ 교육이 현업에 도움이 될 것이라는 믿음

⑤ 교육 이후의 추가적인 교육과 훈련

⑥ 보상

⑦ 기타 다른 이유 ( )

지원

(Support)

∙나의 상사와 함께 교육 전에 교육을 통해 얻어질 결과를 예상

하였다.

∙나의 상사와 함께 어떤 내용이 현업에 적용될지 예상하였다.

∙교육 내용을 현업에 적용할 때 지원과 격려를 받았다.

∙교육내용을 현업에 작 적용하기 위한 충분한 자원 ( 예, 도구,

시간, 인적자원 등)을 지원받았다.

전반적인 의견

(Overall)

∙이 교육을 수강한 것은 나의 경력개발에 긍정적 영향을 주는

투자였다.

∙나는 교육 이수의 긍정적 결과를 느끼고 있다.

∙나는 미래에 교육 이수를 통한 긍정적 결과를 예상하고 있다.

4단계 평가

요청서

∙ 교육 결과 타당화를 위한 4단계 평가 요청서(메일 또는 인터뷰)

1. ○○○○○ 교육 종료 후 현 시점에서 어떤 변화를 느끼고 있나요? 구체적으

로 진술해주세요.

2. ○○○○○ 교육에 함께 참여했던 다른 사람들에게서 어떤 변화를 느끼시나

요?

- 102 -

OPM의 평가는 The New World Kirkpatrick Four Level 모형을 활용하고

있다. 이 모형을 활용함으로써 기존 모형에서 확인할 수 없는 학습자들의 참

여의지, 련성, 자신감, 몰입 등의 구체 인 평가자료 수집이 가능하다. 한

1,2 단계에서 수집한 자료가 3,4단계와 연계되는 등 단계별로 다음 단계의 결

과가 나오기 해서 필요한 요인들을 악하여 체계 인 평가가 가능하도록

하 다. 한 학습내용이 업에 용되는 과정에 학습자들이 소속된 기 의

참여를 극 권장하고 있다. 즉 단순한 사후 평가를 수행하는 것이 아니라 해

당 조직의 이해 계자들이 지원하고 모니터링하는 등 평가 과정에 참여하도록

하여 학습 이를 진하고 있다.

4.2.2 국 Home Office

국 Home Office는 국민의 안 을 책임지는 부서로, 1991년부터 다양한 경

찰교육 로그램들의 교육목 달성 여부, 실무지식의 달 정도 등을 측정할 수

있는 교육 로그램의 단계별 측정이 필요하다는 문제제기를 시작하 다. Home

Office는 2003년 ‘경찰의 교육훈련과 발 을 한 모델’을 제시하며 교육과 훈련의

향도를 효과 으로 측정하기 한 도구를 개발, 활용하고 있다(Home Office,

2003; 민경석, 최 , 문경환, 2015 재인용).

국 경찰의 교육훈련평가의 주요 이슈는 교육훈련 이후 장에서의 실무

용능력을 측정하는 것과 교육에 한 투자효과를 분석하는 것이다. 그러나 경

찰활동이 복잡하여 교육훈련 후 교육효과와 업무수행능력을 평가하는데 어려

움을 겪고 있다. 국의 경찰교육훈련 평가는 업무성과 기 설정, 평가방법

개발, 평가계획 수립, 평가시행 : 자료 수집 기록, 자료 분석 해석, 평가

결과 제시 등 6단계로 구성된다(Home Office, 2003).

먼 , 교육훈련에 한 평가도구와 평가방법을 개발하기 해서는 평가계획

을 활용하며, 담당자는 가장 한 평가자료 수집방법을 선택하고 평가방법

은 평가목표의 확인, 이해당사자 특성, 평가범 설정, 일반 인 평가방법

자료수집방법 선정, 자료수집 시기 선정 등을 통해 결정한다. 이 때 교육훈련

- 103 -

을 통해 무엇을 달성할지 결정하는 것은 업무성과 수요분석, 선호도 평가, 교

육시행자의 선호 등에 기 하여 평가목표를 구체 으로 제시하며, 이를 기

으로 평가방법을 마련한다.

둘째, 교육당사자 그룹의 이해 계를 명확히 확인한다. 평가의 조사 상 그

룹을 선정하는 것은 평가자의 가장 요한 역할 하나이다. 교육평가자들에

게 정보를 제공해 다는 의미에서 교육의 이해당사자는 결정권을 가진 교육의

시행자와는 구분된다. 교육평가 과정에 의견을 제공할 수 있는 이해당사자 그

룹에는 교육 상자(학습자), 교수요원, 교육개발자, 직무감독자, 교육훈련 리

자 등이 포함된다.

셋째, 평가의 범 를 결정한다. 이 때 평가과정과 도출되는 교육훈련의 결과

가 모두 정해진 목 과 세부 목표들에 따라 나타나고 있는지 검토되어야 하는

데, 평가범 결정 시 조사해야 하는 구체 인 내용들은 1) 재 평가정보의

자료출처 근 방법에 한 확인, 2) 교육평가에 사용되는 도구와 평가방

법에 한 확인, 3) 교육평가의 목 달성을 한 교육평가 도구와 방법의 유

용성 결정, 4) 교육평가의 목 달성을 한 체 가능한 평가도구와 방법에

한 검토, 5) 행 교육평가의 장 과 단 이다.

넷째, 일반 인 평가방법과 자료 수집방법을 선정한다. 평가를 해 자료를

어떻게 수집할 수 있으며 자료들 간의 연 성을 어떻게 찾을지 고려하고 각각

수집된 자료의 평가 목 과 결과에 한 련성과 유용성을 함께 검토한다.

이 때 자료를 제공하는 사람, 서류 는 다른 정보의 출처에 해서도 확인하

고 유용한 정보들에 한 근 가능성도 함께 고려한다. 이 때 필요 정보에

한 근이 어려운 경우에는 이에 한 해결방안 역시 함께 고려한다. 자료

를 수집, 활용할 때는 우선순 를 결정하는데, 우선순 는 교육의 평가목 에

따라 결정된다.

다섯째, 자료수집의 시기를 구체화한다. 인터뷰와 설문조사 등 장조사와

자료정리 등을 한 시간계획을 수립하고 비설문조사, 결과 분석, 상 밖의

결과도출을 미연에 방지하기 한 교육운 자와의 긴 한 의 등 충분한 시

간을 확보한다. 교육시행자, 이해 계자, 그리고 다른 련자와 평가결과에

- 104 -

단계 평가대상 주요 질문

1단계 학습내용과 구조교육내용이 잘 전달되었는가?

교육내용은 효용성이 있는가?

2단계 교육대상자들의 변화지식, 태도, 행동양식에 변화가 있는가?

현장에서 학습내용의 전파가 가능할 것인가?

3단계 조직의 변화교육이 조직 변화에 영향을 주는가?

교육으로 인해 조직에 변화가 있는가?

해 논의할 시간을 갖는다. 이러한 교육평가계획에 따라 <표 4-20>과 같이

Kirkpatrick 모형을 활용하여 평가를 수행하고 있다(Home Office, 2003; 민경

석, 최 , 문경환, 2015 재인용).

<표 4-20> 국 Home Office의 경찰교육훈련 평가 단계

4.2.3 시사

미국 OPM과 국 Home Office의 교육성과 평가 계획 운 사항을 검

토한 결과 다음과 같은 시사 을 도출할 수 있다. 첫째, Kirkpatrick의 새로운

모형을 도입 활용하는 것이 필요하다. 일반 으로 활용하고 있는 Kirkpatrick

의 모형은 평가단계가 연계되어 있지 않다는 단 을 갖고 있는데, 새로운 모

형은 1, 2 단계에서의 활동 평가가 3, 4 단계 평가에 향을 주기 때문에

효율 으로 학습 결과를 평가할 수 있다. 물론 이러한 평가가 이루어지기

해서는 학습자들이 속한 조직의 참여와 지원이 필요한데, 시 에서는 도입,

용이 어렵더라도 차 으로 Kirkpatrick의 새로운 모형을 용할 수 있도

록 해야 할 것이다. 둘째, 성과 평가를 한 계획 자료 수집 시 학습자들이

속한 조직의 평가 련자들과의 긴 한 조 체제를 구축하는 것이 필요하다.

특히 3단계 평가와 4단계의 평가의 경우 충분한 논의와 조를 통해 학습자들

의 교육성과를 악할 수 있는 양질의 자료를 수집할 수 있다.

- 105 -

4.3 국외도서

본 연구는 국립 앙도서 평가도구 설계를 한 기 자료로 활용하기

하여 국외도서 교육훈련기 의 평가도구를 분석하 다.

4.3.1 ALA Online Learning

미국도서 회(American Library Association, ALA)는 “Online Learning”

이라는 명칭으로 다양한 과목의 온라인 강의를 제공하고 있다. 이 과정은

ALA 산하에 존재하는 여러 문분과별로 계속교육 로그램을 기획하고 운

하고 있으며, 평가 역시 문분과별로 진행하고 있다. ALA Online Learning

의 경우, 온라인 교육이라는 특징에 맞게 문분과의 평가 역시 설문 주의

간단한 방법을 기반으로 한다. 아래 <표 4-21>과 같이 미국 도서 정보기술

회(Library Information Technology Association, 이하 LITA)의 평가문항은

주제범 의 성, 사 홍보내용의 교육내용과 일치성, 강사의 문성, 강사

강의방법의 성, 시각자료 활용의 성, 강의시간, 강의수 , 기 충족정

도, 유용성, 지식의 향상성, 반 인 만족도, 온라인 강의환경의 성을 평

가하고 있어, 주로 1단계 만족도 인식기반의 학습향상수 을 측정하는 정

도로 평가되고 있는 것을 알 수 있다. 한 평가방법 역시 온라인설문으로 5

척도를 사용하여 교육직후에 이루어지고 있다.

미국 공공도서 회 역시 온라인 설문을 기반으로 한 평가가 이루어지고

있는데, 설문문항은 학습정도, 주제에 한 직무 문성 향상정도, 학습내용 공

유의지, 교육내용에 한 만족도, 강사에 한 만족도를 주로 평가하고 있었

다. 1단계 만족도 학습향상수 을 측정하는 정도로 평가되고 있는 것을 알

수 있다.

- 106 -

항목

미국

도서관정보

기술협회

주제범위의 적절성, 사전 홍보내용의 교육내용과 일치성, 강사의 전문성,

강사강의방법의 적절성, 시각자료 활용의 적절성, 강의시간, 강의수준, 기

대충족정도, 유용성, 지식의 향상성, 전반적인 만족도, 온라인 강의환경의

적절성

미국

공공도서관협회

학습정도, 주제에 대한 직무전문성 향상정도, 학습내용 공유의지, 교육내

용에 대한 만족도, 강사에 대한 만족도

일본

국립국회도서관전반적인 강의만족도

호주도서관협회 전반적인 강의만족도

4.3.2 일본 국립국회도서

일본 국립국회도서 은 공공도서 , 학도서 , 문도서 등 각종 도서

사서 직원을 한 교육 로그램을 제공하고 있으며, 집합교육, 강사 견교

육, 온라인교육으로 구분하여 제공되고 있다. 일본 국립국회도서 직무교육의

평가 역시 설문을 기반으로 운 되고 있으며, 반 인 강의의 만족도를 평가

하는 정도로 이루어지고 있다.

4.3.3 호주도서 회

호주도서 회(Australian Library and Information Association, ALIA)는

사서의 계속교육 ALIA의 정식회원이 되기 한 교육을 제공하고 있으며,

집합교육 컨퍼런스, 온라인교육을 바탕으로 키피디아, MOOC, 마 등

다양한 교육 로그램이 제공된다. 호주도서 회의 교육평가 역시 설문을 기

반으로 한 만족도 조사에 그치고 있다.

<표 4-21> 국외도서 교육훈련 평가도구

- 107 -

4.4 벤치마킹 기 면담

본 연구의 목 을 달성하기 해 국내 교육훈련기 벤치마킹할 수 있

는 기 을 선정하여 장 방문을 통해 해당 교육훈련기 평가시스템의 특성

과 장단 등을 면담 조사하 다. 이를 상세히 기술하면 아래와 같다.

4.4.1 국가공무원 인재개발원

인사 신처에 소속된 공무원의 교육훈련을 담당하는 국가기 으로 정부의

공무원 교육훈련에 한 정책과 지침에 따라 국가공무원·지방공무원

탁을 받은 각 기업체의 직원에 한 교육훈련을 실시하고, 각 공무원 교육

훈련기 에 한 지도·지원기능을 수행한다.

조직은 원장(정무직) 1명 아래 하부조직으로 기획부·리더십개발부․ 로벌

교육부․연구개발센터가 있으며, 기획부 산하에는 기획렵력과․교육지원과 2

과, 리더십개발부 산하에는 신규자교육과․ 리자교육과․ 문역량교육과․

스마트교육과 4과, 로벌교육부 산하에는 로벌교육과 1과가 있고, 연구개

발센터 산하에는 공직가치 ․리더십역량 ․정책기획 3 이 있다.

주요기능은 ① 국가공무원 교육훈련 실시 ② 각 공무원 교육훈련기 지

원 력 ③ 교과 교재 교육기법의 연구·개발·보 ④ 외국공무원 교육

훈련 국제 력 등이다. 교육목표는 국내외 민 연 력 거버 스 체계 구

축을 통해 인재개발 지식 공유 생태계 조성 국가공무원 인재개발 허 의

구축이고, 교육훈련은 직 별 교육훈련체계를 가지며 기본교육과 공직가치교

육, 공직리더십교육, 로벌교육, 직무/ 문성교육, 이러닝 등으로 나뉜다.

❏ 장조사 개요

○ 일시 : 2016. 12. 7. (수) 14:00

○ 방문처 : 국가공무원인재개발원(충청북도 진천 소재) 본 2층 회의실

- 108 -

○ 참여자 :

- 국가공무원인재개발원 연구개발센터 교육평가 문경력

- 국립 앙도서 사서교육문화과 김 성 주무

- 숭의여자 학교 문헌정보학과 차성종 교수

- 성균 학교 정보 리연구소 황정선 연구원

❏ 면담 회의록

Q. 공무원 최 교육기 인 국가공무원인재개발원에서는 교육평가를 어떻게

진행하고 있는지 알아보고자 방문하게 되었다. 1, 2, 3, 4단계 평가가 있는

데, 1단계는 만족도 평가는 사이버교육도 포함하여 진행하시는가?

A. 사이버교육도 만족도평가를 수행해야 이수될 수 있다.

Q. 평가 설문지 양식이 있는가?

A. 홈페이지에 나와 있고, 만족도 평가는 다른 기 과 비슷하다. 16주짜리 장

기과정에 한 평가와 3일짜리 단기과정에 한 평가 양식이 다르다.

Q. 교육과정을 반 으로 평가할 수 있는 체계가 만들어져 있는가?

A. 평가체계는 1, 2, 3단계로 나눠져 있다. 1단계인 만족도평가는 체 과정을

상으로 수행하고, 2단계는 학업성취도 평가로서 성 을 평가해야 하는

교과목을 상으로 과정 담당자가 별도로 수행한다. 3단계는 체 과정이

아닌, 태도변화를 측정할 수 있는 과목에 한하여 1년에 한 번씩 계획을 수

립해 센터에서 진행한다. 4단계 평가는 수행하지 않는다.

Q. 일부 기 에서는 4단계 평가까지 하는데, 자체 으로 진행하지 않고 연구

용역의 일부로 진행하던데.

- 109 -

A. 4단계 평가를 하는 곳이 보건복지인력개발원인데, 공공기 은 경 성과평

가의 지표로 성과를 드러내기 해 하는 걸로 알고 있다. 4단계 평가는

ROI를 측정하는 것인데, 본 기 에서는 노력 비 얻어지는 성과가 교육만

의 성과인지, 업무를 하다 보니 실력이 향상된 것인지에 해 명확히 측정

할 수 있는 측정 지표 도구가 없기 때문에 실상 자기평가로만 진행

하는 것으로 만족한다.

Q. 1년에 몇 개의 과정이 있는가?

A. 1년에 운 되는 과정이 84개이며 횟수로 세면 훨씬 많다. 올해 업 용도

평가를 진행한 교육과정은 6주 이상 진행되는 기본교육과정 에서 정책기

획 보고서 작성, 역량 실습과 같이 이론을 업에 용할 수 있는 교과목

5개와 문교육과정 9개를 상으로 수행되었다.

Q. 반 인 큰 틀에서 평가가 이루어지는 것인가? 그 큰 틀이 어떻게 구성되

는지는 어디서 확인할 수 있는가?

A. 1, 2, 3단계 평가를 진행하는 것을 기본으로, 피라미드 형식의 틀로 이루어진

평가체계를 수립해 두긴 했지만, 내부 보고자료로 존재하지 외부에 공개하고

있지는 않다. 사서교육이라면 문교육에 해당하므로 실습이나 체험 등이 포

함되어 있기 때문에 1, 2, 3단계 평가를 모두 수행해야 할 것으로 보인다.

Q. 국립 앙도서 은 만족도 평가 등 반 인 평가를 모두 하고 있지만, 3단

계 평가의 경우는 교육받은 기 에 공문을 보내 교육생들에게 평가지를 나

눠주고 평가받는 방식으로 진행한다. 평가를 하긴 하지만 평가지침이 별도

로 마련되어 있지 않고, 기존에 해오던 방식이 이어지고 있다.

A. 본 기 에서는 업 용도 평가를 1년에 한 번씩 계획을 세워 진행하도록

되어 있는데, 진행 방식은 입교하기 에 사 평가를 먼 실시한 다음, 교

육을 수료한 후에 기 한 바에 부합하 는지, 업에 용하고 있는지, 얼

마나 도움이 되는지 세 번 질문한다. 이러한 평가 지침은 문서화된 것이

없고 내부결재 문서에만 있어 보여드리기 어렵지만, 연구용역을 통해 2013

년도에 개발된 평가체계가 있는데 이를 토 로 2014년도에 업 용도 평

- 110 -

가를 수행하 고, 재 업 용도 평가의 단순한 평가문항을 구체 으로

개선하는 연구를 수행하고 있는 이다.

재 모든 평가가 교육생을 심으로 교육생만 평가하고 있는데, 올해 교

육운 주체 간 상호평가를 시작하여 강사님들도 강의를 잘 하고 있는지,

강의 목표에 맞게 의뢰를 하 는지, 교육장 시설을 괜찮은지, 교육생 태도

가 좋은지 등에 해 평가를 수행함으로써 삼각형 모양(교육생, 기 , 강

사)의 상호 다면평가가 이루어지도록 하고 있다.

Q. 만족도평가를 하는 이유가 다음해 과정에 용하려고 하는 것인데, 평가

결과를 과정에도 용하는가?

A. 교육을 운 하는 부서와 만족도 평가 부서, 업 용도 평가 부서가 다르

기 때문에, 평가 결과를 과정에 반 하도록 조언을 드릴 수 있지만, 교육운

실과 더불어 평가 부서에서 교육과정을 제 로 이해하지 못하기 때

문에 평가는 평가 로, 교육은 교육 로 이루어지기도 한다.

Q. 그러면 평가가 의미 없는 것이 아닌가?

A. 보통은 만족도 평가에서 나온 수로 평가하는 편이다.

Q. 만족도 평가는 부분 잘 나오지 않나?

A. 우리 기 의 경우는 꼭 그 지만도 않다.

국립 앙도서 에서 수행하는 교육과정은 문교육이라 단기로 커리큘럼을

구성하여 목 에 맞게 설계할 수 있는데, 평가계획까지 함께 설계할 수 있

는 과정이 많을 것으로 생각된다.

장기교육과정은 만족도 평가가 더 요한데, 문항이 좋은 편이 아니라

재 개선하고 있다. 6주 과정에서는 만족도 평가를 OMR로 2주에 한 번씩

실시하는데, 2주 강사의 내용을 복기하기가 어려워 온라인평가도 함께

진행한다. 온라인평가는 오늘 수업에 한 평가를 오늘 수행하도록 하는데,

확실히 OMR 평가와 수에 차이가 있다. 온라인평가에는 솔직한 답변이

- 111 -

나타나지만 응답률은 낮은 것이 큰 맹 으로 꼽힌다.

Q. 그러면 3단계까지는 평가 도구가 개발되어 진행되는데, 4단계는?

A. 4단계 평가는 성과평가인데, 본 기 에서는 1년에 한 번씩 연말에 교육과

정에 한 반 인 성과평가를 진행하는데 그것이 4단계 평가라고 여기

고 있다.

Q. 평가매뉴얼을 개발하여 운 하고 있는가?

A. 기존에 수행한 평가진단체계 도출 연구용역에 평가매뉴얼이 포함되어 있었

다. 그런데 교육운 담당자들이 각자 평가를 진행하지 않기 때문에 솔직

히 평가 매뉴얼이 교육운 담당자에게는 큰 의미가 없다. 평가담당자에게

는 성별, 경력 등 교육생 특성에 따라 분석하면 의미 있는 데이터가 되겠

지만, 실제로 이런 데이터가 교육운 자에게 그다지 요하지 않다. 교육평

가가 교육과정의 설계 시 부터 교육생들의 요구가 반 되었는지를 평가하

는 것인데, 실제로 그 게 설계되지 못하는 것이 큰 문제라 생각한다.

Q. 즉 평가 매뉴얼은 있지만 활용되지 않는 것이 문제인 것인가?

A. 기 마다 간단하게나마 평가매뉴얼이나 지침은 있다. 본 기 에서도 ‘어디

까지 2단계 평가를 실시한다’ 등에 한 지침은 있지만, 그 지침을 모든 교

육과정에 그 로 용하여 실시하는 것이 쉽지 않은 실이다.

외부강사님의 경우 강의마다 교육내용이 달라질 수 있는데, 본 기 에서는

기본 교육과정에 특강이 많아 아 그 내용이 달라지기 때문에 어떤 것이

필수 학습요소라고 단정하기가 어렵다. 따라서 원내 교수님을 상으로 직

무교육 보고서 작성 등에 한 업 용도 평가를 실시할 수밖에 없다.

문교육과정의 경우에는 교재 안의 필수 학습요소를 도출해야 하는데, 보통

강의 2-3일 에 강의록이 나오기 때문에 문항개발을 다시 하기가 어렵다.

Q. NCS 능력단 수행 거를 연계시켜 업 용도 평가를 수행한다면, 교

- 112 -

육 설계부터 NCS 능력단 별 수행 거를 교육안, 강의자료에 반 하여 만

들어야 하는 것이 아닌가?

A. 사서직 교육 같이 문직 교육과정은 그것이 가능할 것 같다. 만약 교육생

상이 정해져 있다면 평가가 더 원활할 것이다.

Q. 사서 문 직무과정으로 업 용도 평가를 수행할 때 이를 NCS와 연계

하여, NCS 능력단 수행 거를 교강사들에게 안내해 강의를 설계하도

록 하는 것은 어떤가?

A. 교육담당자들이 그러한 방식으로 교육과정을 설계하는 데에는 한계가 있을

것으로 보인다. 교육학을 공한 사람이 아니기 때문에 문 으로 그런

수행 거를 일일이 감안하게 교육을 설계하는 것은 쉽지 않을 것으로 사

료된다.

교육과정 운 담당자의 입장에서는 만족도 평가 문항이라도 정교화하여

그 결과를 리뷰하는 것도 나쁘지 않을 것이라 본다. 한 문교육과정에

서 매번 교육과정이 바 지 않는다면 기본 으로 평가해야 하는 항목에

해 사 -사후 평가를 진행하는 것도 괜찮을 것이다. 특히 문교육과정은

교육 인원이 결정되는 것이기 때문에, 교육과정에 맞는 설문지를 쓴다.

Q. 국립 앙도서 에서는 교육운 자가 교육 평가까지 담당하는 것에 부담이

있다.

A. 지침과 매뉴얼이 요하다고 생각하지 않는데, 그 이유가 교육이 정형화되

어 있지 않기 때문에 모든 교육과정은 그 내용 구성에 맞게 평가도구

한 유기 으로 개발되어야 하기 때문이다.

Q. 내부직원보다는 용역을 통해 좀 더 객 인 평가를 실시할 수 있지 않을까?

A. 교육과정을 평가하는 사람과 운 하는 사람은 달라야 한다고 본다.

Q. 재 국내 교육훈련기 평가가 모범 으로 이루어지는 곳은 어디인가?

- 113 -

A. 재 4단계 평가까지 진행하고 있는 보건복지인력개발원이 비교 잘 되어

있는 기 이 아닐까 생각된다.

Q. 평가에 있어 가장 큰 애로사항은 어떤 것이 있는가?

A. 강의교재가 늦게 나오기 때문에 문항 개발을 정교하게 하는 것이 1차 인

어려움이고, 2차 으로는 교육생들의 설문 참여도이다. 평가문항이 많이 늘

어나면 충 답변한다. 그래서 가능한 한 문장으로 잘 물어볼 수 있도록

해야 할 것이다. 한 교육과정 평가를 상사와 동료들이 수행하는 것도 좋

지만, 교육을 들어보지 못한 상황에서 평가하기가 어렵기 때문에 교육생에

의한 평가가 가장 신뢰도가 높을 것이라 생각된다.

본 기 에서는 교육을 수행한 교육생에게 평가를 실시한다. 특히 2-3개

월 후에 이루어지는 평가는 응답률이 더 떨어지며, 보통 40%의 응답률을

보인다. 한 문서에 의한 설문 평가보다 구 설문 등 온라인 설문 방식

이 응답률 측면에서 월등히 높게 나타났으며, 서베이 몽키 등은 본 기 이

국가 공무원을 상으로 한 교육기 인지라 개인정보 유출에 한 험이

있어 잘 이용하지 않는 편이다.

Q. 교육훈련 평가도구 체계가 어떤 방향으로 이루어져야 할까?

A. 교육과정 특성과 평가목 에 맞게 이루어져야 한다. 직무능력을 향상시키고자

하는 교육이라면 실제로 직무능력이 향상되었는지를 평가할 수 있어야 한다.

Q. 4단계 평가는 어떻게 진행되는 것이 좋은 것인가?

A. 과정 특성에 따라 다른데, 4단계 평가는 조직에 얼마나 기여하는지를 평가

하는 것이기 때문에, 교육의 효과만으로 조직에 어떻게 기여하 는지 명확

히 분리해서 평가되어야 한다. 즉, 조직의 성공이 경기가 좋아서인지, 교육

때문인지 등 그 원인 요인을 명확히 분리하여 평가하는 것이 건이다.

Q. 문화체육 부에서는 매년 모든 공공도서 이 참여하는 도서 서비스의

- 114 -

질을 평가하는 도서 운 평가를 시행하고 있는 데 이를 사서교육훈련의

4단계 평가와 연계할 방안이 없겠는가?

A. 그 도서 운 평가 지표에 근거한 사서교육훈련 로그램을 개발하면 되

지 않을까 생각된다. 만약 ‘친 도’라는 평가지표가 있다고 가정하면, 친

도를 향상할 수 있는 교육, 도서 이용자 응 법 교육 등 지표에 부합하

는 교육과정을 개발해서 운 하고, 그것이 업에 도움이 되었는지를 상을

받은 우수도서 과 그 지 않은 도서 간의 차이를 비교하여 조직성과를

측정하는 것도 한 방법이라고 본다.

4.4.2 산림청 산림교육원

산림교육원은 산림생태계의 다양성 보 , 산림재해 응능력 제고, 산림 복지

교육 확 로 산림공무원의 산림생태계 보 과 재해 응 역량을 강화하기 하

여 설립된 산림청 소속기 으로, ｢산림비 달성을 한 인 자원 개발｣, ｢성과

창출과 직결되는 문교육 강화｣, ｢지구환경 보 을 한 국제교육 확 ｣를 교

육훈련 목표로 설정하고 기본교육, 문교육, 국제교육, 사이버교육 등 연간 80

여개 과정 9,000여명의 공무원과 일반인을 교육하고 있다.

1973년 산림청 임업시험장 훈련부를 시작으로 1978년 임업연수원으로 개원

하여 1989년 청사인 경기도 남양주시 진 읍으로 이 하 으며, 1999년 임

업연구원 임업연수부로 편입 후 1996년 산림인력개발원으로 독립하여 2012년

산림교육원으로 새롭게 편제되었다. 조직은 원장(고 공무원 나 ) 1명 아래

하부조직으로 행정 리, 교육기획, 교육정보, 국제교육 등을 담당하는 교육기

획과와 교육지원, 산림이용교육, 산림자원교육, 산림보호교육 등을 담당하는

재해방지교육과가 있다.

교육시설로는 실습 심의 교육을 해 13개의 산림경 종합실습장과 산불훈

련을 해 산불방지종합훈련장을 운 하고 있으며, 강당 등 8개의 강의실과

구내식당, 생활 등을 구비하고 있다.

- 115 -

❏ 장조사 개요

○ 일시 : 2016. 12. 15.(목) 14:00

○ 방문처 : 산림청 산림교육원(경기도 남양주시 소재) 2층 회의실

○ 참여자 :

- 산림청 산림교육원 교육기획과 주무

- 숭의여자 학교 문헌정보학과 차성종 교수

- 상명 학교 문헌정보학과 박옥남 교수

- 성균 학교 정보 리연구소 황정선 연구원

❏ 면담 회의록

Q. 산림교육원에서 교육생 평가가 잘 운 된다고 하여 방문하 다.

A. 지난해 만족도 평가는 167개 교육과정 에서 사이버교육을 제외하고 모두

의무 으로 만족도 평가를 실시한다. 만족도 평가가 수행되면, 월별 교육과

정 심의 원회에서 매달 만족도를 분석해 1차 으로 지도교수가 평가 결과

에 한 결과보고서를 제출한다. 그리고 교육운 부서에서 담당자에게

달하여 개선사항, 특이사항 등이 반 되도록 하는데, 이러한 변경 사항을

취합해 기획회의에서 분석하여 가장 요한 사항은 심의 원회 안건으로

해결해나가고 있다.

업 용도 설문조사를 실시할 때는 3-6개월 후에 직무로의 이가 되었는

지 평가하는데, 이 에는 설문조사에 의지하다가 작년부터 다면평가로 개

선하면서 상사와 동료와 함께 어떤 변화가 있었고, 어떤 창의 업무를 실

하게 되었는지 측정하고 있다.

Q. 평가가 잘 이루어지는가?

A. 같은 산림공무원이기 때문에 조가 잘 되고 잘 이루어지고 있는 편이다.

Q. 장 용도 평가는 체 과정을 평가하는가?

- 116 -

A. 체 과정을 모두 평가하지는 못한다. 올해에는 장에서 직무 문성을 강

화할 수 있는 과정을 선정하 는데, 보통 4-5개 과정을 선정하여 10-11월

에 직원들을 지역별로 보내서 평가를 진행한다.

Q. 업 용도 평가는 일정기간이 지난 후에 측정하는가?

A. 그 다. 교육을 받은 후 3개월이 지났을 때 측정한다.

Q. 교육 후 어떤 성과가 있었는지를 어떻게 평가하는가?

A. 교육 후에 해서 설문조사를 세 해야 하는데, 그 게는 하지 못했다.

실질 으로 교육과정을 통해 장에서 어떤 부분에서 도움이 되었는지만

악하고, 인력 부족 등으로 인해 세부 으로 근하기에는 어려운 이 있다.

Q. 평가 상의 샘 링은 어떻게 선정하는가?

A. 교육 상자 선정은 오지지역을 제외하고 경기-강원도권, 서울-인천권, 충

청- 라도권, 경상도권 등 4 권역으로 나 었다. 교육과정이 11월 말에

끝났는데, 가능한 직원만 모아 체 교육 상자 70%를 상으로 수행하

다. 즉, 업 용도 설문조사는 1차 으로 모두 수행하고, 그 에서 지자

체 공무원과 산림청 공무원을 각각 60-70%, 30%로 지정한다. 사무 이

상이 교육과정에 참여하면 하부직원에게 다면평가를 받도록 하고, 7 직원

이 오면 상사에게 다면평가를 받도록 하고 있다.

Q. 업 용도 평가는 기 에 직 방문해야 해서 교육담당자가 많을 것으로

생각되는데 어떠한가?

A. 권역별로 2-3명이 3박 4일 이상 방문하며 수행하고 있다.

Q. 산림교육원의 교육 담당 담인력은 몇 명 정도인가?

A. 직원은 30여명인데 교육담당 직원은 17명 정도이다.

- 117 -

Q. 교육 로그램의 환류는 어떻게 이루어지고 있는가?

A. 업에 종사하시는 분들께서 여러 의견이 제시해 주시는데, 반 요구가

있으면 내년도 교육에 그러한 요구를 주로 진행할 수 있도록 한다.

Q. 4단계 평가도 하는가?

A. 교육과정은 못하고 있다. 본 기 에서는 작년 2월말 HRD 역량 교육과

정에서 학 교수님을 빙하여 교육을 실시한 이 있는데, 그분들도 4단

계 평가는 실 으로 무리라고 진단하 다. 실시해 본 경험도 없다.

Q. 2단계 평가는 어떻게 이루어지는가?

A. 직무와 련된 교과목을 상으로 후 평가를 실시하고 있다. 성 우수

자에게는 문화상품권 5만원을 지 하고 있다.

Q. 산림 련 문 직무에 해서는 몇 개 과정을 2단계 평가를 실시하고 있

는가?

A. 12개 과정에서 실무자들에게 용하고 있고, 정책 황 교육과제는 8-9개 이

분반하여 야간학습 평가도 같이 운 한다. 우수한 에게 수상도 하고 있다.

Q. 2단계 학업성취도 평가의 항목 기 을 정할 때 교·강사들이 참여하는가?

A. 그 다. 거의 부분 담당 교·강사분들께 의뢰한다.

Q. 국가직무능력표 (NCS)에서 제시하는 직무 수행 거 지식, 기술, 태도

등을 기반으로 하는가?

A. 아니다. 교·강사분들이 임의 으로 구성하고 있다.

Q. 1, 2, 3단계 평가 도구 개발과 련된 연구를 수행한 이 있나? 평가도구

는 어떻게 개발한 것인가?

A. 국가인재개발원의 안을 바탕으로 산림교육원 실정에 맞게 변형하여 개발한 것이다.

- 118 -

Q. 어떤 에서 1, 2, 3단계를 평가할 것인지 체계가 마련되어 있는가?

A. 평가 체계는 없지만 올해 산림인재개발 기본계획을 직원들이 수립하 다. 용역사

업은 산 문제 때문에 어렵고, 2017-2021년까지 기본계획안이 개발되고 있다.

Q. 그 다면 지 까지는 체계 인 평가체계 없이 평가도구만 활용해 왔는가?

A. 공무원 교육기 은 부분 그런 것으로 알고 있다.

Q. 만족도 평가의 설문 문항은 지속 으로 수정이 이루어지는가?

A. 그 다. 1기에서 문제가 발생하면 2기에서 심의회를 통해 수정되어 교체하

고, 교과목도 함께 조정한다.

Q. 평가매뉴얼은 개발되어 있는가?

A. 매뉴얼은 별도로 존재하지 않고, 계획안에서 나온 로 수행하고 있다.

Q. 교육 문가가 계신가?

A. 내부 교수님께서 4분 계신다. 그 지만 교육학 출신의 교수님이 필요하다고 느낀다.

Q. 임교수님과 외부강사님에 한 평가에 차이가 있는가?

A. 차이가 많다. 임교수님은 평가 수가 높다. 강의 스킬이나 교육생과의

교감에 차이가 많다.

Q. 산림교육원 교육평가 심의 원회의 구성원에는 어떤 분이 계신가?

A. 원장님, 산림교육원 2개과의 과장님, 담당사무 , 실무자 이 게 구성되어

있다.

Q. 1년 교육생은 몇 명 정도 되는가?

A. 보통 10,000명 정도 되고, 집합교육보다 온라인 교육이 더 많아 45% 55%

정도 된다.

- 119 -

Q. 온라인 교육은 형식 이지 않은가?

A. 그것이 문제이기는 하다.

Q. 온라인 교육은 평가 어떻게 이루어지는가?

A. 일부 과정은 평가에서 60 이상이 되어야 수료할 수 있도록 하고 있다.

Q. 온라인 교육에서는 만족도 평가를 수행하지 않는가?

A. 만족도 평가는 수행하지 않고 성취도 평가만 실시하고 있다.

Q. 온라인 과정도 사 /사후 평가가 동시에 실시되고 있는가?

A. 사후 평가로만 하고 있다.

Q. 다른 기 과 력하여 수행하는 교육과정이나 과정 평가가 있는가?

A. 본 기 에서는 업교육과정이 많다. 를 들어, 국방부와 업해 산불담당

자 과정을 개설하고 군인들을 상으로 교육을 실시한다. 기상청과도 빅데

이터 활용과 련해 교육과정을 올해 개설하 다. 이런 업 교육과정의

경우 평가는 주로 만족도 조사를 주로 진행되고 있다. 사서교육도 다른

기 과 업할 수 있을 것이라 생각된다.

4.4.3 시사

장조사를 통한 시사 을 다음과 같다. 국가인재개발원의 경우, 첫째, 체계

인 평가체계를 갖추고 평가를 실시하고 있으며, 1단계인 만족도평가는 체

과정을 상으로 수행하고, 2단계는 학업성취도 평가로서 성 을 평가해야 하

는 교과목을 상으로 과정 담당자가 수행한다. 3단계는 체 과정이 아닌, 태

도변화를 측정할 수 있는 과목에 한하여 1년에 한 번씩 계획을 수립해서 진행

하고, 4단계 평가는 연말에 교육과정에 한 반 인 성과평가를 진행하는

정도로 실시 이다. 둘째, 평가주체의 확 를 통해 교육운 주체 간 삼각형

- 120 -

모양(교육생, 기 , 강사)의 상호 다면평가가 이루어지도록 개선하 다. 셋째,

2단계 성취도 평가는 사 /사후 평가를 실시하고, 3단계 업 용도 평가는

수료 2-3개월 후에 응답률 제고를 해 온라인 설문 방식으로 진행한다. 넷

째, 4단계 평가는 조직에 얼마나 기여하는지를 평가하는 것이기 때문에, 교육

의 효과만으로 조직에 어떻게 기여하 는지 그 원인 요인을 명확히 분리하여

평가하는 것이 필요하다.

산림교육원의 경우, 첫째, 산림교육원 교육평가 심의 원회를 구성하여 운

하고 있다. 둘째, 2단계 성취도 평가는 직무와 련된 교과목을 상으로

사 사후 평가를 실시하고 있고, 성 우수자에게는 문화상품권을 지 하

여 유인효과를 제고한다. 셋째, 업 용도 설문조사를 실시할 때는 3-6개월

후에 직무로의 이가 되었는지 평가하는데, 2016년 재 보통 4-5개 과정을

상으로 10-11월에 권역별로 교육생 소속기 에 방문하여 상사와 동료에 의

한 다면평가로 진행하고 있다. 넷째, 다른 기 과 력하여 수행하는 업교육

과정이 상당히 호응을 얻고 있는데, 이 경우 평가는 주로 만족도 조사로 실시

하고 있다.


제5장 이해관계자 요구 분석

5.1 포커스 그룹 인터뷰(FGI) 조사

5.2 문가 자문회의

5.3 시사

- 123 -

No 구분 분야 소속 직위 경력

1 운영자 연수기관국립중앙도서관

사서교육문화과주무관 15

2 운영자 연수기관국립중앙도서관

사서교육문화과주무관 10

3 교육생 공공도서관 마포서강도서관 관장 20

4 교육생 공공도서관 의왕시 내손도서관 주무관 10

5 교육생 대학도서관 세종대 학술정보원 주임 18

<표 5-1> 포커스 그룹 인터뷰 참여 패

제5장 이해 계자 요구 분석

5.1 포커스 그룹 인터뷰(FGI) 조사

5.1.1 조사 상

포커스 그룹 인터뷰(FGI) 연구 참여자 모집 단계에서 연구 참여자의 선정은

연구 목 에 합한 목 표집 방법에 의해 선정하 다(Merriam, 1994). 즉,

국립 앙도서 사서교육훈련 교육운 담당자 2명, 공공도서 , 학도서 ,

문도서 등 일선 도서 의 국립 앙도서 사서교육훈련 교육 로그램

평가 참여 교육생 5명을 포커스 그룹 인터뷰(FGI) 참여자로 선정하 다. 각

도서 장에서 사서교육훈련에 직 참여하여 평가를 진행한 경험이 있어

사서교육훈련 평가에 한 공감 를 형성할 수 있는 교육생과 국립 앙도서

사서교육훈련 교육과정 운 의 담당자로서 직 교육과정을 운 하고 평가를

주 한 경험이 있는 운 자를 각각 상자로 선정함으로써 집단을 표할 만

한 일반 인 속성을 반 하고자 하 다.

- 124 -

인터

뷰

단계

질문 항목 질문 내용

질

문

No

시작

단계

사서교육훈련 평가에

대한 인식 및 태도

- 국립중앙도서관 사서교육훈련 참여에 대한 전

반적 경험 및 의견Q1

이행

및

핵심

단계

사서교육

프로그램

평가현황

분석 및

문제점

평가단계,

평가방법

- 현재 국립중앙도서관 사서교육훈련의 단계

별 분류기준 및 평가실시 프로세스의 체계

성(운영자)

- 1단계 반응평가(만족도)의 경험과 평가방법

의 적절성

- 2단계 학습평가(학업성취도)의 경험과 평가

방법의 적절성

- 3단계 행동평가(현업적용도)의 경험과 평가

방법의 적절성

- 4단계 결과평가(성과평가)의 필요성

Q2

Q3

Q4

Q5

Q6

평가주체- 국립중앙도서관 사서교육훈련 평가 주체 선

정의 적절성Q7

<표 5-2> 포커스 그룹 인터뷰 질문 내용

6 교육생 대학도서관 서강대 로욜라도서관 과장 13

7 교육생 전문도서관정보통신정책연구원

홍보자료팀팀장 25

5.1.2 조사 도구

본 연구는 국립 앙도서 사서교육훈련 교육생 교육과정 운 자를 상

으로 국립 앙도서 사서교육훈련 평가에 한 인식 태도 그리고 사서교

육 로그램의 평가 황 분석 문제 등의 악을 통해 국립 앙도서 사

서교육훈련 평가체계 평가도구의 한 개선방안을 도출하기 하여 <표

5-2>와 같은 인터뷰 질문 내용을 설정하 다.

- 125 -

종결

단계

국립중앙도서관

사서교육훈련

평가체계 및

평가도구 개선안

- 국립중앙도서관 사서교육훈련 평가체계 및

도구에 대한 전반적인 문제점과 개선방안

(교육생)

- 국립중앙도서관 사서교육훈련 평가의 애로사

항과 개선방안(운영자)

Q8

Q9

5.1.3 조사 결과

포커스 그룹 인터뷰 자료의 분석은 녹취록을 여러 번 읽으면서 핵심 내용을

심으로 내용 분석을 하며 의미 발견(코딩)→코드 묶음→핵심범주 도출→주제

도출 등과 같은 방식으로 분석을 정교화 한다. 인터뷰 과정을 통해 얻어진 자

료는 참여자별로 간략 기록의 형태로 옮겨진 뒤, 확인된 정보는 주제별로 분류

기 을 설정한다. 자료를 정확하게 분류를 했는지 검토하며, 련 없는 정보들

을 찾아서 신 하게 재검토해서 따로 표시하는 작업을 수행한다. 마지막으로,

설정한 주제들 간의 연 성을 탐색하여 범주와 하 범주를 결정한다(Merriam

1994). 이 게 자료의 단 화(unitization) 범주화(categorization)의 원칙을

사용하여 기존 국립 앙도서 사서교육 로그램을 평가하고, 사서교육훈련 효

과성 검증을 한 평가도구 개발에 한 심층 인 이해를 도출한다.

그래서 본 연구에서 모든 인터뷰 내용은 문헌정보학 분야 연구원으로 구성

된 코더(coder)가 빠짐없이 기록하고 녹취하 으며, 수집된 자료는 내용분석

(Content Analysis)으로 유목을 분류하여 단 화 범주화를 수행하 다. 유

목 분류과정에서 일치하지 않는 항목에 해서는 연구자와 코더들과의 토론을

통해 일치시켜서 정리하 다. 인터뷰는 크게 3가지 역 6가지 세부항목을

심으로 진행하 다. 상세한 포커스 그룹 인터뷰(FGI) 조사결과는 아래 <표

5-3>～<표 5-6>과 같다.

- 126 -

질문 인터뷰 내용 요약

Q1. 국립중앙도서관

사서교육훈련 참여

에 대한 전반적 경

험에 말씀해 주세

요.

<교육생>

비슷한 고민을 가지고 있는 사람들과 고민을 함께 교류하

고 알아갈 수 있어 좋다. (연구참여자 3)

서로의 경험을 나누기 위해 왔지만, 개론수업만 받고 간다

는 느낌을 받는다. (연구참여자 6)

요즘에는 7-8년 전에 비해 분임토의나 발표에 강제성이

없는 듯 이전에 비해 느슨해진 느낌을 받는다. (연구참여자

4)

전반적으로 만족스럽지만 예전에 비해 교육기간이 짧아진

것 같아 아쉽다. (연구참여자 7)

도서관 업무 중 인수인계에서 부족한 부분을 교육을 통해

채울 수 있었다. (연구참여자 5)

<운영자>

최근 몇 년 사이에 교육과정 수가 배가 넘을 정도로 많이

늘어났고, 도서관내 순환보직을 하다 보니 2년차 쯤 되면

어느 정도 업무를 파악해 감이 오는데 곧 다른 부서로 이

동을 해야 해서 인수인계가 잘 되지 않는 문제점이 있다.

또한 다양한 관종별, 지역별로 교육에 대한 요구사항이 제

각각인 점도 어려운 요인 중 하나인데, 이런 다양한 관종,

지역의 교육과정에 대한 요구와 수요를 충족시키는 문제가

힘들게 느껴진다. (연구참여자 1)

사서교육훈련 교육과정 운영자로서 교육생들의 자세나 설

문조사 결과를 보면 어떤 불만이 있는지 느껴지는데, 그것

들을 어떻게 개선해야 할지 고민하게 된다. 현재 사서교육

훈련 과정에서의 교육 전후의 태도 변화 평가, 학습내용

인지에 대한 평가, 2단계 성취도 평가에서의 전후 평가 도

입 등 체계적인 평가체계를 구축하여 시행하면 어떤 교육

결과가 나올지 기대된다. (연구참여자 2)

- 인 적 교 류 의

장이 되고,

업무의 부족

한 부분을

보완

- 교육이 느슨

해졌으며, 교

육기간이 짧

아짐

- 교육과정 운

영의 순환보

직으로 인한

문제점 발생

됨

- 다양한 관종,

지역의 교육

요구와 수요

충족 필요

<표 5-3> 사서교육훈련 평가에 한 인식 태도

- 127 -


Q2. 현재 국립중앙도서관

에서는 사서교육훈련의 평

가를 1단계(전체과정), 2단

계(신임사서기본과정), 3단

계(KDC자료분류 등 4개

과정)으로 운영하고 있는

데, 현재 국립중앙도서관

사서교육훈련은 단계별 분

류기준 및 평가실시 프로

세스가 체계적으로 이루어

졌는가?(운영자)

<운영자>

현재 1단계 평가에만 머물러 있는 상황이고, 2단

계 평가까지는 전 과정으로 확대되어야 한다. 3

단계 평가에서 상사, 동료 등이 참여하는 다면평

가를 하기 위해서는 여러 부분을 먼저 고민해 봐

야 할 것이다. (연구참여자 2)

공무원은 교육을 받은 시점과 평가 시점에 근무

부서가 바뀌는 경우가 발생하여, 교육생들만 대

상으로 3단계 평가를 수행하고 있다. 따라서 진

정한 3단계 평가를 실시하는 데 어려움이 있고,

4단계 평가는 실질적으로 하지 못하고 있다. (연

구참여자 1)

- 1단계 평가는

전 과 정 에 서

실시중, 2단

계 평가는 확

대 필요, 3,4

단계 평가는

어려움이 있

음

Q3. 국립중앙도서관 사서

교육훈련은 전체 교육과정

이 거의 만족도(강사, 과

정) 설문조사를 진행중인

데, 국립중앙도서관 사서교

육훈련의 1단계 반응평가

(만족도)는 어떠한가? 1단

계 반응평가(만족도)의 방

법은 평가 목적, 평가 내

용, 평가 대상자 등을 고려

하여 적절하게 구성되었는

가?

<교육생>

공무원이라 지방행정연수원 등 다른 교육기관에

서도 교육경험이 많은데, 다른 교육기관과 평가

문항이 대동소이하다. (연구참여자 7)

문항에 관련 없이 평가의 결과에 따라 강사에게

부작용이 있을 것 같아 정확히 답변하지 않기도

하다. (연구참여자 5)

교육과정 전반적으로 불만족스러운 부분이 있었

는데, 과정 하나하나를 생각하다 보면 지엽적인

부분에 초점을 맞추게 돼 강의 전체에 대한 적절

한 의견이 반영되지 않기도 하다. (연구참여자 3)

<운영자>

교육 마지막 단계에 한꺼번에 평가하는 것이 아

니라, 그날 들었던 교육은 매일 그날 평가하는

게 좋을 것 같고, 평가주체를 다각화하여 평가할

수 있으면 좋겠다. (연구참여자 2)

- 다른 교육기

관과 평가문

항 대동소이

- 전반적인 강

의평가가 어

려움

- 매일 평가와

다각화 평가

가 필요


교육훈련의 2단계 학습평

가(학업성취도)는 교육훈련

의 성취도를 평가하기 위

한 목적으로 ‘신임사서기

본과정’ 등에서 ‘설문지,

필기시험’의 형식으로 실

<교육생>

편안하게 교육을 받으러 왔는데 과제나 특별한

평가가 따로 부과된다면 내키지 않을 것이다.

(연구참여자 3, 연구참여자 4, 연구참여자 7)

교육을 통해 장기적으로 그 효과가 발휘될 수 있

기 때문에, 단기간에 얼마 만큼의 지식을 쌓았는

지 만 평가하는 것은 부적합하다. (연구참여자 3)

변별력, 신뢰도, 타당도가 증명된 설문지를 설계

- 2단계 평가가

교 육 생 에 게

부담으로 작

용할 것

- 장 기 적 으 로

발휘될 교육

효과를 평가

하지 못하는

<표 5-4> 사서교육 로그램 평가 황 분석 문제

: 평가단계 평가방법

- 128 -

시했는데, 성취도 평가 경

험이 있는지? 경험이 있다

면 어떠했나요?

2단계 학습평가(학업성취

도)의 방법은 평가 목적,

평가 내용, 평가 대상자 등

을 고려하여 적절하게 구

성되었는가?

하는 것조차 어려울 것이라고 생각한다. (연구참

여자 4)

<운영자>

모든 과정에 적용하면 교육생들의 만족도가 떨어

질 것이다. (연구참여자 1)

인식 변화에 대해서만 사전-사후 평가를 실시하

는 것이 바람직할 것이다. (연구참여자 2)

우를 범함

- 설문지나 평가

도구 설계가

어려울 것

- 교육과정 전

후 인식 변화

에 대해서만

평가 바람직


교육훈련 3단계 행동평가

(현업적용도 평가)는 교육

대상자가 교육의 참여내용

의 실제업무에 활용여부를

평가하는 단계입니다. 기존

의 사서교육훈련 프로그램

은 ‘KDC 자료분류, 도서

관 이용관리, DDC 자료분

류, 통합서지용 KORMARC

형식’ 등의 과정에 대한

현업적용도 평가가 설문을

통하여 이루어졌으며, 교육

내용의 직무수행 도움, 직

무관련성, 업무활용도, 업

무이해력 등이 평가되었습

니다.

3단계 행동평가(현업적용

도)의 방법은 평가 목적,

평가 내용, 평가 대상자 등

을 고려하여 적절하게 구

성되었는가?

<교육생>

‘나’라는 주체를 대상으로 평가에 참여하기 때

문에 1단계 평가보다 의견을 잘 표현할 수 있었

지만, 교육 후 업무 향상에 도움을 줬는지 평가

하는 것은 쉽지 않았다. (연구참여자 5)

‘분류’에 대한 교육과정을 수강했었는데, 지자

체에 소속된 도서관 사서들은 대체로 분류 업무

를 외부에 아웃소싱하는 상황이기 때문에 현업에

적용하는 데 한계가 있었고, 평가도 어려웠다.

(연구참여자 4)

설사 당장 현업에 적용할 수 없는 교육과정이라

해도 교육 내용이 어떻해서든 업무에 도움이 될

수 있기 때문에 교육 전 과정에 적용해도 좋다고

생각한다. (연구참여자 5)

<운영자>

사서가 전문가가 아니기 때문에 과정 성격에 맞

는 문항을 매번 구성하기가 어려워, 전문가가 문

항을 개발해주면 좋겠다. 또한 기존에는 여건상

11월에 일괄적으로 설문을 진행하였기 때문에 교

육 후 3-6개월 사이의 교육생 뿐 아니라 그 외

의 교육생도 함께 평가하게 되어 분석 결과가 제

대로 측정되었는지 의문스럽기도 하였다. (연구

참여자 1)

현업에 적용할 수 있는 교육생과 그렇지 않은 교

육생을 구분하여 평가할 수 있는 장치가 필요하

다. (연구참여자 2)

- 1단계 평가보

다 의견을 표

현하기가 더

좋음

- 평가 대상에

대해 고려할

필요가 있음

- 평가 시점에

따른 한계가

있음


교육훈련과정에서도 4단계

성과평가가 필요하다고 생

각하는지요?(ROI, 조직성

과 평가)

<교육생>

교육비, 출장비 등 투입비용을 선정하는 것부터

가 모호하다. 다른 기관의 교육도 들어야 하는

데, 국립중앙도서관의 교육만 별도로 분리하여

조직성과를 평가하는 것도 어려울 것이다. (연구

참여자 6)

도서관에서 교육과정 참여의 성과를 수치화하는

것이 부적합하다. (연구참여자 7)

- 사서교육훈련

평가에서 4단

계 평가를 도

입하는 것은

무리임

- 129 -


Q7. 국립중앙도서관

사서교육훈련 평가

의 주체(교육생, 상

사, 동료 등)는 단

계별로 적절히 선정

되고 있는가?

<교육생>

3단계 현업적용도 평가에서 업무의 내용을 잘 모르는 동

료 및 상사가 해당 업무를 평가하는 데에 한계가 있을 것

같다. (연구참여자 5, 연구참여자 6)

3단계 평가에서 평가주체를 동료나 상사로 확대하는 것은

교육생(평가대상자)에 대한 개인적인 감정이 반영될 수

있고, 업무 자체에 부담이 될 것이다. (연구참여자 7)

특히 학교도서관은 1인 체제라 동료나 상사가 참여하는

다면평가를 하기 어려운 현실이다. (연구참여자 4)

3단계 평가에서 상사나 동료로 평가주체를 확대하는 다면

평가의 경우 공무원 조직에 한해 적용하는 것이 바람직하


<운영자>

국립중앙도서관이 사서교육훈련 평가 주체를 상사, 동료 등

으로 확대하면 좋겠지만, 현실적으로 불가능한 경우가 너무

많아서 지금은 수료자 교육생 만 대상으로 하고 있다. 상

사, 동료 평가로 확대한다면 평가에 대한 응답율을 확보하

는 것이 우선적으로 요구되어질 것이다. (연구참여자 1)

- 동료, 상사에

대한 다면평

가에 한계가

있음

<표 5-5> 사서교육 로그램 평가 황 분석 문제 : 평가주체

특정 자격증 과정 등을 개설하여 그 교육과정에

대한 성과를 측정하는 방향은 가능할 수도 있을

것 같다. (연구참여자 4)

도서관 업무 성과는 설문으로 측정할 수 있는 것

이 아니기 때문에, 4단계 평가를 도입하더라도

현업적용도 평가를 상사-동료로 확대하는 수준

에 그칠 것이다. 정확한 4단계 평가 측정을 위해

서는 별도의 연구용역이 필요하다고 본다. (연구

참여자 4)

<운영자>

국립중앙도서관이 공무원 교육훈련기관이기 때문

에 인사혁신처에서 4단계 평가를 하느냐에 대한

평가 요소가 포함되어 있다. 그래서 매년 4단계

평가를 할 것이라는 계획을 수립하였지만 현실적

인 어려움으로 인해 제대로 수행되지 못하고 있


8-9급 신임공무원을 대상으로 운영되는 신임사

서기본과정에 적용하는 것은 가능할 수도 있을

것이다. (연구참여자 2)

- 130 -


Q8. 국립중앙도

서관 사서교육훈

련 평가체계 및

도구에 대한 (가

장 큰) 전반적인

문제점과 그 개선

방안에 대한 의견

이 있으면 자유롭

게 말씀해 주십시

오.(교육생)

<교육생>

사서교육훈련 과정에서 평가를 위한 평가는 의미가 없고, 교

육의 질을 향상시킬 수 있는 평가가 필요하다. (연구참여자

3, 연구참여자 4)

교육훈련 평가의 목적이 가치있는 교육을 위한 평가여야 한


국립중앙도서관 사서교육훈련 체계의 인력 보강, 예산 증액

없이 평가체계만 개선하는 것은 문제가 있다. (연구참여자 4)

교육과정 마지막에 평가를 하다 보면 이전의 교육 내용이 생

각나지 않아, 매일 평가를 하는 것이 좋다고 생각한다. (연구

참여자 5)

교육생의 입장에서는 솔직히 제대로 된 1단계 평가만으로 충

분하다고 본다. (연구참여자 3, 연구참여자 7)

교육생들에게 교육과정이 필요하다는 확실한 인식을 심어주

면 평가 설문 응답률에 좋은 영향을 줄 것이다. (연구참여자

5)

교육생의 평가 피드백이 없는 경우에는 다음 교육 신청에 제

한을 주는 것도 응답률을 높일 수 있는 방법일 것이다. (연구

참여자 4)

교육과정 평가를 위해 로그인을 하는 절차가 번거롭다고 느

껴진다. 공직메일 계정을 연동하거나, 휴대폰 전화번호 인증

정도 만으로도 평가를 수행할 수 있다면 응답률을 높일 수

있을 것이라 생각한다. (연구참여자 7)

- 평가체계 개

선 이전에

교육훈련 체

계 전반 사

항을 고려해

야 함

- 매일 평가가

이루지도록

평가시기 개

선 필요

Q9. 국립중앙도

서관 사서교육훈

련 평가의 (가장

큰)애로사항과 그

개선방안에 대한

의견이 있으면 자

유롭게 말씀해 주

십시오.(운영자)

<운영자>

평가를 위한 설문 참여율이 낮아 전화, 홈페이지 접속, 기프

티콘 제공 등 다양한 방법을 활용해 보았지만 여전히 참여율

이 낮다. 3단계 평가의 경우 3~4개월 후에 실시되는 온라인

평가에 참여하는 경우에 한해 수료 처리를 하는 방안도 고민

해 보았지만, 교육과정 종료 후 당장 교육점수가 필요한 교육

생도 있어서 시행하지 못했다. 또한 작금의 스마트 환경에서

모바일로 평가에 참여할 수 있는 평가시스템 고도화가 필요

하다. (연구참여자 1)

제대로 된 체계화된 평가를 위해서는 결국은 별도의 평가조

직 또는 전문인력이 필요하다고 생각한다. (연구참여자 2)

- 설문 응답률

등 평가피드

백 향상을

위한 방안이

필요함

- 체계화된 평

가를 위해서

는 별도의

평가조직 또

는 전문인력

이 필요함

<표 5-6> 국립 앙도서 사서교육훈련 평가체계 도구 개선안

- 131 -

No 구분 분야 소속 직위 경력 비고

1 연구자 문헌정보학 한성대

문헌정보학과교수 7년

2 연구자 교육학 중앙대 교육학과 교수 16년

3현장

전문가

도서관 관련

협회한국도서관협회 차장 16년

도서관 관련

단체

4현장

전문가도서관 현장

인천시

도서관발전진흥원

운영과

팀장 15년 공공도서관

5현장

전문가도서관 현장

상명대

중앙도서관팀장 23년 대학도서관

6연수

전문가

교육훈련기관

(공무원교육)

국가공무원

인재개발원

전문

경력

관

11년

<표 5-7> 문가 자문회의 참여 문가 구성

5.2 문가 자문회의

5.2.1 문가 자문 원 구성

본 사서교육훈련 효과성 입증을 한 평가도구 개발 연구의 사서교육 로

그램 평가범주, 평가문항, 평가방안, 평가도구의 설계 방향 등에 한 종합

인 자문을 구하기 한 문가 자문 원은 국내 문헌정보학계, 연구기 문

가, 교육훈련기 문가로서 10년 이상 경력을 가진 문가로 구성하 다.

즉, 문헌정보학 분야 연구자, 교육학 분야 연구자, 도서 련 문단체 문

가, 교육훈련기 문가 일선 도서 의 사서교육훈련 교육 로그램 기

획․평가에 련된 장 문가 등 6명을 문가 자문 원으로 선정하 다.

자세한 문가 자문 원 구성은 아래 <표 7>과 같다.

- 132 -

구분 제시 의견 요약

국 립 중 앙 도

서관 사서교

육훈련 평가

체계에 대한

전반적인 인

식 및 발

전 · 개 선 방

향

현업에서의 적용 여부를 정확하게 평가하기

위해서는 현재 진행되는 교육과정에 대한 정

성적 평가도 함께 수행되어야 할 것. 또한 평

가체계와 더불어 사서교육훈련의 전반적인 교

육과정도 함께 개선되어야 함. (전문가 6)

다각화 평가를 수행하기에 앞서 현장을 제대

로 이해해야 정확한 피드백이 이루어질 수 있

음. 사이버교육과정에도 2단계 평가가 도입될

필요가 있음. (전문가 5)

직무 교육과정에서는 2단계 평가가 반드시

필요하며, 교육 전후를 비교하는 것만으로도

충분히 교육 효과성을 측정할 수 있음. 만약

교육생이 주관식으로 본인의 수준을 측정토록

- 정량적 평가와

함께 정성적

평가도 함께

수행될 필요

- 다각화 평가에

앞서 현장에

대한 이해

필요

- 직무교육은

2단계 평가를

실시해야 함

- 국립중앙도서

관의 교육과정

<표 5-8> 문가 자문회의 결과

5.2.2 자문회의 결과

문가 자문회의는 2017년 1월 6일 요일 14:00부터 16:30까지 국립 앙도

서 사서연수 회의실에서 개최되었으며, 각 문가들이 ‘국립 앙도서 사

서교육훈련 평가체계에 한 반 인 인식 발 ·개선방향’, ‘본 연구 간

보고서에 한 검토의견 향후 연구 추진방안 제시’, ‘국립 앙도서 사서

교육훈련에 한 4단계 평가 실시 방안 평가도구 개발에 한 의견’, ‘국립

앙도서 사서교육훈련 평가체계 개선방안 본 연구 추진과 련된 자유

의견’ 등 4가지 주제 역에 해서 자유롭게 의사를 개진하는 방식으로 진행

되었다. 모든 회의 내용은 문헌정보학 분야 연구원으로 구성된 코더(Coder)가

빠짐없이 기록하고 녹취하 으며, 수집된 자료는 내용분석(Content Analysis)

으로 유목을 분류하여 단 화 범주화를 수행하 다. 유목 분류과정에서 일

치하지 않는 항목에 해서는 연구자와 코더들과의 토론을 통해 일치시켜서

정리하 다. 크게 4가지 주제 역으로 정리된 상세한 자문회의 결과는 아래

<표 5-8>과 같다.

- 133 -

한다면 교과내용이 반영된 구체적인 문항으로

설문이 구성되어져야 함. (전문가 2)

국립중앙도서관의 교육훈련평가 전문가가 없

는 상황에서 교육과정 운영 및 평가의 시스템

화가 절대 필요함. 평가 관련 부수적인 업무

가 시스템 상에서 자동적으로 이루어질 수 있

도록 해야 할 것. (전문가 2)

평가 주체가 교육생뿐 아니라 다각적인 평가

가 이루어져야 하며, 평가에 강사 간, 교육내

용 간 차이가 반영될 수 있는 방법이 마련되

어야 할 것. (전문가 1)

사서교육훈련 교육과정 시작 전에 교육생들의

수준을 측정하여, 그룹의 특성과 요구에 따라

교육을 진행할 수 있도록 조절하면 좋을 것.

(전문가 4)

운영 및

평가의

시스템화가

절대 필요

- 다각화된

평가가 필요함

- 교육생 수준에

따라

프로그램을

운영할 수

있도록 해야

함

본 연구 중

간 보 고 서 에

대한 검토의

견 및 향후

연구 추진방

안 제시

전문과정이 아닌 교양 과정은 사전평가에 맞

지 않고, 사서교육훈련에 맞는 특화된 평가항

목 및 문항 개발 필요 (전문가 3)

평가체계에서 각 교육과정의 분류가 NCS(국

가직무능력표준) 등을 적용하여 표준화되어야

함 (전문가 3)

체계적인 문항 분석이나 SMART 기법을 활용

한 AHP 방법, 측정모형의 활용, 전문가 회의

등을 통해 평가문항 개발의 객관화 필요. (전

문가 3)

교과과정을 카테고리화하여 각 카테고리별로

평가수준, 평가문항을 달리 구성해야 함. (전

문가 2)

‘동화구연(신규)’ 과정은 사전/사후 평가가

이루어지기 힘든 과정으로 판단됨. (전문가

2)

새로운 지식 습득이 가능한 교육과정은 2단

계 평가의 대상으로, 이론이 아닌 현업 적용

이 가능한 교육과정은 3단계 평가의 대상으

로 구분이 이루어져야 함. (전문가 2)

- 사서교육훈련

에 맞는

특화된

평가항목 및

문항 개발

필요

- 교육과정의

분류가 NCS

(국가직무능력

표준) 등을

적용하여

표준화 작업

필요

- 교과과정을

카테고리화하

여 각

카테고리별로

평가수준,

평가문항을

달리 구성

-

- 134 -

국립중앙도서

관 사서교육

훈련에 대한

4단계 평가

실시 방안 및

평가도구 개

발에 대한 의

견

도서관 운영평가 결과를 4단계 평가에 활용

하는 경우, 지표에 부합하는 교육과정의 운영

효과를 도서관 평가 결과와 연결시킨다는 것

은 자칫 작위적인 평가가 될 수 있다는 우려

가 있음. (전문가 2)

도서관 이용자를 대상으로 한 도서관서비스

만족도 조사결과를 조직 성과로 보고, 교육생

을 대상으로 한 교육성과 인식도 평가를 실시

하고 그 결과를 연계하여 4단계 평가를 실시

하는 것도 하나의 방법이 될 수 있음. (전문

가 2)

꼭 4단계 평가를 실시해야 한다면 교육과정

중 서평 쓰기나 기획서 작성과 같이 4단계

평가가 가능한 교과를 선정하여 그 결과물을

통해 측정하는 것도 한 방안이 될 수 있을

것. (전문가 6)

KDC, DDC, 통계 관련 교육과정을 들은 후

현업에서 결과보고서 작성과 같은 교육성과를

4단계 평가지표로 삼는 것도 한 방법일 것.

(전문가 4)

도서관과 같은 공공기관의 경우 교육 효과를

조직성과와 연결시키는 것이 쉽지 않으므로,

시범적으로 4단계 평가 실시 가이드라인을

제시하는 정도가 최선이 될 것. (전문가 3)

- 작위적인 평가

가 되지 않도

록 해야 함

- 도서관서비스

만족도 조사와

교육생 교육성

과 인식도 평

가를 연계하여

실시할 수 있

음

- 4단계 평가가

가능한 교과과

정을 선정하는

것 필요

- 4단계 평가는

시범적으로 가

이드라인을 제

시하는 정도도

충분함

국립중앙도서

관 사서교육

훈련 평가체

계 개선방안

및 본 연구

추진과 관련

된 자유의견

교육생의 연령, 직무 경험 등을 파악하여 교

육과정 평가 결과에서 그 차이를 살펴보거나,

참여율이 높은 기관가 그렇지 않은 기관 간의

차이도 파악해 보면 의미가 있을 것. (전문가

6)

교육프로그램이 얼마나 효과적인지 파악된 이

후에 조직 성과를 파악해야 함. 교육생들이

얼마나 만족하고 그 프로그램이 직무능력 개

선에 효과적인지가 교육훈련의 핵심이므로,

이를 제대로 평가하기 위한 방향으로 연구가

- 교육생의

정보를 적절히

파악하여

평가에 반영할

수 있도록 함

- 교육프로그램

이 얼마나

효과적인지

파악된 이후에

조직 성과의

- 135 -

중점적으로 수행되어야 할 것. (전문가 2)

앞으로의 연구 진행에 있어서 국립중앙도서관

사서교육훈련을 위한 구체적인 평가체계 및

과학적이고 객관적인 교육훈련 프로그램 평가

도구 개발 필요. (전문가 3)

평가 필요함

- 향후 연구는

구체적인

평가체계 및

객관적인

교육훈련

평가도구

개발에 집중

필요

5.3 시사

이상의 이해 계자 분석을 종합하면 다음과 같다. 첫째, 2단계 평가는 확

할 필요가 있다. 그러나 3,4단계 평가는 시행 상에 어려움이 있으므로 이를 고

려하여 실시하는 것이 필요하다. 둘째, 재 사용하는 1단계 평가문항은 반

인 강의 강사평가에 치 되어 있으므로 교육 종료 직후 평가를 매일 실

시하는 것과 평가문항의 다각화가 요구된다. 셋째, 모든 교육과정에 2단계 평

가를 용할 경우, 교육생에게 부담이 될 수 있다. 특히 사서교육 로그램 과

정이 의무가 아닌 선택과정임을 고려할 때 필기평가의 방법을 2단계에 용하

는 것은 한계가 있다. 그러므로 2단계 평가 용과정을 선택한 뒤, 신임사서과

정 이외의 과정은 인식기반의 학업성취도 설문조사 등을 실시하는 것을 고려

할 수 있다. 넷째, 사서교육 로그램 자체가 실무에 투입되는 사서의 직무능력

을 증진시키는 것을 목 으로 하므로, 3단계의 업 용도 확 는 필요하다.

그러나 평가주체를 동료나 상사로 확 하는 것은 교육생의 교육내용 보다는

개인 인 평가가 반 될 수 있으며, 학교도서 이나 작은 도서 은 1인 체제

로 운 되는 경우가 많아 다면평가를 실시하기 어렵다. 다섯째, 사서교육 로

그램에서 4단계 평가를 도입하는 것은 신 할 필요가 있다. 실제 교육 상자

들이 속한 기 의 성과를 측정하는 것이 실 으로 용이하지 않으며, 교육내

- 136 -

용과 성과 사이의 다양한 변수를 통제하기가 쉽지 않다. 그러므로 평가결과의

신뢰성을 확보하는 것이 어렵다. 이에 인식을 기반으로 한 설문조사 등의

실 으로 가능한 방법을 고려할 수 있다. 여섯째, 평가 상자의 응답률 등 평

가피드백 향상을 한 방안이 마련되어야 한다. 마지막으로 체계화된 평가를

해서는 별도의 평가조직 는 문인력이 필요하다. 산 인 자원의 확

없이는 효율 인 평가가 이루어지기 어렵다.


제6장 사서교육훈련 평가지표

6.1 사서교육훈련 (新)평가체계 개발

6.2 사서교육훈련 4단계 평가도구

- 139 -

구분 분석결과 시사점

문헌분석

결과분석

∙평가체계구축 시 주로 Kirkpatrick 모형 사용

∙Kirkpatrick 모형의 지표 간의 상관성 및 위계적

상관관계가 있음

∙상위단계(3,4수준) 평가 시 비용과 시간이 요구

되고 측정이 용이하지 않기 때문에 과정에 대한

평가단계를 결정하는 의사결정 기준이 필요

∙1단계평가는 모든 교육에서 기본적으로 실시

∙2단계평가는 측정가능성 및 측정필요성을 고려하

여 평가여부 결정

∙3단계 평가는 교육투입의 적절성, 현업적용의 가

치, 현업적용 고려과정개발, 평가지원 획득여부,

측정가능성을 고려하여 실시 여부 및 대상 교육

과정 결정

∙4단계 평가는 전략목표 달성과의 관련성, 투자

성, 경영성과 기여도 및 ROI 측정가능성 을 고려

하여 실시 여부 및 대상 교육과정 결정

∙과정에 적합한 평가시기, 평가영역, 평가문항,

평가주체의 선택이 중요

∙평가체계 구축을 위해

Kirkpatrick 모형을 기본

모형으로 사용

∙2,3,4단계 평가 대상 선

정 기준 필요

∙교육과정과 수준별 평가

별 평가시기, 평가영역,

평가문항, 평가주체 선정

필요

∙다양한 평가주체가 다양

한 방법으로 평가에 참

여하는 것이 필요

제6장 사서교육훈련 평가지표

6.1 사서교육훈련 (新)평가체계 개발

6.1.1 국립 앙도서 사서교육훈련 평가체계 개발 방향

평가체계에 한 문헌연구, 국립 앙도서 사서교육훈련의 평가 체계 황

분석, 국내・외 우수기 의 평가체계 평가 사례 분석, 그리고 이해 계자

상 요구분석 결과들이 제시하는 시사 을 토 로 향후 국립 앙도서 사서

교육훈련의 평가체계가 지향해야 할 방향성을 설정할 수 있다. <표 6-1>은

문헌분석, 황분석, 요구분석의 주요 결과와 이들 결과로부터 도출할 수 있는

시사 을 요약한 것이다.

<표 6-1> 사서교육문화과 타 기 교육평가 황분석 시사

- 140 -

∙유효한 평가도구 및 지표를 도출하기 위해서는

사례조사, 전문가 및 교육훈련생의 참여가 중요

사서교육훈

련 교육평

가

체계분석

∙평가결과의 피드백 체계 구축 필요

∙교육과정별로 적용할 평가단계 재선정

∙평가단계 선정을 위한 교육과정 유형 재분류

∙단계별 평가도구 보완 및 개발

∙평가시기 조정 필요 : 사전・사후검사 이용

∙평가주체 다양화 : 이해관계자 참여 유도

∙설문평가 중심의 평가가 주를 이루고 있어서 다

양한 평가기법 활용 필요

∙소수의 교육담당자가 평가업무도 수행하고 있어

서 운영의 효과성 고려가 필요

∙4단계 성과평가 방안 연구 및 실시 필요

∙평가목적에 부합한 교육

평가체계 수립 필요

∙1,2,3,4 단계 평가 대상

선정 기준 마련

∙수준별 평가대상 과정

선정의 편의를 위한 교

육과정 유형 재분류 필

요

∙운영의 효과성을 고려한

평가기법 선정

∙4단계 성과평가 전략 수

립 필요

국내・외

타 기관

교육평가

체계분석

∙평가결과 피드백 시스템 구축

∙수준별 평가 대상 과정 선정 기준 수립 및 기준

에 따라 평가단계 결정

∙평가결과에 대한 명확한 해석을 위한 사전사후평

가 실시

∙기관 성격 및 교육의 특성에 따라 단계별 평가도

구 마련 및 지속적 보완

∙교육생, 강사, 과정 운영 담당자 등 다양한 주체

가 평가에 참여

∙의미 있는 평가 자료 수집을 위해 정량적 평가와

함께 정성적 평가가 가능한 평가기법 활용

∙운영의 효과성 고려하여 평가 역량이 있는 담당

자 배치, 4수준 성과평가의 아웃소싱 등을 운영

∙기관특성(교육내용, 교육생, 교육환경 등의 특성)

을 고려하여 4단계 성과평가 실시 여부 결정 및

평가 방안 마련

∙평가결과 피드백 시스템

이 고려된 평가체계 수

립 필요

∙수준별 평가 대상 과정

선정 기준 수립 및 기준

에 따라 평가 단계 결정

∙단계별 평가단계 마련

및 지속적 보완

∙다양한 주체가 평가에

참여

∙운영의 효과성, 효율성을

위한 인력 확보

이해관계자

의견분석

∙현재 국립중앙도서관 사서교육문화과에서는 1단

계 평가는 전 과정에서 실시, 2단계 평가는 확대

필요, 3,4단계 평가는 어려움이 있음

∙현재 사용하는 1단계 평가문항은 전반적인 강의

평가에 어려움이 있어서 매일 평가와 다각화 평

가 필요

∙모든 교육과정에 2단계 평가를 적용할 경우 교육

생에게 부담으로 작용할 수 있으므로, 교육과정

전후 인식 변화에 대해서만 평가하는 것이 바람

직할 것임

∙교육대상자 및 교육의

특성을 고려하여 2단계

평가 대상 교육과정 및

방법에 대한 고민 필요

∙설문평가의 신뢰도 확보

를 위해 응답률 향상 방

안 마련 필요

- 141 -

∙사서교육훈련 평가에서 4단계 평가를 도입하는

것은 아직 무리이며, 적용여부에 대한 신중한 검

토가 필요

∙설문평가의 경우 응답률을 높이기 위한 방안 마

련 필요

<표 6-1>의 내용으로부터 <그림 6-1>과 같은 국립 앙도서 사서교육훈

련 평가 체계의 방향을 도출할 수 있다. <그림 6-1>은 문헌분석, 사서교육훈

련 황분석, 국내외 타 기 사례 분석, 이해 계자 의견분석을 통한 시사

을 요약하고, 공통된 키워드를 도출하여 국립 앙도서 평가 체계의 방향성

을 제시한 것이다. <그림 6-1>에 제시된 것처럼 국립 앙도서 사서교육훈

련 신평가체계의 방향은 교육과정 유형별 맞춤형 평가, 평가도구와 방법의 다

양화, 평가결과 해석 활용의 효율성 확보이다. 각각의 구체 인 내용은 다

음과 같다.

<그림 6-1> 국립 앙도서 사서교육훈련 新평가체계의 방향성

- 142 -

첫째, 교육과정 유형별 맞춤형 평가의 제공이다. 선진 교육 로그램 평가

사례들은 교육 로그램의 목 에 맞는 고유한 평가모형을 개발하고, 과정 개

발 단계부터 체계 인 계획 하에 평가가 실시되어야 함을 강조하고 있다.

한, 재 국립 앙도서 사서교육훈련 평가체계의 가장 시 한 개선 사항은

획일화된 평가 도구의 활용 등 교육 로그램의 목 과 특성이 충분히 반 하

지 않은 평가의 실시이다. 사서교육문화과의 교육과정은 교육 상, 교육시기,

교육내용 등이 상이하기 때문에 각 과정들이 갖는 특성을 고려하여 교육과정

을 유형화하는 것이 필요하다. 교육과정 유형화를 통해 해당 교육과정에 참여

한 학습자들로부터 어떠한 종류의 평가 정보를 수집해야 하는지, 언제 정보를

수집해야 하는지 등을 결정할 수 있다. 본 연구에서는 평가의 각 단계별로 교

육과정을 유형화하고, 각 유형별로 합한 맞춤형 평가 도구를 개발할 것이다.

둘째, 평가도구와 방법의 다양화이다. 국내외 기 들 우수 사례들은 각

단계별로 다양한 평가도구와 방법을 활용하고 있다. 국내외 많은 교육기 들

과 국립 앙도서 사서교육 로그램은 여 히 설문조사 형식의 만족도 평가

에 의존하고 있다. 설문조사를 활용한 만족도 평가는 교육과정에 한 학습자

들의 인식 반응에 한 기본 자료를 손쉽게 수집할 수 있다는 강 을 갖고

있지만, 교육과정을 개선하고자 할 때 필요한 구체 인 정보를 얻는데 한계가

있다. 한 교육의 효과는 만족도만으로 단해서는 안되고 학업성취도, 업

용도 등 다양한 측면의 결과들을 토 로 단해야 하며, 이는 양 평가뿐만

아니라 질 평가를 통해 충분한 자료를 수집할 수 있다 따라서 재 활용하고

있는 평가방법 도구를 보다 다양화하여 양 평가와 질 평가를 통해 학

습자들로부터 다양한 정보를 수집하는 것이 필요하다. 이를 통해 재 만족도

평가에 의존하고 있는 국립 앙도서 사서교육 로그램의 성과 평가가 갖고

있는 한계를 극복할 수 있다.

셋째, 평가결과 해석 활용의 효율성 확보이다. 교육과정을 평가하는 첫

번째 목표는 교육과정의 지속 개선이다. 따라서 교육과정별로 수집된 평가결

과가 갖는 의미를 해석하고 활용하는 효율성을 확보하는 것은 매우 요하다.

우수 사례들은 교육과정에 참여하기 2-4주 부터 교육 참여 시 에 이르기까

- 143 -

지 다양한 시 에서 사 조사를 실시하여 교육과정 이후에 실시하는 조사결과

가 어떤 의미를 갖는지 해석하고 이를 교육개선에 활용하 다. 국립 앙도서

사서교육 로그램의 경우 사 평가를 실시하지 않아 만족도 평가, 학업성

취도 평가, 업 용도 평가를 실시한 경우에도 해당 평가 결과가 갖는 의미

를 정확하게 해석하는데 한계가 있다. 즉, 평가결과가 학습자들이 가지고 있는

본래의 특성이나 능력에 기인한 것인지, 교육의 성과로 인한 결과인지를 단

할 수 없다. 따라서 교육의 성과를 단하기 해서는 사 평가와 사후평가가

이루어져야 할 것이다.

6.1.2 국립 앙도서 사서교육훈련 新평가체계 수립 략

본 연구에서는 에서 설정한 방향성에 따라 국립 앙도서 사서교육훈련

의 신 평가체계를 <그림 6-2>와 같이 구축하 다. 국립 앙도서 사서교육

훈련의 新평가체계는 1) 교육 로그램의 지속 개선, 2) 교육 로그램 성과

평가 확인, 3) 교육 로그램의 효과성 검증의 세 가지 목 을 갖고 있다. 이

러한 목 을 달성하기 해 수립된 국립 앙도서 사서교육훈련의 신규 평가

체계의 기본 특성은 다음과 같다.

첫째, 국립 앙도서 사서교육훈련의 신규 평가 체계는 Kirkpatrick의 4단

계 평가모형을 기본 모형으로 사용한다. 즉, 교육훈련에 한 학습자들의 반응

(1단계), 학업성취도(2단계), 업 용도(3단계), 그리고 교육 훈련의 결과(4단

계)를 분석·평가하는 4단계이다. 이를 해 본 연구를 교육 로그램별 평가단

계 구분을 한 구체 인 가이드라인을 제시하 다.

둘째, 교육 로그램을 특징에 따라 유형화하고 각 유형별 평가자료 내용과

수집방법을 다르게 용하여 맞춤형 평가가 가능할 수 있도록 하 다. 국립

앙도서 사서교육훈련의 교육은 교육 로그램을 교육 상자(신규, 재직자),

교육내용(직무, 리더십, 소양), 교육기간(단기, ·장기)에 따라 유형으로 구분

하 다.

셋째, 각 교육 로그램별 평가를 통해 수집된 자료는 이후 교육 로그램에

- 144 -

新평가체계

방향

1. 교육과정 유형별

맞춤형 평가

2. 평가도구와 방법의 다양화

3. 평가결과 해석 및 활용의 효율성 확보

평가

운영

전략

∙교육과정 유형 분류를

위한 기준 선정 : 교육

기간(단기, 중장기), 교

육내용(직무, 리더십,

소양), 교육대상(신규,

재직)

∙1단계평가 도구 수정

및 개발

∙2단계평가에 사전평가

도입 및 사전・사후평

가를 위한 가이드라인

개발

∙3단계평가를 위한 정량

적 평가도구와 정성적

평가도구 개발

∙4단계 평가를 위한 평

가지표 개발

∙사전평가 도입 및 사전

평가와 사후평가 자료

정리 및 해석 가이드라

인 개발

한 운 계획 수립 등에 피드백하여 교육 로그램의 개선과 효과성을 확인

할 수 있도록 지원한다. 신규 교육체계에서는 로그램 평가를 통해 수집된

자료들을 리하고 활용하는 방법에 한 략을 제공한다.

이러한 기본 특성을 토 로 新평가체계를 구축하기 해 앞서 도출한 新평

가체계의 방향성을 따라야 하는데, 이를 해서는 <표 6-2>와 같은 구체 인

평가운 략 실천이 필요하다. 평가운 략의 구체 인 내용은 다음과 같다.

<표 6-2> 新평가체계 방향성에 부합하기 한 평가운 략

1) 교육과정 유형 분류

2016년 기 국립 앙도서 사서교육훈련의 교육은 기본교육, 문교육, 기

타교육으로 나 어진다. 기본교육은 신임사서들을 상으로 한 것이고, 문교

육과 기타교육은 도서 재직사서 리자들을 상으로 한 것이다. 문교

육은 내용과 특성에 따라 리역량, 직무 문, 직무공통, 랜드과정으로 구분

된다. 이러한 교육과정 분류는 교육과정을 기획하고 운 하는데 어려움이 없

지만, 교육성과를 평가하는데 어려움이 있다. 즉, Kirkpatrick의 4단계 평가를

실시할 때, 재와 같은 구분에서는 어떤 유형에 해 1단계, 2단계, 3단계, 4

- 145 -

기준 항목 기준 예시

교육

기간

단기 2일 이하 또는 20시간 미만의 교육도서관 다문화서비스,

병영도서관운영 등

중장기 3일 이상 또는 20시간 이상의 교육KDC 자료분류, 독서지도

심화 등

교육

내용

직무사서직무와 관련한 직무전문, 직무공통,

브랜드교육

도서관과 저작권 ,

도서관문화프로그램 등

리더십자기계발 및 직원 잠재력 향상을 통하여

도서관 경쟁력을 향상하기 위한 교육 도서관리더, 예비관리자역량 등

소양도서관 사서로서 갖추어야 할 봉사정신,

책임의신 함양을 위한 교육

사서의 은퇴설계, 도서관을

바꾸는 15분 등

교육

대상

신규 8,9급 신규 사서직 공무원 대상 신임사서 기본

재직 기존 사서 대상 신임사서 기본 외의 과정

단계 평가를 실시할지 단하는데 어려움을 겪을 수 있다. 그 결과 임의로 선

정된 특정 과정을 상으로 2단계와 3단계 평가를 실시한 실정이다. 4단계 평

가는 ‘쉽게 배우는 서평쓰기’과정에 계획하 으나 평가 내용이 4단계 평가라고

볼 수 없다.

이러한 문제를 해결하기 해 성과 평가의 효율성과 논리성을 확보할 수 있

는 기 이 필요한데, 재 국립 앙도서 사서교육문화과에서 운 하고 있는

교육과정의 특성, 선행연구 우수사례를 토 로 교육 상, 교육기간, 교육

내용을 유형구분을 한 기 으로 선정하 다. 교육 상은 신규직원과 재직직

원, 교육내용은 직무교육, 리더십교육, 소양교육, 교육기간은 단기와 장기로

구분하 다. 이 때 단기 교육은 이틀 이하의 교육 는 20시간미만의 교육을,

장기 교육은 삼일 이상의 교육 는 20시간 이상의 교육으로 정의하 다.

이러한 정의는 타 기 에서 단기 교육과 장기교육을 구분하는 기 을 따른

것이다. 각 과정은 각 기 의 세부 항목 안에 포함되는데, 를 들어, ‘도서

다문화서비스’는 단기-직무-재직과정으로 분류되며, ‘도서 직원 국외 연구’는

장기-소양-재직과정으로 분류된다.

<표 6-3> 국립 앙도서 사서교육훈련 교육과정유형 분류

- 146 -

교육기간 단기 중장기

교육내용 직무 리더십 소양 직무 리더십 소양

교육대상

신규 ＸＸＸ1단계평가2단계평가

1단계평가2단계평가


재직1단계평가2단계평가

Ｘ 1단계평가

1단계평가2단계평가3단계평가4단계평가


1단계평가

2) 교육과정 유형별 맞춤형 평가

이상의 평가운 략을 반 하여 <표 6-4>과 같이 교육과정유형을 분류하

고, 해당 유형에서의 평가단계를 결정하 다. 국립 앙도서 사서교육 로그

램의 교육은 교육기간, 교육내용, 교육 상에 따라 구분된 12개의 유형 6개

의 역에 해당된다. 1단계 평가는 6개 역 모두에 용된다. 2단계평가는 직

무교육에 해당되며, 3단계평가는 직무교육과 리더십 교육 재직자를 상으

로 한 장기 교육에 해당된다. 4단계평가는 장기직무교육 일부 과정에

용된다. 6개 역 2단계평가가 이루어지는 재직자 상 단기 직무교육과

장기 직무교육, 신규사서를 상으로 한 장기 직무교육의 경우에는 교육

과정을 구성하는 교과목 평가 상 교과목 선정, 평가문항 개발 평가

지표 등에 한 규정을 수립하는 것도 필요하다. 한 3, 4단계 평가가 이루어

지는 재직자 상 장기 직무교육과 3단계 평가가 이루어지는 재직자 상

리더십 교육은 교육목표를 고려한 평가 지표 등을 명확히 도출하여 사 ・사

후 평가 결과가 의미 있게 해석될 수 있도록 해야 한다. 이는 평가운 의 효

율성을 고려하는데도 향을 미친다.

<표 6-4> 국립 앙도서 사서교육훈련 교육과정유형 분류상세

- 147 -

구분 주요 내용

Phillips &

Stone

(2002)

※아래의 평가기준에 부합하는 교육 프로그램을 나열한 후, 이번 예산 연도 중 3

단계 평가를 측정할 프로그램을 선정하여 Yes 또는 No에 체크하시오.

3단계 평가 기준프로그램 명단

프로그램 프로그램 프로그램 프로그램 프로그램

법령준수 프로그램 Yes / No Yes / No Yes / No Yes / No Yes / No

고객서비스 프로그램 Yes / No Yes / No Yes / No Yes / No Yes / No

판매 프로그램 Yes / No Yes / No Yes / No Yes / No Yes / No

고객 거래 프로그램 Yes / No Yes / No Yes / No Yes / No Yes / No

조직이 후원하는 자격 프로그램

Yes / No Yes / No Yes / No Yes / No Yes / No

※모든 교육 프로그램은 4,5단계 평가를 실시할 수 있다. 또한, 3단계 평가가 가

능한 프로그램은 4,5단계 평가도 가능한 지 확인하여야 한다. 단, 법령준수 프로

그램의 경우 특별한 상황을 제외하고 3단계 이상의 평가를 실시하지 않는다.

1단계 : 표에서 1-10이라고 기입된 행위에 10개의 교육 프로그램을 나열하시

오.

2단계 : 각 교육 프로그램별로 4·5단계 평가기준(A-F)에 부합하는 정도를

1-5점 척도를 사용하여 점수를 부여하시오.

3단계 : 각 교육 프로그램별로 A-F까지의 점수를 합산하여 이번 예산 연도에

4-5단계 평가를 실시하기 적합한 교육 프로그램을 선정하시오,

← 교육프로그램 / 개임(Invention) →

4·5단계 평가 기준 1 2 3 4 5 6 7 8 9 10A. 교육 프로그램의 라이프 사이

클

B. 전략적 목적 및 목표

C. 교육비용

D. 교육 프로그램의 참가자 범위

∙교육프로그램의 평가단계를 선정하기 위한 기준표를 제시함

∙질문에 대해 1-5점의 점수 부여 또는 ‘예’나 ‘아니오’로 답변

∙3단계 평가 선정 기준표

∙4·5단계 평가 선정 기준표

6.1.3 교육 로그램별 평가단계 결정

1) 교육 로그램 평가단계 분류기

국립 앙도서 사서교육훈련 新평가체계에 교육 로그램 유형별로 상이한

평가단계가 용된다. <표 6-5>는 평가단계 구분을 해 검토한 주요 선행연

구 결과이다.

<표 6-5> 평가단계 분류기 련 선행연구 고찰 내용

- 148 -

E. 교육 프로그램의 가시성

F. 경영진의 관심도

합계

4·5단계 평가 기준 4·5단계 평가 실시 결정을 위한 1-5점 척도

A. 교육 프로그램의 라이프 사이

클

5 = 12~18개월 또는 그 이상(장기 교육 프로그램)

1 = 매우 짧은 라이프 사이클(단발성 교육 프로그램)

B. 전략적 목적 및 목표5 = 조직의 전략적 목적 및 목표와 매우 부합

1 = 조직의 전략적 모적 및 목표에 부합하지 않음

C. 교육비용5 = 매우 높음(교육비용이 교육예산의 20% 이상)

1 = 매우 낮음

D. 교육 프로그램의 참가자 범위5 = 참가자 규모가 매우 큼

1 = 참가자 규모가 매우 작음

E. 교육 프로그램의 가시성

5 = 주요 이해관계자에게 매우 높은 가시적 성과를 제

공

1 = 주요 이해관계자에게 매우 낮은 가시적 성과를 제

공

F. 경영진의 관심도5 = 경영진이 교육 프로그램 평가에 매우 관심이 높음

1 = 경영진이 교육 프로그램 평가에 매우 관심이 낮음

∙4·5단계 평가 선정을 위한 기준표를 제공했지만, 선정에 적합한

기준 점수는 제공하지 않음. 지침에 따라 예산이나 다른 자원들을

고려하여 최종적으로 평가단계를 설정할 것을 권고함.

Keller,

Morrison,

&

Rose(1994)

1.교육 프로그램이 수행을 개선하고 조직의 목표에 긍정적인 효과를 줄 것으

로 기대하는가?

2.교육 프로그램에서 학습한 기능이나 가치가 측정 가능하고, 업무에 적용할

수 있는 것인가?

3. 전이를 측정하기 위해 공식적인 평가가 요구되는가?

4. 교육참가자가 새로 학습한 기능을 적용하기를 원하는가?

5. 관리자들과 경영자들이 3단계 평가를 지지하는가?

6. 업무환경이 학습한 기능을 적용하는데 적절할 것으로 기대하는가?

7. 충분한 시간과 자원(사람, 비용, 장비 등)이 가능한가?

8. 교육 프로그램의 평가결과가 의사결정에 반영될 것인가?

9.교육 프로그램의 내용과 시간이 평가결과로부터 도움을 얻을 만큼 충분한

가?

10 1·2단계 평가를 시행할 것인가?

∙교육참가자가 학습내용을 이해한 정도를 넘어서 실제로 학습한 내

용을 현장의 업무에 적용하는지의 여부를 평가하는 3단계 평가 선

정 기준 제시

∙3단계 평가 선정 기준

∙이 질문에 모두 긍정적인 대답을 하는 경우 해당 교육 프로그램에

대해서 3단계 평가를 시행하는 것이 바람직하지만, 모든 질문에

대한 답을 얻지 못할지라도 주어진 상황에 기초하여 3단계 평가의

여부를 결정해야 함

이찬 외

(2009) 구분 분류기준 정의

2수준 목적 ∙학업성취도 측정 학습 전/후 학습자의 변화를 측정하는 것

∙교육프로그램 평가단계 분류 기준

∙분류기분은 목적적합성과 측정가능성의 2개 범위로 구성

- 149 -

(학업성취도)

적합성 의 필요성이 교육의 목적 달성여부 확인을 위해서

중요하다.

측정

가능성

∙학업성취도 측정

가능성

학습 전/후 학습자의 지식, 스킬 변화를

측정할 수 있다.

3수준(현업적용도)

목적

적합성

∙현업 적용의 가

치

학습내용의 현업적용을 통해서 조직의 혁

신, 종사원의 지식 및 현장직무능력 강화,

고객서비스 향상 등의 성과향상 도모가

가능하다.

∙협업 적용을 고

려한 교육프로

그램 개발 여부

현업적용이 가능하도록 학습자, 업무환경,

장애요소를 고려하여 교육 프로그램을 설

계·개발하였다.

측정

가능성

∙현업적용도 평가

지원 획득 여부

현업적용도 평가를 위해서 필요한 조직의

지원을 획득할 수 있다.

∙현업적용도 측정

가능성

학습된 지식, 기술, 태도의 활용이 관찰

가능하고, 측정 가능하다.

4·5수

준(경영성과

기여도

및 ROI)

목적

적합성

∙전략 목표 달성

과 관련성

(상위) 조직의 경영비전의 전략목표 달성

과 직결된 교육 프로그램이다.

∙투자성

교육 프로그램의 개발, 운영, 인력투입의

측면에서 상대적으로 많은 비용을 지출하

고 있는 교육 프로그램이다.

측정

가능성


및 ROI 평가에

대한 지원 획득

여부

경영진이 해당 교육 프로그램의 경영성과

기여도 평가 또는 ROI 평가가 필요하다고

생각한다.


및 ROI 측정 가

능성

교육 프로그램의 경영성과 향상에 대한

기여 정도를 ROI, 향상율 등 객관적인 방

식으로 제시할 수 있다.

<표 6-5>에 제시된 선행연구결과를 바탕으로 교육 로그램 분류단계, 평가

단계 선정방법, 평가단계별 분류기 등을 한 이론 토 를 마련하 다. 첫

째, 교육 로그램 분류 단계는 Kirkpatrick의 4단계 평가모형에 근거하여 1단

계, 2단계, 3단계, 4단계로 선정하 다. 선행연구를 통해 고찰한 평가단계별 분

류기 을 바탕으로 국립 앙도서 사서교육훈련의 교육목 , 비 , 략목표

등을 반 한 평가단계별 분류기 을 개발하 다. 개발된 평가단계별 분류기

은 <표 6-6>과 같다.

- 150 -

평가

단계분류기준 내용

2단계

(학습

성취도)

1. 학업성취도

측정의

필요성

① 교육참여자의 지식, 기술, 태도 변화를 측정하는 것이 교

육목표 달성을 위하여 중요함

② 도서관 직무관련 새로운 지식습득, 학습내용, 세부규정을

학습하는 과정을 고려

2. 학업성취도

측정 가능성

① 교육 참여자의 지식, 기술, 태도 변화를 필기시험, 설문,

수행평가 등의 방법으로 측정 가능함

3단계

(현업

적용도)

1. 현업적용의

가치

① 교육 참여자의 학습내용이 도서관 현업에 적용될 가치가

있음

② 업무 프로세스 개선, 제도개선, 구성원 마인드 개선 등과

같이 조직 역량 강화를 위한 교육과정

③ 새로운 업무 지식, 기술을 현업에 적용하여 현장직무 능력

을 강화시킬 수 있는 교육과정

④ 사서교육훈련원의 교육과정에 대한 중요도 및 외부 관심도

를 고려

2. 현업적용을

고려한

교육과정

개발 여부

① 현업적용이 가능하도록 교육과정이 설계되어 있음

② 교육내용의 특성을 고려하여 평가

③ 교육 참여자의 현업적용 가능성을 제고하기 위하여 과정

내에 실습, 계획서 및 보고서 작성, 발생 가능한 사례 등

을 포함하고 있음

④ 사례중심의 과정, 직무전문 과정, 심화과정을 고려

3. 현업적용도

평가지원

획득 여부

① 현업적용도 평가를 위해서 필요한 인적/물질적 자원을 제

공받을 수 있음

② 사서교육훈련 3단계 평가에 투입될 수 있는 인적/물질적

예산을 고려

③ 현업적용도 평가를 요구받았을 때 교육 참여자가 평가에

적극적으로 참여할 수 있음

4. 현업적용도

측정가능성

① 현업적용도 평가방법(설문 및 면담)으로 측정 가능함

② 교육내응의 활용여부를 설문 및 면담 등의 방법으로 측정

할 수 있음

③ 고성과자 파악이 가능한 과정 및 재직자 과정

5. 교육투입의

적절성

① 투자된 비용, 교육생 수, 교육과정의 개설이 지속되었음

② 개설빈도, 교육기간(중장기 과목), 교과목수를 바탕으로

판단

4단계

(성과

기여도)

1. 기관 목표

달성과 관련성

① 교육과정의 기관 전략목표달성과의 관련성

②‘전국 도서관 운영평가’와 관련된 교육과정을 고려

2. 성과기여도

측정지원

획득여부

① 교육참여자 및 소속 도서관에 성과측정을 요청했을 때 평

가에 적극적으로 참여할 수 있음

② 성과기여도 측정을 위해서 필요한 인적/물질적 자원을 제


<표 6-6> 국립 앙도서 사서교육훈련 평가단계별 분류기

- 151 -

3. 성과기여도

측정 가능성

① 교육 프로그램의 성과 향상에 대한 기여 정도를 도서관 서

비스 만족도 조사, 교육생 교육성과 인식도 평가 등 객관

적인 방식으로 제시할 수 있음

②‘전국도서관 운영평가’데이터와 연계할 수 있음

③ 기타 객관적인 방법으로 교육 프로그램이 기관의 성과 향

상에 기여한 정도를 제시할 수 있다.

구분 과정수 1단계 2단계 3단계 4단계 비고

기본교육신임사서기본

1 1(-) 1(-) 0(-) 0(-)

전문교육

관리역량

2 2(-) 0(-) 2(↑2) 0(-)3단계:도서관리더(중간관리자), 도서관리더(최고경영자)

직무전문

20 20(-) 3(↑3) 7(↑6) 3(↑3)2단계:도서관과 저작권, 도서관통계활용기법기초, 도서관 통계활용기법심화

2) 교육 로그램 평가단계 결정

국립 앙도서 사서교육훈련 평가단계별 분류기 新평가체계를 토 로

2017년도 실시 정인 교육 로그램의 평가단계를 분류한 결과는 <표 6-7>

과 같다. 평가단계를 선정할 때는 상 단계의 평가여부가 결정되면 그 보다

낮은 단계의 평가는 자연 으로 포함되도록 하 다. 평가 단계 선정을 한

평가 단계 검토 기 은 <표 6-8>과 같다.

2017년을 기 으로 집합과정 53개 과정 총 6개 과정이 2단계 평가를 실

시하는 것으로 분류되었으며, 16개 과정이 3단계, 5개 과정이 4단계 평가로 분

류되었다. 이는 2016년에 총 1개 과정이 2단계 평가, 6개 과정이 3단계 평가로

분류되던 것과 조된다. 실제 3단계 16개 과정 , 통합서지용 KORMARC형

식(도서), 도서 이용자 리, 도서 장서 리, 도서 홍보는 교육 상자에

따라 과정을 분리한 것으로 실제 12개 과정을 평가한다. 4단계 5개 과정 ,

도서 장서 리, 도서 홍보 역시 과정을 분리한 것으로 실제 3개 과정을

평가한다.

<표 6-7> 교육유형별 평가단계 분류결과

- 152 -

3단계: 독서지도심화,, 독서치료심화, 도서관문화프로그램심화, 도서관이용자관리(A), 도서관이용자관리(B), 도서관장서관리(A), 도서관장서관리(B)

4단계:도서관문화프로그램심화, 도서관장서관리(A), 도서관장서관리(B)

직무공통

12 12(-) 1(↑1) 2(↑2) 2(↑2)

2단계:도서관이 이해(비사서직)

3단계:도서관홍보(A), 도서관홍보(B)


직무기타

4 4(-) 0(-) 0(-) 0(-)

브랜드과정

8 8(-) 0(-) 5(-) 0(-)

3 단 계 : 통 합 서 지 용KORMARC형식(도서)(A),통합서지용KORMARC형식(도서)(B),DDC자료분류(격년), KDC자료분류

기타교육 6 6(-) 0(-) 0(-) 0(-)

계 53 53(-) 5(↑4)16

(↑10)5(↑5)

구분 내용

1단계 평가 검토

∙1단계 평가여부는 별도로 검증하지 않음

∙모든 교육 프로그램에 1단계 평가는 공통적으로 시행하는 것

을 기본으로 함

2단계 평가 검토 ∙2단계 평가가 타당하지 않은 경우에는 1단계 평가를 시행


∙적합한 경우 3 단계 평가 실시함

(단, 리더십 교육의 경우 평가운영의 용이성 등을 고려하여

적합한 경우라도 2단계 평가는 실시하지 않음)

∙적합하지 않은 경우 2단계 평가 검토


∙적합한 경우 재무적 지표와 비재무적 지표 선정 가능성에 따

라 평가 여부 및 평가 방법 판단

∙적합하지 않은 경우 3단계 평가 검토

<표 6-8> 평가 단계 검토 기

- 153 -

과정

평가단계평가실시여부

2단계 3단계 4단계

평가필요성

평가가능성

현업적용가치

현업적용고려 과정개발

평가지원여부

측정가능성

전략목달성과 관련성

자원획득가능성

측정가능성

1 2 3 4

기

본

교

육

신임사서기본 ○ ○ ○ ○

전

문

교

육

관

리

역

량

(5)

도서관리더(중간관리자) ○ ○ ○ ○ ○ ○

도서관리더(최고경영자) ○ ○ ○ ○ ○ ○

팔로우리더쉽(팀원) ○ ○ ○ ○ ○

예비관리자역량 ○

행복한도서관만들기 ○ ○ ○

브

랜

드

과

정

(7)

사서를위한인문학강독 ○

사서한마당(워크숍)/

도서관을바꾸는15분!○

통합서지용KORMARC형식(도서)(A) ○ ○

통합서지용KORMARC형식(도서)

(B)○ ○

통합서지용KORMARC형식

(비도서)○ ○

DDC자료분류 ○ ○

KDC자료분류 ○ ○

직

무

전

문

(19)

주제전문사서(예술) ○ ○ ○

독서지도심화 ○ ○ ○

독서치료심화 ○ ○ ○

도서관과저작권 ○ ○ ○ ○

도서관노인서비스 ○

도서관다문화서비스 ○

도서관문화프로그램 ○ ○

도서관이용자관리 ○ ○ ○ ○ ○

도서관자료보존및복원 ○

도서관장서관리(A) ○ ○ ○ ○

도서관장서관리(B) ○ ○ ○ ○

도서관정보활용교육 ○ ○ ○

도서관통계활용기법(A) ○ ○ ○ ○

도서관통계활용기법(B) ○ ○ ○ ○

<표 6-9> 2016년 국립 앙도서 사서교육훈련 교육 로그램 평가단계 분류

- 154 -

과정

평가단계 평가실시여부2단계 3단계 4단계

평가필요성

평가가능성

현업적용가치


평가지원여부

측정가능성



측정가능성

1 2 3 4

독서토론코칭 ○ ○

디지털도서관운영 ○ ○ ○

메타데이터활용 ○ ○ ○

쉽게배우는서평쓰기 ○

어린이·청소년독서프로그램설계

○ ○ ○ ○

직

무

공

(!3)

통

도서관공간구성(A) ○

도서관공간구성(B) ○

도서관글로벌리더 ○

도서관법령실무 ○ ○ ○ ○

도서관의이해(비사서직) ○ ○

도서관직원국외연수 ○

도서관행정 ○

도서관홍보(A) ○ ○ ○ ○ ○ ○ ○

도서관홍보(B) ○ ○ ○ ○ ○ ○ ○

보고서잘쓰는방법 ○

사서를위한발표스킬 ○

사서의은퇴설계 ○

아름다운도서관체험: 국내편

(서울)○

직

무

기

타

(4)

국가자료종합목록활용 ○

도서관자료관리시스템과책이음운영

○

작은도서관자료관리시스템운영

○

KOLASⅢ이해및활용 ○

기

타

교

육

(5)

교도소도서관운영 ○

병영도서관운영 ○

작은도서관운영 ○

전문도서관운영기초 ○

학교도서관운영 ○

<표 6-10> 2017년( 정) 국립 앙도서 사서교육훈련 교육 로그램 평가단계 분류

- 155 -

기본교육 신임사서기본 ○ ○ ○ ○

전문교육

관

리

역

량

(2)



브

랜

드

과

정

(8)




통합서지용KORMARC형식(도

서)(A)○ ○


서)(B)○ ○

통합서지용KORMARC형식(비

도서)○ ○

DDC자료분류(격년) ○ ○


메타데이터활용 ○

직

무

전

문

(20

)





도서관다문화서비스(격년) ○

도서관문화프로그램심화 ○ ○ ○ ○

도서관이용자관리(A) 과정분리 ○ ○ ○ ○

도서관이용자관리(B) 과정분리 ○ ○ ○ ○




도서관장애인서비스 ○


도서관통계활용기법기초 ○ ○ ○ ○

도서관통계활용기법심화 ○ ○ ○ ○


동화구연(신규) ○


쉽게배우는서평쓰기심화 ○

어린이·청소년독서프로그램설계 ○ ○ ○

직

무

공

통(

12)

도서관최신동향 ○





- 156 -



도서관홍보(A) ○ ○ ○ ○ ○ ○ ○

도서관홍보(B) ○ ○ ○ ○ ○ ○ ○


사서의은퇴설계(격년) ○

아름다운도서관체험:국내편(서울) ○

직

무

기

타

(4)


도서관자료관리시스템과책이음

운영○

작은도서관자료관리시스템운영 ○


기타교육(6)






공공도서관운영 ○

6.1.4 국립 앙도서 사서교육훈련 新평가체계 수립

앞서 제시된 국립 앙도서 사서교육훈련 평가체계 개발의 방향, 기본

략 등을 토 로 <그림 6-2>와 같은 新평가체계를 수립하 다.

<그림 6-2> 국립 앙도서 사서교육훈련 新평가체계

- 157 -

<그림 6-2>에 제시된 국립 앙도서 사서교육훈련 新평가체계의 주요 내

용은 다음과 같다.

첫째, 국립 앙도서 사서교육훈련의 평가는 기본 으로 Kirkpatrick의 4단

계를 따르되, 교육 로그램의 유형에 따라 1단계만 실시하거나 1, 2단계, 1, 3

단계, 1, 3, 4단계, 1, 2, 3, 4단계를 실시한다.

둘째, 교육 로그램 유형별 맞춤형 평가도구를 용할 때는 1차 으로 <표

6-3>과 <표 6-4>에 제시한 국립 앙도서 사서교육훈련 교육과정유형 분류

에 따르며, 2차 으로 교육 로그램의 구체 인 교육목표와 내용에 따라 각

단계에서의 자료수집 방법을 선택한다.

셋째, 교육 로그램유형별로 수집한 평가 자료의 양과 질은 로그램에 따라

상이하지만, 기본 으로 소양교육/신규 상/단기교육에서는 상 으로 낮은

수 의 자료 수집을, 직무교육/재직자 상/ 장기교육에서는 높은 수 의 다양

한 자료를 수집한다.

넷째, 교육 로그램별로 실시한 평가 자료는 체계 으로 분석하여, 그 결과

를 축 하고 향후 로그램 개발 운 을 한 자료로 활용한다.

6.1.5 교육 로그램별 평가단계별 평가도구 개발 략

국립 앙도서 사서교육훈련 新평가체계에 따라 단계별 평가가 효율 , 효

과 으로 이루어지기 해서는 한 도구 개발이 필요하다.

재 사용하고 있는 1단계 평가도구는 교육 종료 직후에 실시하는 설문지로

학습자 요인, 교육과정 교육설계 요인, 기타 건의 사항 등을 악하는 13문

항과 교과목 강사에 한 만족도 문항(교과목 수 강사의 수에 따라 증

감)으로 구성되어 있다. 한 문항별 평가방식은 선택형과 선다형, 리커트 5

척도, 개방형 서술문항으로 구성되어 있다. 구체 으로 만족도 평가 설문 문항

은 (1) 교육과정 반 만족도, (2) 교과목별 만족도, (3) 강사만족도( 문성,

강의기법, 강의태도) 등 교과목 강사 평가에 하여 리커트 5 척도를 활

용하고 있으며, (4) 불만족 요인(교과목 구성, 강사진, 교재내용, 교육일수, 강

- 158 -

의실 등 교육환경 등), (5)교육과정 설계에 있어서 과정 연장・단축 희망 교과

목 표기, (6) 개설 희망 교육과정 교과목, 추천강사에 한 문항과 사서교

육훈련 반에 한 건의사항을 작성하는 개방형 질문으로 구성되어 있어, 각

각의 설문문항에 한 답변을 구체 으로 분석하는 것이 불가하고 단순히 교

과목별 만족도만 측정할 수 있도록 구성되어 있다. 따라서 설문 문항을 교육

과정의 질에 향을 미치는 주요 항목에 해 개별 으로 만족도를 측정하고,

구체 인 이유도 함께 작성할 수 있는 형태로 수정·보완한다. 한 평가시기

에 있어 일률 으로 집합교육 과정에 하여 교육종료 직후에 평가를 실시

하고 있으므로 교육기간이 길고 교과목 수가 많은 과정의 경우 간 평가 등

을 도입하는 등의 방안을 도입한다.

2단계 평가에 사 평가 도입 사 ・사후평가를 한 가이드라인 개발이

다. 2단계평가인 학업성취도평가는 사서교육훈련 교육과정 실제 교육의 결

과로 나타난 지식 습득, 기술 습득, 가치/윤리 등 태도 변화를 측정하는 것으

로, 재 운 되는 교육과정 ‘신임사서기본’과정에서만 실시하고 있다. 학업

성취도 평가는 개인학습평가 70 과 분임평가 30 을 합산하여 100 만 으

로 계산하고, 여기에 근무태도평가 결과 감 수를 합산한다. 학습평가는 ‘신

임사서기본’ 과정의 직무 문분야 14개의 교과목 5개 과목을 선정하여 해

당 교과목의 담당 강사가 문제를 출제하여 교육종료 직후에 사후평가만 한다.

사 평가가 없기 때문에 사 평가-사후평가의 비교가 불가하여, 평가결과가

교육에 의한 결과인지 학습자들의 선행 지식이나 역량에 의한 결과인지 단

할 수 없다. 한 강사들에 의해 문제 출제가 이루어져 문제의 질이나 난이도

를 통제하는데 어려움이 있다. 분임평가는 분임원들이 교육 내용 교육생이

실제 업무에서 실행 활용할 수 있는 주제를 선정하여 각 분임별로 선정된

주제에 한 토의 장 탐방 후 그 결과를 제시한 연구결과보고서를 제출

하고, 이를 평가한다. 분임평가의 평가 거는 과제에 한 이해도, 내용의 체

계성, 이론 배경과 논리 분석도, 창의성, 실무 용의 실용도 등 5개 역

이다. 국립 앙도서 사서교육훈련의 2단계 평가의 한계와 문제 은 54개의

집합교육 과정 1개인 ‘신임사서기본’과정만 실사하고 있다는 것과 학습평가

- 159 -

문제의 출제와 채 이 과목별 담당 강사에 의해 이루어지는 것, 학습평가를

한 교과목의 선정에 한 명확한 규정이 없다는 것이다. 따라서 2단계 평가

를 통해 학습 성과에 한 정확한 악이 이루어질 수 있도록 사 평가 도입

하여 사 ・사후 평가를 실시하고 이를 분석하는 것이 필요하다. 그러나 사서

교육문화과에서 이루어지는 교육 신임사서교육을 제외한 부분의 교육이

의무교육이 아니라는 을 고려할 때 교육생들의 교육에 한 부담을 가 시

키지 않도록 학습내용의 이해도를 평가하는 것보다는 교육의 효과를 악한다

는 목 에 부합한 이해도에 한 인식평가 등을 활용하는 것이 필요하다. 따

라서 2단계 평가를 해서는 사 평가 도입, 교육내용에 한 학업성취도

평가가 학습 이해도에 한 인식 평가의 2가지 운 략 수립 등을 한 가

이드라인을 제시한다.

3단계 평가를 한 정량 사 ・사후 평가도구와 정성 평가도구 개발이

다. 재 국립 앙도서 사서교육훈련의 3단계 업 용도 평가는 지속 으

로 운 하는 문교육과정 교육 결과 측정이 가능하다고 단한 ‘KDC 자

료분류’, ‘DDC 자료분류’, ‘도서 이용자 리’, ‘통합서지용 KORMARC 형식(도

서)(A)’, ‘통합서지용 KORMARC 형식(도서)(B)’, ‘통합서지용 KORMARC 형

식(비도서)’ 의 6개 교육과정이다. 업 용도평가는 학습자 요인(기본항목),

교육 만족도, 교육내용 활용도, 교육성과, 기타 항목으로 구성되며, 문항별 평

가방식은 선택형, 선다형, 리커트 5 척도, 개방형 서술문항의 14개 문항으로

구성되어 있다. 업 용도 평가는 교육 종료 3-6개월 후에 사서교육홈페이지

를 이용하여 온라인 설문으로 이루어지고 있다. 이는 교육생이 자신의 업

용도를 자가 진단하는 방식으로 결과의 정확성을 신뢰하는데 한계가 있다.

한 교육과정별 교육목표와 성격이 상이함에도 불구하고 동일한 도구를 사용하

고 있어, 도서 장의 업무행태를 고려한 평가가 이루어지지 못하고 있다.

따라서 교육과정의 특성별로 선택하여 활용할 수 있는 평가도구, 교육생의 행

동 변화를 측정할 수 있는 평가도구, 구체 인 행동 내용을 악할 수 있는

평가도구 개발이 필요하다. 한 평가 운 의 효율성을 고려하여 3단계 평가

상 교육과정의 규모를 선정한다.

- 160 -

평가단계 평가도구 개발 전략

1단계

∙교육 전 실시할 사전평가와 사후평가 도구 개발

∙온라인 조사 가능한 형태로 개발

∙소양교과목은 사후평가만 실시

∙현재 사용하고 있는 평가 문항 중 학습자요인, 교육과정 및 교수설계 요인, 강

사요인에 교육환경 등 요인 추가

∙교과목별 만족도를 확인할 수 있는 형태로 질문 재구성

∙강사요인에 해당하는 교과목평가의 경우 매일평가 등 평가방법 개선 의견 함께

제시

∙교육과정에 대한 구체적인 의견을 수렴할 수 있는 개방형 질문 추가

∙사전평가와 사후평가 결과 분석 및 해석 가이드라인 제시

2단계

∙교육 전 실시할 사전검사와 사후검사도구 개발

∙신임사서 대상 교육과 재직자 대상 교육과정 중 해당 교과의 지식 이해여부를

측정하는 것이 의미를 갖는 교육과정에 대해서는 성취도평가를 실시하고, 그 이

외의 2 단계 평가 대상 교과목에서는 교육과정의 목표 및 학습단위에 따라 주

관적 학업성취도평가(인식평가) 및 수행평가 실시

∙성취도평가를 위한 문항개발 전략 가이드라인 제시(난이도, 객관식 질문과 선택

지 진술 방법, 주관식(서술형평가) 질문 진술 방법)

∙주관적 학업성취도 평가문항은 블랭크형( )으로 제시하여, 교과목별로 담당

강사가 완성해서 사용할 수 있도록 제시

∙주관적 학업성취도 평가문항 개발 시 담당 교·강사의 판단 근거는 NCS 능력

단위의 지식, 기술, 태도를 토대로 해야 함을 함께 명시

3단계

∙모바일 평가가 가능한 형태로 제시

∙3단계 평가 대상 교과목의 특성 제시

∙평가 대상자 : 교육생으로 한정

∙평가 문항 : 양적 평가와 질적 평가가 모두 가능할 수 있도록 객관식 문항과

주관식 문항으로 구성

4단계 평가는 국립 앙도서 사서교육문화과가 매년 1개 교과과정에 하

여 성과 평가를 하도록 훈련계획을 수립하 으나 이루어지지 않았다. 따라서

성과평가를 해 성과 측정 가능성 연구 이를 통해 평가지표를 개발하는

것이 필요하다. 한 3단계 평가와 동일하게 평가 운 의 효율성을 고려하여

4단계 평가 상 교육과정의 개수 평가 방법을 선정한다.

이를 종합하여 평가도구 개발방향을 <표 6-11>과 같이 정리할 수 있다.

<표 6-11> 평가도구 개발 략

- 161 -

과정명 도서관이용자교육

교과목명 도서관이용자교육을 위한 교수설계전략

담당

강사에게

요구할

사항

소속

이름

실천할 것 구체적인 실행 전략

1.

1)

2)

3)

2.

1)

2)

3)

3.

1)

2)

3)

∙교과목에 부여된 5시간 중 1시간을 교육생들이 현업에 돌아가서

소속 도서관의 이용자교육프로그램을 어떻게 개선, 운영, 수정할

것인지에 대한 구체적인 계획을 수립할 수 있는 모듈로 구성하

여 운영

∙교육생들이 작성한 실천계획서는 수합하여 교육담당자에게 제출

∙실천계획서 예시

∙교육과정 중 현업적용도과 관련이 있는 교과목의 강사에게 현업적용을 위한

plan을 수립할 수 있는 활동을 포함할 수 있도록 함 (아래 예시 참조)

∙평가시기, 평가결과 분석 및 해석 가이드라인 제시

4단계

∙도서관 평가 항목을 고려하여 문항 구성

∙4단계 평가 대상 교과목의 특성 제시

∙평가 대상자 : 대상 교과목 참여 학습자 특성 제시

∙평가 문항 : 성과인식도 설문 및 SCM 조사, 전국도서관운영평가, ROI평가가

가능하도록 문항제시

<표 6-11>의 략에 따라 개발될 평가도구들은 <그림 6-3>에 제시된 것처

럼 교육 로그램유형별로 선택, 활용할 것이다.

- 162 -

<그림 6-3> 교육 로그램 유형별 평가도구 용

<그림 6-3>이 제시하는 주요 내용을 정리하면 다음과 같다. 첫째, 앙도서

사서교육훈련의 모든 교육과정에 해서는 행과 동일하게 1단계평가를

모두 실시한다. 이 때 교육효과를 측정하기 해 사 평가와 사후평가를 실시

하는데, 소양교육의 경우에는 사후 평가만 실시한다. 둘째, 직무교육에 해서

는 1단계 평가와 2단계평가를 실시한다. 이 때 신임사서 상 교과목과 재직

자를 상으로 한 교육과정 학습목표와 필수학습단 에 따라 일부 교과내

용 지식을 이해하는 것의 측정 여부가 요한 교과목에 해서는 학업성취도

평가를 실시하고, 수행능력을 평가하는 것이 요한 경우는 수행평가를 실시

하며, 그 이외의 교육과정에 해서는 주 학업성취도 평가(인식평가)를 실

시한다. 셋째, 3단계평가와 4단계평가는 해당 평가를 용하는 것이 의미 있는

교육과정에 해서 선택 으로 실시한다.

- 163 -

6.1.6 교육 로그램별 평가 차

국립 앙도서 사서교육훈련의 新평가체계에 따라 평가를 진행하기 해서

는 <그림 6-4>와 같은 체계 인 평가 차를 따르는 것이 필요하다. 교육

로그램에 한 평가 차는 크게 세 단계로 나 어지는데, 평가를 기획하고

비하는 투입(INPUT) 단계, 평가를 실시하여 필요한 자료를 수집하는 과정

(PROCESS) 단계, 수집된 자료를 분석하여 결과를 정리하는 결과(OUTPUT)

단계이다. 이 투입 단계는 두 개의 하 단계로 구성되는데, 사서교육문화

과에서 이루어지는 교육 로그램에 한 체 인 평가를 기획하는 평가기획

단계와 기획내용에 따라 필요한 평가도구를 개발하는 평가도구개발 단계이다.

따라서 국립앙도서 사서교육훈련의 평가는 실질 으로 평가기획, 평가도구

개발, 평가실시, 평가결과 정리 활용의 네 단계를 거치는 과정에서 이루어

진다. 각 단계의 주요 내용은 다음과 같다.

<그림 6-4> 국립 앙도서 사서교육훈련 평가 차(이찬 2013, p.88 재구성)

- 164 -

첫째, 평가기획이다. 평가기획 단계는 사서교육문화과에서 이루어지는 교육

로그램별로 평가를 수행할 때 용할 평가 단계(수 ), 평가 내용, 평가 방

법 등 반 인 평가 계획을 수립하는 단계이다. 평가 기획은 교육 로그램과

련된 다양한 정보들을 토 로 이루어지는데, 일반 으로 교육 상자 학

습자의 특성, 교육 시간 기간, 다루어지는 내용 등 교육 로그램의 특성과

교육 로그램을 기획하는 단계에서 수집, 분석, 활용했던 요구 분석 자료, 학

습목표, 학습자 특성, 학습 환경 특성 등에 한 정보가 이에 해당한다. 평가

기획 단계는 이러한 다양한 정보들을 토 로 각 교육 로그램의 특성에 합

한 평가 단계를 결정하고, 각 평가 단계에서 사용할 평가 도구를 선정한다.

한 실제 평가를 실시하고 수집한 자료를 어떻게 분석하고 피드백 할 것인가에

한 구체 인 계획을 수립한다.

평가 기획 단계를 구성하는 하 단계들은 1) 평가단계 분류, 평가유형 분

류, 평가계획수립의 과정으로 이루어진다. 먼 평가단계 분류는 사서교육문화

과에서 이루어지는 교육과정 별로 어느 단계의 평가를 실행할 것인가를 결정

한다. 이 때 기본 으로 <그림 6-2> 평가체계에 제시된 구분을 따르지만, 교

육 로그램이 가지고 있는 고유의 특성 교육내용을 고려하여 결정한다.

평가유형 분류는 다양한 종류의 평가 방법들 원하는 정보를 얻는 데 합

한 방법을 결정하는 단계이다. 평가계획수립은 평가 단계와 평가 유형이 결정

되면 이를 토 로 구체 인 평가계획을 수립하는 것으로 평가 기간, 상, 실

행 주체, 단계 유형, 방법, 평가 도구 는 (도구가 없거나 수정 보안이 필요

한 경우에는) 도구 개발 계획 등에 한 구체 인 내용을 포함한다.

둘째, 평가 도구 개발이다. 평가도구개발 단계는 교육 로그램의 특성과 평

가의 목 에 부합한 구체 인 평가 도구를 개발하는 단계이다. 따라서 평가

도구 개발은 앞서 수행된 평가 기획 단계의 내용에 따라 이루어진다. 즉, 평가

기획 단계에서 검토·결정된 평가 목 , 단계, 유형 등의 계획에 따라 평가를

실시하기 해 필요한 평가 도구들을 비하는 것이다. 물론 모든 교육 로

그램을 상으로 항상 새로운 평가 도구를 개발해야 하는 것은 아니다. 평가

계획 단계에서 결정된 내용에 따라 특정 단계의 평가가 필요하지 않은 경우에

- 165 -

는 생략 가능하다. 를 들어, 2016년도 사서교육문화과에서 이루어진 ‘사서한

마당’의 경우, 재직자를 상으로 한 단기 소양교육이므로 1단계 반응평가까지

만 진행한다. 이 경우 2단계 학습 평가를 한 지필고사, 3단계 결과 평가를

한 설문지와 인터뷰 질문지, 4단계 성과 평가를 한 질문지 등은 개발하지

않고 1단계 평가도구만 이용하여 평가한다. 따라서 평가 도구 개발은 일반

으로 두 단계 이상의 평가를 실시하도록 기획된 경우에만 진행되는 과정이라

할 수 있다. 한, 사 에 개발된 도구가 있는 경우 역시 평가 도구를 새로 개

발하지 않고, 기존의 도구가 목 에 부합하는지 검토하여 활용한다.

평가 도구 개발 단계를 구성하는 하 단계들은 1) 학습 목표 수립, 2) 필수

학습요소 도출, 3) 평가 의사결정, 4) 평가문항 개발, 5) 개발문항 검 수

정의 과정으로 이루어진다. 학습 목표는 교육 로그램의 내용과 방법을 결정

하는 요한 기 이 되는 것으로, 교육 로그램 체의 학습 목표만을 의미

하는 것이 아니라, 해당 교육 로그램을 구성하는 교과목들의 학습목표와 교

과목의 단 시간별 학습목표도 포함한다. 학습 목표가 수립되면 학습 목표

도달을 해 필요한 필수학습요소를 도출한다. 교육 로그램을 평가하는 구

체 인 목 하나는 교육 로그램을 통해 달성하고자 한 학습 목표의 달

성 유무를 확인하는 것이다. 따라서 필수학습요소를 도출하여 학습자가 반드

시 학습해야 하는 요소들을 규명하는 것은 해당 학습목표 달성 여부를 확인하

는데 매우 요하다. 학습목표와 필수학습요소는 2단계 학습 평가에만 해당하

는 것이 아니라 3단계 평가와 4단계 평가와도 련이 있다. 즉, 2단계 이후 평

가 모두 학습목표와 필수학습요소에 기반하여 평가 도구가 개발되며, 필수학

습요소를 도출한 이후 각 단계별 평가의 성격에 맞는 평가방식을 선정하고,

구체 인 문항 등 평가도구가 개발된다.

셋째, 평가실시이다. 평가 실시는 평가를 비하고 기획하는 투입(INPUT)

단계에서 수립된 계획과 이에 따라 개발· 비된 도구를 활용하여 교육 장에

서 평가를 실시하여 교육 로그램을 평가하는데 활용할 평가 자료를 수집하

는 단계를 의미한다. 평가실시 단계는 실제로 평가를 실시하는 행 를 포함하

는 것으로 구체 으로는 개발· 비된 평가도구를 인쇄하거나 온라인 형태로

- 166 -

평가 상자들에게 제시하여 평가 자료를 수집하는 것이다.

평가실시 단계를 구성하는 하 단계들은 1) 평가도구 비, 2) 평가 실시,

3) 평가자료 수집의 과정으로 이루어진다. 평가도구 비는 반응평가 설문지,

학업성취도 평가지, 업 용도 인터뷰 질문지 등 평가에 활용할 도구들을 인

쇄하여 유인물이나 온라인 설문 형태로 비하는 것이다. 평가 실시는 단계별

로 필요한 시기에 평가 도구를 배포하거나 온라인 설문을 안내하여 실행하게

하거나 인터뷰를 진행하는 등 실제 평가가 이루어지는 것이다. 평가자료 수집

은 평가가 끝난 후 해당 평가지를 수거하고, 온라인데이터를 수합하고, 인터뷰

내용을 일 형태로 정리하는 등의 활동을 포함한다. 평가 실시 단계는 실제

평가 자료를 수집하는 단계이기 때문에 평가에 필요한 자료의 수집이 원활하

게 이루어질 수 있도록 진행 과정에서 답변 응답 방법 등을 명확하게 안내

하는 것이 요하다.

넷째, 평가결과 정리 활용이다. 평가 결과 정리 활용 단계는 수집된

평가 자료가 갖는 의미를 도출하기 해 양 , 질 연구방법을 활용하여 해

당 자료를 분석하고 해석하며, 해당 내용을 교육 로그램에 피드백하는 과정

을 의미한다. 국립 앙도서 사서교육문화과에서 교육 로그램을 평가하는

것은 교육 로그램을 지속 으로 개선하고, 교육 로그램의 효과와 성과를

확인하고, 이를 토 로 향후에 이루어지는 교육 로그램의 개선 략을 도출

하는데 목 이 있다. 따라서 이러한 목 에 부합할 수 있도록 평가 결과를 정

리하는 것이 필요하다.

평가결과 정리 활용 단계를 구성하는 하 단계들은 1) 평가자료 분석,

2) 평가결과 보고서 작성, 3) 평가결과 활용의 과정으로 이루어진다. 평가자자

료를 분석할 때는 계획된 기법에 의해 분석되는데, 주로 통계 기법이 활용된

다. 최근에는 질 자료의 경우도 유사한 내용을 유목화하여 수량화하므로, 결

과 해석의 용이성을 해 가능하면 양 , 질 자료 모두 계량화하여 분석, 정

리한다. 평가결과 보고서를 작성할 때는 해당 분석 자료가 갖는 의미를 충분

히 제시하고, 평가결과를 활용할 때는 교육 로그램을 어떻게 개선할 것인지

에 을 두고 활용한다.

- 167 -

6.2 사서교육훈련 4단계 평가도구

본 에서는 국립 앙도서 사서교육훈련의 신 평가체계를 바탕으로 교육

로그램 유형별 ① 1단계/3단계의 범용 시형 평가 도구와 ② 2단계/4단

계의 맞춤형 평가 도구를 개발하는 가이드라인을 제시하 다. ①에 해당하는

1단계/3단계 평가 도구는 문가 검토를 통해서 각 교육 로그램 유형별로

공통 는 각 교육과정별로 용될 수 있는 도구를 개발하 고, 개발된 도

구는 델 이 조사를 통한 내용타당도와 신뢰성이 확보된 문항을 제시하 다.

②에 해당하는 2단계/4단계 평가 도구는 교육 로그램별 특성을 반 한 도구

를 개발할 수 있도록 상세한 차와 시를 제시하 다.

6.2.1 제1단계 만족도 평가

6.2.1.1 만족도 평가 측정 개념

Kirkpatrick(1994)이 제안한 평가 모형에서 제1단계 만족도(반응) 평가는 교

육훈련과정에 한 참가자의 만족도 평가로 강사, 교육시설/환경, 교육시간,

교육내용 설계, 반 만족도를 바탕으로 평가한다.

6.2.1.2 만족도 평가 측정 설계

만족도 평가는 주로 교육과정에 련된 강사와 교육훈련 환경 시설을 포함

하여 과정의 효과성, 사용매체의 가치, 교수․학습자료 달의 속도, 교수․학

습방법, 행정 련 사항 등에 한 과정 참가자의 의견 는 신념을 평가하기

하여 사용되고 있다.

- 168 -

○ 평가 역(요소)

- 교육 조사 : 향 요인 1개 역, 7개 항목

- 교육 후 조사 : 향 요인 4개 역, 14개 항목

- 사이버 과정 : 향 요인 4개 역, 12개 항목

구분 교육 전 조사 교육 후 조사 사이버 과정

영향

요인

학습

자

∙개인특성(성별, 연령 등)

∙직무 연관성

∙학습 준비도

∙교육 욕구

∙현업적용 기대감

∙역량개발 기대감

∙업무성과 향상 기대감

∙개인특성(성별, 연령 등) ∙개인특성(성별, 연령 등)

교육

과정-

∙교육 효과

∙교과 편성

∙교육 설계

∙교육 운영

∙교육 목표

∙전반적인

만족도(학습효과)

∙교육 효과

∙교과 편성

∙교육 설계

∙교육 운영

∙교육 목표

∙전반적인

만족도(학습효과)

교육

환경-

∙강의환경 적절성

∙편의환경 적절성

∙교육운영 직원 친절성

∙접속환경 적절성

∙진도체크 적절성

∙학습편의성 적절성

교과

목 및

강사

평가

-

∙교과목 만족도

∙강의 전문성 만족도

∙강의 기술 만족도

∙강의 태도 만족도

∙강의 전문성 만족도

∙강의 기술 만족도

<표 6-12> 제1단계 만족도 평가의 평가 요인, 역 항목 설정

6.2.1.3 만족도 평가지 개발

1) 교육 조사

교육 입교 교육생의 개인특성, 학습동기 기 사항, 학습 비도 등을 조

- 169 -

평가

영역평가항목 평가 문항

측정

방법

학습자

개인특성

(성별, 연령 등)

- 성별, 연령, 도서관 유형, 직급, 재직기간

(5문항)선택형

교육참여 목적

6. 본 교육과정에 참여하게 된 동기나 목적은 무엇입니까?

①전문지식 함양 ②업무능력 향상 ③최신동향 파악 ④교육시간

필요 ⑤기타( )

선택형/

주관식

직무 연관성 7. 본 교육과정은 내가 수행하고 있는 직무와 관련성이 높다.5점

척도

학습 준비도

8. 나는 과정 수강전 본 교육과정의 학습내용을 확인해 보았다.

9. 나는 과정 수강전 본 교육과정과 관련한 사회적 이슈나 학습자

료 등으로 사전학습을 진행해 보았다.

5점

척도

교육 욕구

10. 나는 본 교육과정의 수강을 상당히 희망한다.

11. 나는 본 교육과정의 수강을 능력향상을 위한 좋은 기회로 생

각한다.

12. 나는 본 교육에 적극적으로 참여하여 교육 내용을 최대한 업

무에 적용하고 싶다.

5점

척도

현업적용

기대감

13. 본 교육과정의 교육내용은 현업에서 활용이 가능할 것으로 기

대한다.

5점

척도

역량개발

기대감

14. 본 교육과정의 교육을 통해 교육과정이 목표로 하는 역량이

향상될 것으로 기대한다.

5점

척도

업무성과 향상

기대감

15. 본 교육과정의 교육을 통해 교육과정이 목표로 하는 업무성과

가 향상될 것으로 기대한다.

5점

척도

<표 6-13> 제1단계 만족도 평가_교육 평가도구

사하여 교육과정 개선 교육효과 측정의 기 으로 활용하고자 한다. 한

교육 만족도 평가 업 용도 평가와 연계분석이 가능하도록 평가도구간의

연계성을 강화하고자 시도하 다.

2) 교육 후 조사

재 교육자료, 교육방법 매체, 교육시기 기간 등의 역에 한 문항

은 포함되어 있지 않고 강사 만족도에 편 되어 있는 행의 국립 앙도서

사서교육훈련 교육만족도 평가 체계는 교육목 , 교육내용, 교육방법 등 교육

과정의 질 개선에 유의미한 정보를 제공해 수 있는 문항들의 보완을 통

해 교육만족도 평가 결과의 신뢰도 엄 성을 제고할 필요가 있다. 그래서

- 170 -

평가영역

평가 항목 평가 문항측정

방법

학습자

개인특성

(성별,

연령 등)


(5문항)선택형

교육

과정

교육효과6. 교육내용에 대한 이해가 교육을 받기 전보다 높아졌다 .

7. 교육내용은 현업에서의 업무수행이나 능력개발에 도움이 될 것이다.

5점

척도

교과편성 및

설계

8. 교과목들은 교육목표에 적합하게 편성되었다.

9. 교재는 교육내용을 이해하는데 적절하게 구성되었다.

10. 교육방법(강의, 동영상, 토론 등)은 교육내용을 배우기 위해 효

과적이다.

5점

척도

교육운영

11. 전체 교육시간은 교육내용을 이해하기에 적당하였다.

12. 본 교육과정 담당자의 과정 진행(행정지원, 학습안내, 분위기

촉진 등)은 전반적으로 좋았다.

5점

척도

교육환경

교육환경

만족도

13. 강의실, 분임실 등 강의 환경

14. 식당 및 기숙사 등 편의시설 환경

15. 교육 운영자의 친절도

5점

척도

교과목

및 강사

평가

교과목 만족도 16. 해당 교과목은 업무능력 향상이나 자기계발에 도움이 될 것이다. 5점

척도

강의 전문성 /

기술 / 태도

17. 강사는 해당과목과 관련된 분야의 전문지식이 풍부하였다.

18. 강사는 강의내용을 이해하기 쉽게 전달하였고, 강의 스킬은 우수

하였다.

19. 강사는 적극적인 자세로 열의를 가지고 강의를 진행하였다.

5점

척도

교육목표

학습목표 달성도20. 본 교육과정 이수를 통해 원래 목표로 했던 교육참여 목적을 달

성하였다.

5점

척도

교육전반

교육전반

만족도

21. 이번 과정은 전체적으로 받을 만한 가치가 있는 교육이었다.

22. 본 교육을 받고 나신 후 가장 유익했던 부분은 무엇입니까?

(업무 활용이나 능력개발 측면 )

23. 본 교육과정 혹은 사서교육훈련 전반에 대한 건의사항이나 개선

해야 할 점이 있다면 무엇입니까?

5점

척도

/

주관

식

<표 6-14> 제1단계 만족도 평가_교육 후 평가도구

본 연구에서는 교육과정, 교육환경, 교과목 강사 등 교육 반에 한 만족

도 조사 방식 개선을 통해 국립 앙도서 사서교육훈련 교육과정의 교육목표

미달 원인 악 교육 로그램 개선을 한 근거자료로 활용하고자 하 다.

- 171 -

평가영역

평가 항목 평가 문항측정

방법

학습자개인특성

(성별, 연령 등)


(5문항)선택형

교육

과정

교육효과6. 교육내용에 대한 이해가 교육을 받기 전보다 높아졌다.

7. 교육내용은 현업에서의 업무수행이나 능력개발에 도움이 될 것이다.

5점

척도

교과편성 및

설계

8. 교육내용 선정 및 구성이 적절하였다.

9. 교육내용의 난이도는 적절하였다.

10. 교육방법(강의, 동영상, 애니메이션, 그래프 등)은 교육내용을

배우기 위해 효과적이다.

5점

척도

교육운영

11. 전체 교육시간 및 학습량은 교육내용을 이해하기에 적당하였다.

12. 본 교육과정은 학습에 참여하는데 불편함 없이 운영되었다.

13. 본 교육과정의 피드백(메일, 질의 응답) 및 관련자료 제공은 적절

하였다.

5점

척도

교육환경

교육환경

만족도

14. 국립중앙도서관 사서교육훈련 사이버교육 홈페이지 접속이 원활

하였다.

15. 본 교육의 학습과정과 학습진도 체크가 원활하였다.

16. 본 교육의 화면 구성 및 조작의 편의성은 학습에 몰입하는데 적

절하였다.

5점

척도

강사

평가

강의 전문성 /

기술

17. 강사는 해당과목과 관련된 분야의 전문지식이 풍부하였다.

18. 강사는 강의내용을 이해하기 쉽게 전달하였고, 강의 스킬은 우수

하였다.

5점

척도

<표 6-15> 제1단계 만족도 평가_사이버 과정

3) 사이버 과정

재, 운 은 되고 있지만 과정평가가 이루어지지 않고 있는 국립 앙

도서 의 행 사서교육훈련 사이버 교육과정에 한 교육만족도를 교육내용,

교육방법, 교육환경, 교강사 역할 등 교육운 의 질 개선에 유의미한 정보를

제공해 수 있는 문항들의 개발을 통해 e-러닝 교육의 만족도 평가 결과의

신뢰도 엄 성을 확보할 필요가 있다. 그래서 본 연구에서는 교육과정, 교

육환경, 강사평가 등 교육 반에 한 만족도를 심으로 e-러닝 학습환경과

과정 운 에 한 교육 만족도를 측정할 수 있는 평가문항으로 사이버 과정

평가도구를 개발하 다.

- 172 -

평가영역 이론적 근거 평가 사항

지식(Knowledge)업무 수행 능력은 필요 지식

과 기술의 보유 정도에 의해

교육내용습득의 충분성, 새로운 전

문지식 및 정보습득

<표 6-16> 제2단계 학업성취도 평가의 개념

교육목표

학습목표 달성도19. 본 교육과정 이수를 통해 원래 목표로 했던 교육참여 목적을 달

성하였다.

5점

척도

교육전반

교육전반

만족도

(주관식 포함)

20. 이번 과정은 전체적으로 받을 만한 가치가 있는 교육이었다.

21. 본 교육을 받고 나신 후 가장 유익했던 부분은 무엇입니까?


22. 본 교육의 과정 운영 및 교육시스템과 관련하여 건의사항이나 개

선해야 할 점이 있다면 무엇입니까?

5점

척도

/

주관식

6.2.2 제2단계 학업성취도 평가

6.2.2.1 학업성취도 측정 개념

학업성취도는 교육 충분도를 평가하며, 측정가능성 측정필요성을 바탕으

로 평가여부를 결정한다. 평가항목은 지식, 기술, 가치/윤리 등을 평가한다. 평

가방법은 주 인 학업성취도, 필기평가, 보고서 발표 등을 활용할 수 있

으며, 필기평가의 경우, 선다형, 단답형, 서술형, 문제해결형의 문제를 제출할

수 있다. 평가 상은 개인, , 분임평가가 이루어질 수 있으며 평가시기는 사

-사후 사후평가가 가능하다. 사 -사후평가를 할 경우는 동형 는 동일

문항을 활용하여 사 /사후 간의 향상된 수로 학업성취도를 평가하며, 사후

는 교육과정의 주 효과성을 평가한다. 평가를 통하여 즉, 학업성취도 평가

를 통해 교육자의 지식, 기술, 태도변화를 통해 교육의 효과성을 측정하고, 교

육자는 교육내용의 성공 실패부분을 악할 수 있다. 학업성취도 평가의

구체 인 개념을 아래 <표 6-16>과 같이 제시할 수 있다.

- 173 -

기술(Skills) 좌우되어짐 기술 학습의 충분성, 새로운 기술습득여부, 직무전문성향상

태도(Attitude)

교육과정에서 학습한 내용은

교육생의 의지 및 동기에 의

해서 업무에 반영될 수 있음

중요성 인지, 업무에 대한 적극성, 조직인으로 자긍심 향상

6.2.2.2 학업성취도 평가 차

학업성취도 평가는 크게 평가실시여부 검토, 평가목 의 결정, 교육목표 분

석 평가방법 결정, 평가지 개발, 평가실시, 평가결과 분석 피드백의 단

계를 거쳐서 이루어진다. 구체 인 차 내용은 <그림 6-5>와 같다(이성

2015).

<그림 6-5> 학업성취도 평가의 차 내용

- 174 -

평가목적 필요조건

수료여부 결정

• 평가지 제작 시 :

- 모든 교육목표를 반드시 포함시킬 필요는 없음.

- 실제 가르친 교육내용들을 중심으로 평가되어야 함 .

• 결과 처리시 :

- 교육생 개개인의 평가점수 확인 필요

교육효과성 검증 /수정

보완사항 확인

• 평가지 제작 시 :

- 모든 교육목표들을 포함해야 함.

- 보다 완벽한 평가지를 개발해야 함

(각 문항들과 교과목표들 간 연계가 뚜렷하게)

• 교육 중 :

- 수정 /보완 담당자는 추후 수정 /보완 작업을 위해 교육목표

<표 6-17> 제2단계 학업성취도 평가의 평가목 별 필요조건

1) 평가실시여부 검토

학업성취도 평가의 실시여부는 평가에 내재되어 있는 제한 들을 충분히 검

토하고, 시간, 산, 노력 등 투자 비 가치(활용도)를 고려한 정책 인 의사

결정을 통해 평가 실시여부를 결정하는 것이 필요하다(이성 2015).

2) 평가의 목 결정

학업성취도 평가의 궁극 인 목 은 획득한 지식의 기억 여부, 습득한 기술

의 숙련도, 의도했던 태도 변화 등을 측정하여 사 에 설정했던 학습 목표가

달성되었는지를 확인하는 것이다. 학습평가를 수행하기 에 평가자는 학습평

가를 하는 목 이 지식의 습득여부를 확인하기 한 것인지 혹은 기술의 숙련

도를 측정하는 것인지, 교육을 통한 태도의 변화를 측정하기 한 것인지를

명확하게 설정할 필요가 있다(이찬 2013). 어떤 목 으로 평가를 실시하느냐에

따라, 후속되는 활동들(평가문항 제작, 결과분석, 결과정리)이 일부 달라진다.

평가목 별 평가의 필요조건은 아래에 제시하는 <표 6-17>과 같다.

- 175 -

및 내용에 대해 충분히 이해하는 것이 필요(교육참관 필요 )

• 결과 처리시 :

- 수료여부 결정시 보다 추가적인 통계 분석 요구

(문항별 정 /오답 인원 파악 필요)

3) 교과목표 분석 평가방법(유형) 결정

본 연구는 교과목표 분석 평가방법을 결정하기 하여 Bloom의 교육목

표분류학을 근거로 하 다. Bloom의 교육목표분류학은 교육에 한 의사결정

을 하여 교육목표를 인지 역, 정의 역, 심동 역으로 제시하고

각 역에 필요한 세부 역을 정의하 다. 이러한 Bloom의 교육목표는 목표

에 따른 평가도구를 결정하는데 활용된다(김윤희, 윤기순, 권덕기 2010).

Bloom은 교육목표분류는 아래와 같다.

<그림 6-6>Bloom의 교육목표 분류

- 176 -

교과

목표

목표별

비중

지식 영역 기술

영역

태도

영역

평가

방법

(유형 )지식 이해 적용 분석 종합 평가

1.

2.

…

<표 6-18> 교과목표 분석 평가방법(유형) 결정에 따른

교과목별 평가방법 용 양식

이들은 인지 역의 교육목표를 지식, 이해, 용, 분석, 종합, 평가의 6가

지로 분류하고, 각 분야를 다시 세분화하 다. 인지 역에서는 가장 단순한

수 인 '지식'에서 마지막 '평가'로 갈수록 복잡하고 고차원 인 지 조

작을 요하는 것으로 보았다. 정의 역은 특정 상황이나 사람에 한 태도

등을 의미하는 것으로 주로 수용, 반응, 가치화, 조직화, 인격화 등과 같은 행

동으로 구분된다. 마지막으로 심동 역은 운동기능과 같이 특정업무에

한 수용능력을 말한다. 반사 운동, 기 운동, 운동지각능력, 신체 능력

등이 이에 해당된다.

교과목표 분석 평가방법(유형) 결정에 따른 각 교과목별 평가방법 용

양식을 개 하면 아래 <표 6-18>과 같다.

※ 적용 참고사항 : 1) 목표별 비중: 각 교과목표들이 교육과정 전체에서 차지하는 비중을 ‘%'로 작성한다. 교과목표 비중

을 확인하는 의도는 비중에 맞추어 평가문항의 개수나 배점을 결정하기 위해서이다.

2) 교과 목표: 각 교과목표들은 어느 목표 영역인지를 검토하여 해당란에 체크한다. 각 교과목표들은 지

식과 태도, 지식과 기술, 혹은 지식 영역 내에서도 이해와 적용 등 여러 가지가 동시에 관련되어 있

을 수 있으며, 이 경우에는 해당란에 모두 체크한다.

3) 평가 방법(유형): 각 교과목표들을 어떻게 평가할 것인지, 즉 평가방법을 지필검사, 관찰, 질문지, 수

행평가 등으로 기재하고, 지필검사일 경우에는 평가유형(선다형, 진위형, 연결형, 단답형 등)도 함께

기재한다.

- 177 -

구분 평가방법

인지적 영역 필기평가(선다형, 진위형, 연결형, 단답형, 에세이형, 문제해결형)

정의적 영역 관찰, 질문지, 인터뷰, 평정, 의미분석

심동적 영역

수행평가(서술형 및 논술형 검사, 구술시험, 토론, 실기시험, 실험·실습,

면접, 관찰, 자기평가 및 동료 평가 보고서, 연구보고서, 프로젝트법, 포트

폴리오)

<표 6-19> 교육목표별 학업성취도 평가방법 분류

6.2.2.3 학업성취도 평가지 개발

1) 학업성취도 평가 방법

Bloom이 분류한 인지 , 정의 , 심동 역의 교육목표별로 구체 인 평

가방법을 아래 <표 6-19>와 같이 나 어 제시할 수 있다. 인지 역(지식)

의 평가방법으로는 주로 지필검사를 통하여, 정의 역(태도)은 찰, 질문

지, 인터뷰, 평정, 의미분석 기법을 통해서 이루어질 수 있으며, 심동 역

(기술)은 구술시험, 토론, 실기시험, 실험·실습, 면 , 포트폴리오 등의 수행평

가를 통해 평가할 수 있다(나일주 2003).

2) 학업성취도 평가의 문제 개선방안

국립 앙도서 사서교육훈련 교육과정의 학업성취도 평가와 련하여 드러

난 문제 의 하나는 국립 앙도서 에서 실시하고 있는 사서교육훈련은 거

의 다수 과정이 의무교육이 아닌 선택교육 로그램으로 운 되고 있는데,

교육운 자와 교육참여자 모두 2단계 학업성취도 평가 실시에 해 큰 부담을

갖고 있는 것으로 나타났다. 즉, 지필고사 형태의 학습평가를 실시하는 교육과

정의 경우 이를 신청하는 학습자들이 어들 것이고, 결국에는 그런 교육과정

은 교육과정생 모집이 어려워질 것이라는 이다. 이는 학업성취도 평가를 교

육활동을 진하고 교육 로그램의 개선에 필요한 정보를 수집하기 한 활

- 178 -

구분 평가지 개발 방법 질문 예시

선다형

선택형 문항으로, 2개 이

상의 답지가 부여되어 그

중 적절한 답지를 선택하

는 방법

다음 DDC 제23판의 분류법호와 주제의 연결이 옳지

않은 것은?

A. 영국문학전집 820.8

B. 동물사육학총서 636.08

C. 경영학총서 658

D. 정치철학사전 320.01

진위형

문항을 제시하고 거기에

대해 옳고 그름을 결정하

는 방법

RDA의 내용유형은 저작을 표현하는 커뮤니케이션의

유형을 지칭한다(T/F)

<표 6-20> 인지 역의 평가지 개발 방법 시

동으로 인식하기보다는 학습자들을 평가하기 한 목 으로 주로 사용되어왔

음을 시사한다. 따라서 다수 교육과정이 의무교육이 아닌 선택교육 로그

램으로 운 되고 있는 국립 앙도서 사서교육훈련 교육과정에 한 2단계

학업성취도 평가는 평가의 목 을 보다 바람직하게 설정하여, ｢신임사서기본

과정｣의 경우는 기존과 동일하게 학습평가, 분임평가, 근태평가를 바탕으로 하

는 인지 , 심동 역의 평가를 실시하고, 나머지 과정의 경우는 가능하면

교육과정 목표를 정의 역으로 설정하여 지필고사나 수행평가보다는 주

학습충분도를 평가하는 평가지를 개발하여 평가할 필요가 있다.

3) 인지 역 평가지 개발

국립 앙도서 사서교육훈련 ｢신임사서기본｣ 과정의 경우는 학업성취도 평

가를 한 방법으로 인지 역의 평가가 이루어지며, 각 교과목에 10여 문

항씩 총 50여 평가문항을 작성하여 평가한다. 인지 역의 학습목표를 측정

하는 평가방법은 주로 선다형, 진 형, 연결형, 단답형, 에세이형, 문제해결형

등의 지필검사 형태가 있다. 구체 인 평가지 개발 방법은 아래 <표 6-20>과

같이 제시할 수 있다.

- 179 -

연결형

문제군과 답지군을 배열

하여 문제군 질문에 대한

답을 답지군에서 찾아 연

결하는 방법

이차문헌을 적절하게 연결하시오

A. 자료식별을 위해 서지사항을 1. 편람

체계적으로 편성한 것

B. 전문사항을 간결하게 설명한 책 2. 연감

C. 매년 1회 지속적으로 발행되는 간행물 3. 서지

단답형

간단한 단어나 기호로 빈

칸 채우기 또는 문장완성

형으로 응답하는 방법

선취권 확보와 연구성과의 신속한 공표를 목적으로

논문을 학술지에 발표하기 전에 간단히 투고하는 2차

정보원 (레터)

평가

시기

평가

영역평가 문항

측정

방법

사전

지식1. 나는 ( )에 대한 기본 지식을 가지고 있다.

5점

척도

2. 나는 ( )과 관련한 새로운 전문지식과 정보를 가지고 있다.

기술3. 나는 ( )과 관련한 기본 기술을 보유하고 있다.

4. 나는 ( )에 대한 직무 전문성을 보유하고 있다.

<표 6-21> 제2단계 학업성취도 평가 - 정의 역 평가지

4) 정의 역 평가지 개발

정의 역의 평가는 교육 로그램의 결과로서 태도가 변화되었는지를 측

정하며, 태도는 과정 교육의 다른 면이 얼마나 정 으로 인식되는지를 고려하

는 형성평가 정보를 제공한다. 태도를 평가함에 있어서 측정 도구로는 찰, 질

문지, 인터뷰 등이 있다. 아래 <표 6-21>에서는 특히 정의 역의 주 학

습충분도(지식, 기술, 태도)를 평가하는 평가 질문지를 개발하여 제시하고자 한

다. 주 학습충분도는 사 -사후로 나 어 ‘블랭크형( )’의 평가문항으로

작성하는데, 평가문항 개발은 해당 교육과정과 련된 국가직무능력표 (NCS,

National Competency Standards) 능력단 의 지식, 기술, 태도를 토 로 한다.

- 180 -

태도

5. 나는 ( )에 대한 중요성을 인지하고 있다.

6. 나는 ( )과 관련한 업무에 적극적이다.

7. 나는 ( )과 관련된 업무에 대해 전문가로서 자긍심을 가지고

있다.

사후

지식1. 나는 ( )에 대한 교육내용을 충분히 습득하였다.

5점

척도

2. 나는 ( )을 통해 새로운 전문지식 및 정보를 습득하였다.

기술3. 나는 ( )에 대한 새로운 기술을 습득하였다.

4. 나는 ( )을 통해 직무 전문성이 향상되었다.

태도

5. 나는 ( )에 대한 인식이 높아졌다.

6. 나는 ( ) 관련 업무에 대한 적극성이 높아졌다.

7. 나는 ( )을 통해 전문가로서의 자긍심이 향상되었다.

5) 심동 역 평가지 개발

심동 역의 평가에서는 학습자가 특정 과제 혹은 련 과제들의 집합을

얼마나 잘 수행할 수 있는가를 수행평가를 이용하여 찰 가능한 방법으로 측

정하여야 한다. 수행평가는 습득한 지식, 기술을 어떻게 수행할 수 있는지를

평가하며, 수행과정과 결과를 종합 으로 평가한다. 이러한 수행평가의 종류에

는 서술형 논술형 검사, 구술시험, 토론, 실기시험, 실험·실습, 면 , 찰,

자기평가 동료 평가 보고서, 연구보고서, 로젝트법, 포트폴리오 등이 있

다. 수행평가 도구를 개발하고 시행하여 결과를 활용하는 일련의 평가 차는

아래 <그림 6-7>과 같이 제시할 수 있다.

- 181 -

평가 영역 평가 문항

과제에 대한 이해도 과정의 학습내용 인지정도

내용의 체계성 과제결과물의 논리성 및 통일성

이론적 배경과 논리적 분석도 과제결과물의 완전성

창의성 과제결과물의 독창성과 새로운 내용 포함여부

실무적용의 실용도 과제결과물의 실무적용도

<표 6-22> 분임 수행평가 평가 역 문항

<그림 6-7> 심동 역의 수행평가 도구 개발

평가 차

국립 앙도서 사서교육훈련에서는 ｢신임사서기본과정｣에 분임 수행평가를

통하여 심동 역의 평가를 수행할 수 있다. 분임 수행평가는 아래 <표

6-22>에서와 같이 해당 교육과정의 과제에 한 이해도, 내용의 체계성, 이론

배경과 논리 분석도, 창의성, 실무 용의 실용도 등 5개 역을 평가한다.

- 182 -

6.2.2.4 학업성취도 평가 도구의 구성 차

1) 학업성취도 평가 도구의 구성

학업성취도 평가 도구는 국립 앙도서 사서교육훈련 과정의 교육여건

교육과정의 요성을 고려하여 유형을 선택하여 실시할 수 있도록 구성할 필

요가 있다. 유형 1에서는 사후 평가만 실시하며 유형 2에서는 동일 문항으로

사 /사후 평가를 실시한다. 유형 3에서는 동형 문항으로 사 /사후 평가를 실

시한다. 유형 1에서 유형 3으로 갈수록 시간, 비용, 인력의 소모는 증가하지만

평가 결과의 타당성과 객 성, 정확성은 높아진다. 학업성취도 평가 도구 구성

의 구체 인 내용은 아래 <그림 6-8>과 같다.

<그림 6-8> 학업성취도 평가 도구의 구성

2) 학업성취도 평가 도구 개발 차

학업성취도는 목표 달성 여부를 측정하는 것임으로 과정마다 문항이 상이하

기 때문에 교육과정에 계없이 용될 수 있는 문항을 설계하는 것은 실

으로 어렵다. 따라서 교육과정의 특성을 반 하여 과정별로 학업성취도를 평

가할 수 있는 평가도구 개발 가이드라인을 제시하고자 한다.

- 183 -

<그림 6-9> 학업성취도 평가 도구 개발의 차

학업성취도 측정을 한 도구설계는 총 4단계로 진행되며, ① 학습목표 진

술, ② 필수 학습단 요소 진술, ③ 학업성취도 측정방식 선택, ④ 실행 평

가 등의 로세스로 진행된다. 구체 인 학업성취도 평가 도구 개발 로세스

는 아래 <그림 6-9>와 같다.

(1) 학습목표 진술

학습목표 진술 단계에서는 교육 모듈 과정별로 학습목표가 크게 인지 ,

정의 , 심동 역의 3가지 주요 역인지를 구분하고 역별 학습목표 진

술 기 에 의해 목표를 진술한다.

인지 역은 크게 지식과 지 능력 기능으로 양분한 다음 지 능력

기능을 다시 이해력, 용력, 분석력, 종합력, 평가력으로 세분화한 역으

- 184 -

구분 인

지

정

의

심

동학습목표 진술

모듈 교육과정

기본

교육신임사서

기본

●1-1) 신속한 조직적응과 직무수행에 필요한 사서 전문역량을 제대로

이해하고 설명할 수 있다.

●1-2) 신임 사서공무원으로서 갖추어야 할 올바른 공직관 및 국가관을

확립하기 위한 동기를 부여하고 문화를 공감할 수 있다.

직무

전문

도서관과

저작권

●2-1) 저작권과 저작권법에 대한 기본지식 등 도서관에서의 저작권 관

련 주요 업무 지식을 숙지하고 설명할 수 있다.

●2-2) 유형별 저작권 실무 사례를 숙지하고, 디지털 환경에서의 도서관

서비스와 저작권 관리 업무에 적용할 수 있다.

도서관통

계활용기

법 기초

●3-1) 통계의 기초개념 및 통계 자료에 대해 제대로 이해하고 설명할

수 있다.

● 3-2) 도서관의 실무에 기초 통계자료 분석 및 실습을 적용할 수 있다.

도서관통

계활용기

법 심화

●4-1) 통계의 심화개념 및 통계 분석기법에 대해 제대로 이해하고 설명

할 수 있다.

●4-2) 도서관에서 필요한 통계자료분석 실습 및 사례학습을 통해 통계

활용 기법을 숙지하고, 도서관 업무에 적절하게 활용할 수 있다.

<표 6-23> 사서교육훈련 2단계 학업성취도 평가를 한 학습목표 진술 시

로 주로 지식, 이해, 용, 분석, 종합, 평가와 련 있는 역을 다루는 학습

목표를 의미한다. 정의 역은 사람의 마음과 련된 특성으로 특정 상황이

나 사람에 한 태도 등을 의미하며, 주로 수용, 반응, 가치화, 조직화, 인격화

등과 같은 행동으로 구분되는 역을 다루는 학습목표를 의미한다. 심동

역은 운동기능과 같이 특정 업무에 한 수용능력을 말하며, 반사 운동, 기

운동, 운동지각능력, 신체 능력 등에 해당되는 학습목표를 의미한다.

학습목표가 인지 , 정의 , 심동 역 어디에 해당되는지 체크한 후

교육과정별 학습 목표를 진술한다. 이를 토 로 모듈별 학습 목표를 작성 할

수 있고, 모듈별 학습 목표를 작성하면 이를 토 로 각 교육 로그램의 학습

목표를 진술할 수 있다. 이러한 학습목표 진술은 강사, 교육과정 개발자, 운

자가 함께 워크 을 진행하여 보다 체계 으로 도출할 수 있다.

국립 앙도서 사서교육훈련 과정의 2단계 학업성취도 평가를 한 학습목

표 진술의 시는 아래 <표 6-23>과 같다.

- 185 -

직무

공통

도서관법

령실무

●5-1) 도서관 관련 법령 입안과 법령 해석에 대한 기초 지식을 습득하

고 설명할 수 있다.

●5-2) 도서관법 등 도서관과 관련된 법령에 대한 유형별 법률 적용사례

를 숙지하고 이를 설명할 수 있다.

도서관의

이해

(비사서직)

●6-1) 도서관의 철학, 역사 등 관련 기초이론을 습득하고 공감대를 형

성하였다.

● 6-2) 도서관 업무 관련 용어 및 기초지식을 이해하고 설명할 수 있다.

(2) 필수 학습단 요소 작성

필수 학습단 요소는 교육과정 각 교과에서 수강생들이 반드시 학습해야 할

주제를 의미하며(박진주 2002), 학업성취도 평가를 한 기본 단 로 활용이

가능하다. 본 연구에서는 2단계 학업성취도 평가의 기본단 로 활용할 필수

학습단 요소를 국가직무능력표 (NCS, National Competency Standards)을

통하여 도출하 다. 국가직무능력표 (NCS)은 산업 장에서 직무를 수행하기

해 요구되는 지식·기술·소양 등의 내용을 국가가 산업부문별·수 별로 체계

화한 것(자격기본법 제2조 제2호)으로, 산업 장의 직무를 성공 으로 수행하

기 해 필요한 능력(지식, 기술, 태도)을 국가 차원에서 표 화한 것을 의

미한다. NCS는 산업 장의 직무수요를 체계 으로 분석하여 제시함으로써 ‘일

-교육･훈련-자격’을 연결하는 고리로 작용하여, 교육훈련기 은 장에서 필

요한 직무수행능력을 기 으로 교육훈련과정, 직업능력개발 훈련기 교재

개발 등에 활용하여 산업 수요 맞춤형 인력양성에 기여할 수 있고, 기업은 근

로자를 상으로 경력개발경로 개발, 직무기술서, 채용･배치･승진 체크리스트,

자가진단도구 등으로 활용할 수 있다(교육부 2015).

즉, 학습목표와 각 교육과정 교과목과 련되어 있는 국가직무능력표

(NCS) ‘문헌정보 리’ 직무의 능력단 능력단 요소로부터 필수학습요소

를 도출하고, 평가의 기본단 로 활용하 다. 국립 앙도서 의 사서교육훈련

과 련있는 국가직무능력표 (NCS) ‘문헌정보 리’ 직무의 능력단 능력

단 요소는 아래 <표 6-24>와 같다.

- 186 -

문헌정보관리 [세분류, 직무]

능력단위

능력단위 정의 능력단위요소

능력단위명능력단위

코드

문헌정보

조직

0801010402_

14v2

문헌정보조직이란 이용자들이 적합한 정

보를 검색하고 접근하며 이용할 수 있도

록 하는 능력이다.

분류하기

목록작성하기

메타데이터작성하기

이용자 정보

서비스

0801010403_

14v2

이용자 정보서비스란 이용자를 위한 서

비스와 프로그램을 기획하고 운영, 평가

할 수 있는 능력이다.

이용자정보서비스 기획하기

이용자정보서비스 운영하기

이용자정보서비스 평가하기

문헌정보

실무

연구수행

0801010406_

16v3

문헌정보 실무 연구수행이란 문헌정보

전문가로서 필요한 연구를 수행하고 활

용할 수 있는 능력이다.

문헌 연구하기

연구 수행하기

연구 결과 활용하기

문헌정보

이용 분석

0801010407_

14v2

문헌정보 이용 분석이란 문헌 정보 및

관련 시설과 프로그램의 이용성과 분석

을 실행할 수 있는 능력이다.

문헌정보 이용 평가하기

시설 이용 평가하기

프로그램 운영 평가하기

연구 성과 분석하기

문헌 정보

보존

0801010408_

14v2

문헌정보 보존이란 자료의 접근성과 유

용성을 높일 수 있게 수집된 자료를 적

절하게 배치하고 이용자들이 편리하게

이용할 수 있게 하며 수집된 자료를 보

호하고 보존할 수 있는 능력이다.

수집자료 관리하기

보존하기

폐기하기

디지털 아카이빙

문헌정보큐

레이션

0801010409_

14v2

문헌정보 큐레이션이란 새로운 정보 요

구를 분석하고 이를 충족시키기 위한 정

보를 발굴, 생산, 평가할 수 있는 능력

이다.

정보 분석하기

정보 가공하기

생산된 정보 평가하기

문헌정보

서비스

마케팅

0801010410_

14v2

문헌정보 서비스 마케팅이란 문헌정보

및 관련 기관의 이용과 활용을 증진하기

위한 홍보 마케팅 전략을 수립하고 실

행, 평가할 수 있는 능력이다.

문헌정보 서비스 마케팅 기

획하기

문헌정보 서비스 마케팅 실

행하기

문헌정보 서비스 마케팅 평

가하기

문헌정보

수집 정책

개발

0801010412_

16v3

문헌정보 수집정책 개발이란 도서관의

목적과 이용자의 요구를 고려하여 문헌

정보를 수집하고 분석하여 문헌정보 수

집 정책을 개발하는 능력이다.

이용자 정보 요구분석하기

문헌정보 자료 수집하기

수집정책 개발하기

<표 6-24> 국가직무능력표 (NCS) ‘문헌정보 리’

직무상의 능력단 능력단 요소

- 187 -

문헌정보수집0801010413_

16v3

문헌정보수집이란 도서관의 목적과 이용

자의 요구를 고려하여 필요한 자료를 선

택하고 입수하여 평가하는 능력이다

문헌정보 선택하기

문헌정보 입수하기

문헌정보 평가하기

문헌정보시

스템구축

0801010414_

16v3

문헌정보시스템 구축이란 문정정보 운영

을 원활하기 하기 위하여 환경을 분석하

고 요구사항을 도출하여 문헌정보 시스

템을 구축하는 능력이다

문헌정보 시스템 환경 분석

하기

문헌정보 시스템 기획하기

문헌정보 시스템 구축하기

문헌정보시

스템운영

0801010415_

16v3

문헌정보시스템 운영이란 필요한 문헌정

보시스템을 갖추기 위하여 환경을 분석

하고 요구사항을 도출하여 이를 구축하

는데 반영하고 구축된 시스템을 운영하

고 평가할 수 있는 능력이다.

문헌정보 시스템 운영하기

문헌정보 시스템 평가하기

도서관

정보센터

경영관리

0801010416_

16v3

도서관 정보센터 경영관리란 도서관/정

보센터의 인적/물적 자원을 활용하여 조

직과 부서의 목적과 목표를 달성하기 위

하여 수행되는 일련의 활동 능력이다.

기획전략 수립하기

조직인사관리하기

도서관

유관기관

협력

0801010417_

16v3

도서관 유관기관 협력이란 도서관 운영

의 효율성을 높이기 위하여 도서관 정책

을 분석하고 유관 기관과 협력할 수 있

는 능력이다

정책 분석 적용하기

유관기관과 협력하기

독서문화

프로그램

계획수립

0801010418_

16v3

독서문화 프로그램 계획수립이란 이용자

의 독서교육에 대한 요구를 충족시키기

위하여 이용자의 요구를 파악하고 프로

그램을 개발 한 후 운영계획을 수립하는

능력이다.

프로그램 요구분석하기

프로그램 설계하기

프로그램 운영계획 수립하기

독서문화

프로그램

운영

0801010419_

16v3

독서문화 프로그램 운영이란 이용자의

독서 프로그램, 문화 프로그램 수요분석

을 바탕으로 운영계획을 작성하고, 프로

그램과 평가계획을 수립하는 능력이다.

프로그램진행하기

프로그램평가하기

필수 학습단 요소로 선정된 내용은 최소한의 학업성취도 평가를 시행하여야

한다. 필수 학습단 요소는 모듈별, 교육과정, 교과목별로 주요학습 내용을 도

출한 후 학습자들이 알아야 할 필수 학습단 요소를 작성한다. 아래는 <표

6-25>는 국가직무능력표 (NCS) ‘문헌정보 리’ 직무의 능력단 능력단

요소로부터 도출된 국립 앙도서 사서교육훈련 교육과정의 2단계 학업성취

도 평가에 활용할 필수 학습단 요소 작성의 시이다. <표 6-25>에서 도출된

필수 학습단 요소 ‘( )’부분의 요소는 해당되는 NCS 능력단 능력단

요소가 존재하지 않아 NCS를 활용하지 않고 도출된 필수 학습단 요소이다.

- 188 -

구분학습목표 진술 필수 학습단위요소

수

준모듈 교육과정

기본

교육신임사서

기본

1-1) 신속한 조직적응과 직무수행에 필

요한 사서 전문역량을 제대로 이

해하고 설명할 수 있다.

문헌정보 조직, 이용자 정보 서비스, 문

헌정보 서비스 마케팅, 문헌정보 수집

정책 개발, 문헌정보수집, 도서관 유관

기관 협력, 독서문화 프로그램 계획수

립, 독서문화 프로그램 운영

5

1-2) 신임 사서공무원으로서 갖추어야

할 올바른 공직관 및 국가관을 확

립하기 위한 동기를 부여하고 문

화를 공감할 수 있다.

(소통, 이미지메이킹, 커리어로드맵, 청

렴교육, 호국보훈, 통일의식, 정부3.0,

일하는 방식, 준법의식, 법질서 확립,

국가안보, 국익, 외국정보활동 대응, 사

회봉사, 민생현장 체험)

3

직무

전문

도서관과

저작권

2-1) 저작권과 저작권법에 대한 기본지

식 등 도서관에서의 저작권 관련

주요 업무 지식을 숙지하고 설명

할 수 있다.

도서관 유관기관 협력하기, 정책 분석

적용하기(저작권법, 저작권 실무)5

2-2) 유형별 저작권 실무 사례를 숙지

하고, 디지털 환경에서의 도서관

서비스와 저작권 관리 업무에 적

용할 수 있다.


적용하기(저작권법, 저작권 실무)5

도서관통

계활용기

법 기초

3-1) 통계의 기초개념 및 통계 자료에

대해 제대로 이해하고 설명할 수

있다.

문헌정보 이용 분석, 연구 성과 분석하

기(통계조사 방법, 도서관 통계데이터

분석, 조사통계 분석)

5

3-2) 도서관의 실무에 기초 통계자료

분석 및 실습을 적용할 수 있다.

문헌정보 이용 분석, 문헌정보 이용 평

가하기, 시설 이용 평가하기, 프로그램

운영 평가하기, 연구 성과 분석하기(통

계조사 방법, 도서관 통계데이터 분석,

조사통계 분석)

5

도서관통

계활용기

법 심화

4-1) 통계의 심화개념 및 통계 분석기

법에 대해 제대로 이해하고 설명

할 수 있다.

문헌정보 이용 분석, 연구 성과 분석하

기(통계조사 방법, 도서관 통계데이터

분석, 조사통계 분석)

5

4-2) 도서관에서 필요한 통계자료분석

실습 및 사례학습을 통해 통계활

용 기법을 숙지하고, 도서관 업무

에 적절하게 활용할 수 있다.

문헌정보 이용 분석, 문헌정보 이용 평

가하기, 시설 이용 평가하기, 프로그램

운영 평가하기, 연구 성과 분석하기(통

계조사 방법, 도서관 통계데이터 분석,


5

<표 6-25> 국가직무능력표 (NCS)을 활용한 사서교육훈련

2단계 학업성취도 평가를 한 필수 학습단 요소 작성 시

- 189 -

직무

공통

도서관법

령실무

5-1) 도서관 관련 법령 입안과 법령 해

석에 대한 기초 지식을 습득하고

설명할 수 있다.


적용하기(도서관법, 법령 해석)5

5-2) 도서관법 등 도서관과 관련된 법

령에 대한 유형별 법률 적용사례

를 숙지하고 이를 설명할 수 있

다.


적용하기(도서관법, 법제 실무)5

도서관의

이해

(비사서직)

6-1) 도서관의 철학, 역사 등 관련 기

초이론을 습득하고 공감대를 형성

하였다.

(도서관 이해, 도서관사) 3

6-2) 도서관 업무 관련 용어 및 기초지

식을 이해하고 설명할 수 있다.

문헌 정보 보존, 수집자료 관리하기, 보

존하기, 폐기하기, 디지털 아카이빙, 정

책 분석 적용하기(도서관 용어 해설, 저

작권법)

5

구분인지

정의

심동 필수 학습단위요소

필기평가관찰,

질문지

수행

평가모듈 교육과정

선다형진위형단답형서술형

문제해결형

기본

교육

신임사서

기본●

문헌정보 조직, 이용자 정보 서비

스, 문헌정보 서비스 마케팅, 문헌

정보 수집 정책 개발, 문헌정보수

5문항

<표 6-26> 학습목표 역을 고려한 2단계 학업성취도 평가 방식 선정 시

(3) 필수 학습단 요소를 고려한 학업성취도 평가 방식 선정

각 교과과정별로 도출된 필수 학습단 요소별로 학업성취도 평가에 가장

합한 측정의 방식을 선정하게 되는데, 해당 모듈 교육과정의 학습목표

역이 인지 , 정의 , 심동 역인지를 고려하여 평가의 방식을 선정한다.

를 들어, 해당 모듈 교육과정의 학습 목표가 모두 인지 역에 속한다

면 평가 방법으로 필기평가가 사용되어 질 수 있다. 선다형, 진 형, 연결형,

단답형, 서술형, 문제해결형 등 필기평가의 여러 가지 방법 해당 필수 학습

단 요소의 학업성취도를 평가하기에 가장 합한 방식을 선택할 수 있다.

한 필수 학습단 요소의 수 에 따라서 평가문항의 수를 결정할 수 있다.

- 190 -

집, 도서관 유관기관 협력, 독서문

화 프로그램 계획수립, 독서문화

프로그램 운영

●

(소통, 이미지메이킹, 커리어로드

맵, 청렴교육, 호국보훈, 통일의

식, 정부3.0, 일하는 방식, 준법의

식, 법질서 확립, 국가안보, 국익,

외국정보활동 대응, 사회봉사, 민

생현장 체험)

3과제

직무

전문

도서관과

저작권

●

도서관 유관기관 협력하기, 정책

분석 적용하기(저작권법, 저작권

실무)

5문항

●



실무)

3문항

도서관통

계활용기

법 기초

●

문헌정보 이용 분석, 연구 성과 분

석하기(통계조사 방법, 도서관 통

계데이터 분석, 조사통계 분석)

5문항

●

문헌정보 이용 분석, 문헌정보 이용

평가하기, 시설 이용 평가하기, 프

로그램 운영 평가하기, 연구 성과

분석하기(통계조사 방법, 도서관 통


3과제

도서관통

계활용기

법 심화

●

문헌정보 이용 분석, 연구 성과 분

석하기(통계조사 방법, 도서관 통


5문항

●

문헌정보 이용 분석, 문헌정보 이용

평가하기, 시설 이용 평가하기, 프

로그램 운영 평가하기, 연구 성과

분석하기(통계조사 방법, 도서관 통


3과제

직무

공통

도서관

법령실무

●도서관 유관기관 협력하기, 정책 분

석 적용하기(도서관법, 법령 해석)5문항

●도서관 유관기관 협력하기, 정책 분

석 적용하기(도서관법, 법제 실무)5문항

도서관의

이해

(비사서직)

● (도서관 이해, 도서관사) 3문항

●

문헌 정보 보존, 수집자료 관리하

기, 보존하기, 폐기하기, 디지털

아카이빙, 정책 분석 적용하기(도

서관 용어 해설, 저작권법)

5문항

- 191 -

・동형문항: 검사내용이 유사하고, 문항의 난이도, 문항수가 같으며 검사의 평균과

표준편차가 서로 같은 동일한 형태의 문항을 말한다.

1. 검사 내용을 유사하게 : 평가하는 내용을 동일하게 구성한다.

(예시) 덧셈 법칙 : 2+3과 4+2 (한 자리 숫자의 덧셈을 평가한다.)

2. 문항의 난이도를 유사하게 구성한다.

3. 두 문항의 문항수를 동일하게 구성한다.

(예시) A형 10문항, B형 10문항

<표 6-27> 동형문항 작성 지침

필수 학습단위요소 사전(A형) 사후(B형)

영역 측정 방식 다음 중 이용자 정보서비스 참고질문의 종류가 아닌 것은? (1점)① 지시형 질문

다음 중 이용자 정보서비스 참고질문 유형의 형성단계가 아닌 것은? (1점)① 내면적 요구

인지적 선다형

문헌정보 조직, 이용자 정보서비스,

<표 6-28> 사 ․사후 평가 문항의 개발 시

(4) 실행 평가

그 다음 단계로 필수 학습단 요소와 선정된 측정방식을 고려하여 문항을

개발한다. 학습 성취도를 측정하기 해서 사 ·사후 테스트를 실시하게 되는

데 이러한 사 ·사후 평가 결과인 교육생들의 성 향상을 학습의 결과로 볼

수 있기 때문이다. 학습결과를 정확히 측정하기 해서는 사 ·사후 테스트의

검사내용이 유사하고, 문항의 난이도, 문항 수, 검사의 평균과 표 편차가 서

로 같아질 수 있도록 동일한 형태의 동형 문항을 만드는 것이 요하다. 그

지 않으면 학습 결과에 왜곡이 있을 수 있기 때문이다. 아래 <표 6-27>과 같

이 동형문항 작성 지침을 제시한다.

동형문항 작성 지침을 고려하여 학습 성취도 평가가 필요한 필수 학습단

요소별로 선택한 측정방식의 평가문항을 아래 <표 6-28>과 같이 개발할 수

있다.

- 192 -

문헌정보 서비스 마케팅, 문헌정보 수

집 정책 개발, 문헌정보수집, 도서관

유관기관 협력, 독서문화 프로그램 계

획수립, 독서문화 프로그램 운영

② 즉답형 질문③ 조사형 질문④ 탐색형 질문

② 의식적 요구③ 표현된 요구④ 질의된 요구

영역 측정 방식 저작물 등을 식별하기 위한 정보, 저작권, 그 밖에 이 법에 따라 보호되는 권리를 가진 자를 식별하기 위한 정보, 저작물 등의 이용 방법 및 조건에 관한 정보나 그 정보를 나타내는 숫자 또는 부호를 무엇이라고 합니까?(3점)

(권리관리정보)

도서관등은 저작권법의 규정에 따라 디지털 형태의 도서등을 복제하는 경우 및 도서등을 다른 도서관등의 안에서 열람할 수 있도록 복제하거나 전송하는 경우에는 문화체육관광부장관이 정하여 고시하는 기준에 의한 ( )을 당해저작재산권자에게 지급하여야 한다. 빈칸에 들어갈 용어는 무엇입니까?(3점)

(보상금)

인지적 단답형



실무)

- 193 -

6.2.3 제3단계 업 용도 평가

6.2.3.1 업 용도 측정 개념

3단계 평가는 업 용도 혹은 학습 이측정 평가라고도 불린다. 학습 이는

교육훈련에서 “교육훈련의 이”와 혼용하여 다양하게 사용되는 개념으로, 이

러한 개념을 Newstorm(1986)은 ‘교육훈련 참여자가 교육훈련 에 습득한 지

식, 기술, 태도를 직무 장에 효과 으로 용하는 정도’라고 하 고, Baldwin

& Ford(1988)는 ‘교육훈련에서 습득한 지식, 기술 등을 자신의 업무에 용하

고 활용하는 것이 가장 바람직하며, 이러한 과정을 교육훈련의 이’라고 정의

하고 있다. 한, 이찬, 박한규, 류 주, 여수경(2012)은 교육훈련 이를 “기업

환경에서 학습자가 학습한 내용을 업에서 지속 이고 효과 으로 사용

유지하는 것”으로 제시하고 있는데, 이로써 선행연구에서 정의한 교육훈련

이의 공통 인 개념은, ‘교육훈련을 통해 학습한 역량’을 ‘실제 직무 는 업’

에 ‘ 용하여 행동을 변화시키고 유지’하는 것이라고 정의할 수 있다.

6.2.3.2 업 용도 평가 도구의 구성

업 용도 평가 도구는 국립 앙도서 사서교육훈련 과정의 여건 교육

과정의 요성을 고려하여 유형을 선택하여 실시할 수 있도록 구성하 다. 유

형 1에서는 업 용도 평가 도구의 공통항목으로 평가를 실시하며 유형 2에

서는 업 용도 평가 도구의 공통항목과 함께 상사지원, 동료지원 등 업

용 향요인을 측정한다. 유형 3에서는 업 용도 평가 도구의 공통항목

업 용 향요인과 함께 각 교육과정별 맞춤형 평가도구로 평가한다. 유형

1에서 유형 3으로 갈수록 시간, 비용, 인력의 소모는 증가하지만 평가 결과의

타당성과 객 성, 정확성은 높아진다.

업 용도 평가도구 구성의 구체 인 내용은 다음 <그림 6-10>과 같다.

- 194 -

구분 내용

현업적용도

평가 도구

공통 ・포괄적으로 전이 여부를 파악

현업적용 영향요인・선행연구를 통해서 작업환경요인에 따라

구성

교육과정별 맞춤형・각 교 육 과 정 별 학습목표로부터 전이행동지

표를 추출

<표 6-29> 업 용도 평가도구의 설계

<그림 6-10> 업 용도 평가 도구의 구성

업 용도 평가의 유형을 구성하는 각각의 평가 도구는 다음 <표 6-29>와

같이 3가지로 구성할 수 있다. 업 용도 평가도구 공통 항목은 모든 과정에

하여 실시 할 수 있도록 포 으로 이 여부를 악할 수 있는 7개의 항목

으로 구성되어 있으며, 업 용 향요인 평가도구는 선행연구를 고찰하여

업 용에 향을 주는 상사지원, 동료지원 등 작업환경요인으로 구성하 다. 그

리고 교육과정별 맞춤형 평가도구는 각 교육과정의 학습목표로부터 이행동지

표를 추출하여 개발할 수 있는 각 교육과정에 특화된 맞춤형 평가 도구이다.

- 195 -

구분 평가 항목 평가 내용 평가대상 교육과정

현 업

적 용

영 향

요 인

공 통현 업 에 서 의

전 이 동 기

교육으로 습득한 지식 및

기술의 적용 인식 정도

도서관리더(중간관리자)도서관리더(최고경영자)통합서지용KORMARC형식(도서)(A)통합서지용KORMARC형식(도서)(B)통합서지용KORMARC형식(비도서)DDC자료분류(격년)KDC자료분류 독서지도심화독서치료심화도서관문화프로그램심화도서관이용자관리(A) 도서관이용자관리(B)도서관장서관리(A)도서관장서관리(B) 도서관홍보(A)

도서관홍보(B)

공 통현 업 에 서 의

변 화 가 능 성

교 육 으 로 습 득 한 새 로 운 기

술 에 대 한 현 업 에 서 의 수 용

가 능 성 정 도

영 향

요 인

현 업 에 서 의

상 사 지 원학습자에 대한 상사의 지원 정도

통합서지용KORMARC형식(도서)(A)통합서지용KORMARC형식(도서)(B)통합서지용KORMARC형식(비도서)DDC자료분류(격년)KDC자료분류 독서지도심화독서치료심화도서관문화프로그램심화도서관이용자관리(A) 도서관이용자관리(B)도서관장서관리(A)도서관장서관리(B) 도서관홍보(A)

도서관홍보(B)

영 향

요 인

현 업 에 서 의

동 료 지 원학습자에 대한 주위 동료의 지원 정도

<표 6-30> 업 용도 설문조사 평가 역 내용

6.2.3.3 업 용도 평가도구 개발

1) 평가방법

업 용도 평가의 방법은 업 용도 수 을 계량화하는 설문조사(교육수

료 후 3～6개월 경과시)를 실시하여 주요 학습내용의 업 용 향 요인,

업 용 교육효과성, 업무 개선도 등을 조사하는 것이다.

2) 평가요소 도출

업 용도 평가를 한 설문조사의 평가 역 내용을 아래 <표 6-30>과

같이 도출하 다.

- 196 -

현 업

적 용

교 육

효 과 성

공 통

현 업 적 용 활 동

현 업 에 서 의 학 습 요 소 활 용

수 준


도서관홍보(B)

과 정 별

맞 춤 형


순 위

공 통

현 업 적 용 결 과

학 습 요 소 적 용 을 통 한 현 업

에 서 의 직 무 역 량 개 발 현 황


도서관홍보(B)

과 정 별

맞 춤 형

현 업 에 서 의 학 습 요 소 적 용

을 통 한 직 무 역 량 향 상 도

공 통학 습 요 소 적 용 을 통 한 현 업

에 서 의 업 무 성 과 향 상 현 황

통합서지용KORMARC형식(도서)(A)통합서지용KORMARC형식(도서)(B)통합서지용KORMARC형식(비도서)DDC자료분류(격년)KDC자료분류 독서지도심화독서치료심화도서관문화프로그램심화도서관이용자관리(A) 도서관이용자관리(B)도서관장서관리(A)도서관장서관리(B) 도서관홍보(A)

도서관홍보(B)

과 정 별

맞 춤 형

현 업 에 서 의 학 습 요 소 적 용

을 통 한 업 무 성 과 향 상 도

공 통

개 선 사 항

업 무 성 과 향 상 에 도 움 이 되

었 던 점


도서관홍보(B

공 통업 무 성 과 향 상 을 위 한 개 선

사 항

3) 평가지 개발

- 1

97 -

평가

영역

평가

항목

평가

문항

측정

방법

현업

적용

영향

현업

에서

의 전

이 동

기

1.

내가

본 교

육과

정에

서 배

운 지

식과

기술

을 활

용한

다면

업무

성과

는 향

상될

것이

라고

생각

했다

.

2.

나는

본 교

육과

정을

통해

나의

업무

에서

사용

하고

자 했

던 지

식과

기술

을 배

웠다

.

3.

내가

본

교

육과

정에

서 배

운 지

식과

기

술은

앞

으로

나

의 업

무와

관

련된

문

제를

해

결하

는데

도

움이

될 것

으로

생각

했다

.

4.

나는

본 교

육과

정을

통해

습득

한 지

식과

기술

을 나

의 업

무에

활용

할 수

있다

고 생

각했

다.

5점 척

도

현업

에서

의 상

사 지

원

5.

나의

상사

는 소

속 직

원이

교육

받은

것을

직무

에 활

용하

도록

지원

한다

.

6.

나의

상사

는 소

속 직

원이

교육

받는

것을

중요

하게

생각

한다

.

7.

나의

상사

는 소

속 직

원이

교육

에서

습득

한 것

을 직

무에

적용

하는

방법

을 지

도해

준다

.

8.

나의

상사

는 소

속 직

원이

교육

에서

습득

한 것

을 업

무에

적용

하기

위한

구체

적인

목표

를 제

시한

다.

5점 척

도

현업

에서

의 동

료 지

원

9.

주위

동료

들은

내가

교육

과정

에서

습득

한 것

을 현

업에

적용

하는

것을

보고

나를

적절

히 평

가한

다.

10.

주위

동료

들은

내가

교육

과정

에서

습득

한 것

을 직

무에

잘 적

용할

수 있

도록

지원

과 격

려를

해준

다.

11.

주위

동료

들은

내가

교육

과정

에서

습득

한 것

을 직

무에

적용

하는

것에

대해

긍정

적인

관심

을 가

져

준다

.

12.

주위

동료

들은

내가

습득

한 새

로운

지식

과 기

술을

직무

에 적

용하

는 과

정에

서 생

기는

실수

는 허

용

하지

만 잘

못된

점은

적절

히 지

적해

준다

.

5점 척

도

<표 6-31>

업용도 설문조사 평

가지 : ‘도

서 이

용자

리’ 과정

○

업

용도

설문

조사

평가

지(

시: ‘도

서 이

용자

리

’ 과

정)

- 1

98 -

현업

에서

의 변

화 가

능성

13.

내가

속한

조직

의 구

성원

들은

교육

훈련

에 대

해 많

은 가

치를

부여

하는

분위

기이

다.

14.

내가

속한

조직

은 업

무에

새로

운 방

법을

시도

하는

것을

선호

하여

교육

받은

것을

스스

로 적

용해

볼

수 있

는 재

량권

이 주

어진

다.

15.

내가

속한

조직

의 구

성원

들은

직무

수행

을 향

상시

킬 수

있는

변화

와 혁

신하

는 것

을 높

이 평

가한

다.

5점 척

도

현업

적용

활

동

현업

에서

의 학

습요

소 활

용 수

준

16.

본 교

육에

서 배

운 내

용을

실무

에 효

과적

으로

활용

하고

있다

.

17.

본 교

육에

서 교

육받

은 내

용이

실무

에 도

움이

되었

다.

18.

본 교

육에

서 배

운 내

용을

실무

에 적

용하

여 활

용하

지 못

하는

이유

는 무

엇인

가?

①조

직 문

화 ②

교육

내용

과 현

업의

불일

치 ③

상사

의 부

정적

인식

④기

타(

)

5점 척

도

현업

에서

의 학

습요

소 활

용 순

위

19.

아래

의 교

육과

목 중

, 업

무현

장에

서 가

장 효

과적

으로

활용

하고

있는

교육

과목

을 우

선 순

위대

로

표시

해 주

시기

바랍

니다

.

1)

도서

관 이

용자

의 이

해

2)

도서

관 이

용자

상황

별 응

대서

비스

3)

이용

자 참

고질

의와

면담

4)

정보

검색

기법

과 활

용

5)

이용

자 교

육을

위한

강의

기법

6)

대인

커뮤

니케

이션

7)

현장

별 이

용자

관리

사례

발표

순위

형

현업

적용

결

과

학습

요소

적용

을 통

한 현

업에

서의

직

무역

량 개

발 현

황20.

본 교

육과

정의

내용

은 나

의 직

무역

량 개

발에

도움

이 되

었다

.5점

척도

현업

에서

의

학습

요소

적

용을

통한

직

무역

량

향상

도

도서

관 이

용자

의 이

해21-

1.

나는

본 교

육 전

보다

(도

서관

이용

자를

보다

포괄

적으

로 이

해할

수 있

다.)

5점 척

도

도서

관 이

용자

상황

별

응대

서비

스21-

2.

나는

본 교

육 전

보다

(도

서관

이용

자를

상황

별로

제대

로 응

대할

수 있

다.)

이용

자 참

고질

의와

면

담21-

3.

나는

본 교

육 전

보다

(이

용자

맞춤

형 참

고질

의와

응답

을 효

과적

으로

수행

할 수

있다

.)

- 1

99 -

정보

검색

기법

과 활

용21-

4.

나는

본 교

육 전

보다

(도

서관

업무

에 다

양한

정보

검색

기법

을 효

과적

으로

활용

할 수

있다

.)

이용

자 교

육을

위한

강

의기

법21-

5.

나는

본 교

육 전

보다

(이

용자

교육

을 위

한 효

과적

인 강

의기

법을

구사

할 수

있다

.)

대인

커뮤

니케

이션

21-

6.

나는

본 교

육 전

보다

(대

인 커

뮤니

케이

션이

보다

수월

해졌

다.)

현장

별 이

용자

관리

사

례발

표21-

7.

나는

본 교

육 전

보다

(도

서관

이용

자를

보다

효율

적으

로 관

리하

고 있

다.)

학습

요소

적용

을 통

한 현

업에

서의

업

무성

과 향

상 현

황22.

본 교

육과

정의

내용

은 나

의 업

무성

과 향

상에

도움

이 되

었다

.5점

척도

현업

에서

의

학습

요소

적

용을

통한

업

무성

과

향상

도

도서

관 이

용자

별 통

계

분석

향상

22-

1.

나는

본 교

육 전

보다

(도

서관

이용

자들

을 다

양한

통계

분석

기법

을 활

용하

여 분

석할

수 있

다.)

5점 척

도

도서

관 이

용자

응대

만

족도

증진

22-

2.

나는

본 교

육 전

보다

(도

서관

이용

자 응

대서

비스

의 만

족도

가 증

진되

었다

.)

이용

자 참

고질

의와

면

담 기

술 향

상22-

3.

나는

본 교

육 전

보다

(이

용자

참고

질의

와 면

담 기

술이

향상

되었

다.)

다양

한 정

보검

색기

법

활용

22-

4.

나는

본 교

육 전

보다

(다

양한

정보

검색

기법

을 활

용할

수 있

게 되

었다

.)

효과

적인

강

의기

법 활

용22-

5.

나는

본 교

육 전

보다

(이

용자

교육

을 하

는데

있어

보다

효과

적인

강의

기법

활용

할 수

있게

되

었다

.)

대인

커뮤

니케

이션

스

킬 향

상22-

6.

나는

본 교

육 전

보다

(도

서관

이용

자 면

담에

서 대

인 커

뮤니

케이

션 스

킬이

향상

되었

다.)

이용

자 관

리 기

법 확

장22-

7.

나는

본 교

육 전

보다

(도

서관

이용

자 관

리 기

법이

확장

되었

다.)

개선

사항

업무

성과

향상

에 도

움이

되었

던 점

23.

본 교

육과

정에

서 학

습한

내용

을 업

무에

적용

하는

데 있

어 도

움이

되었

던 점

이 있

었다

면 무

엇이

었는

지 기

술해

주십

시오

.주

관식

업무

성과

향상

을 위

한 개

선사

항24.

본 교

육과

정에

서 교

육내

용의

업무

적용

도를

향상

시키

기 위

해서

개선

해야

할 점

이 있

다면

무엇

인지

기술

해 주

십시

오.

주관

식

- 200 -

6.2.4 제4단계 성과 평가

6.2.4.1 성과 평가 측정 개념

4단계 평가는 교육 상자가 교육에 참여함으로써 조직에 발생하는 최종 성

과를 평가한다. 결과평가는 재무 평가와 비재무 평가로 구분되어 이루어

지는데, 비재무 평가는 리더십, 경 변화, 동기, 의사소통, 경 평가, 직무만

족수 , 고객불만율 등을 측정하며, 재무 평가는 생산성 증가, 품질개선, 시

간 약, 비용감소, 사고감소 등을 평가한다. 즉, 성과평가는 실제 조직에 발생

하는 성과를 측정하는 개념이다.

4단계 평가는 성과인식도 조사, 인식기반 ROI 평가, 데이터기반 ROI 평가로

구분되는데, 성과인식도 조사는 직무만족도, 조직몰입도, 조직성과에 한 평

가를 설문을 통해 조사하는 방식이다. 인식기반 ROI 평가는 조직몰입도, 조직

성과, 직무만족도 등의 가치를 으로 환산하는 단계를 거친다. 특히 조직

성과에서 품질개선에 의한 비용 감, 시간 감의 가치, 오류 감의 가치 등을

으로 환산한다. 데이터 기반 ROI 평가는 체 투입된 비용 비 순과정

이익을 도출하는 방식으로 평가한다.

6.2.4.2 성과 평가 평가방법 설계

실제 교육훈련 로그램의 효과성을 검증하기 한 ROI를 평가하는 것은

쉽지 않다. 를 들어 업무만족도 증가, 조직기여도 증가, 고객의 불평불만 감

소 등 무형 가치를 가치로 환하는 것이 쉽지 않다. 실제 교육 로

그램에 참여한 훈련 상자들이 속한 기 의 성과를 개별 으로 측정하는 것

이 용이하지 않기 때문에 ROI 측정을 한 실제 데이터를 획득하는 것이 어

렵다. 이러한 이유로 부분 교육훈련 기 이 3단계 업 용도 평가 정도를

실시하거나 4단계 성과평가를 해서는 성과인식도 기반의 설문을 활용하거

- 201 -

나, 성공사례기법(SCM, Success Case Method)을 활용하여 교육 로그램의

효과성을 측정하는 등의 정도로 이루어진다.

본 연구의 포커스 그룹 인터뷰(FGI) 조사, 문가 조사 등에서도 국립 앙

도서 사서교육훈련의 4단계 성과평가를 실시하는 것은 실 으로 쉽지 않

을 것으로 분석되고 있는데, 그나마 운 가능한 4단계 평가방안으로 도서

서비스 만족도 조사와 교육생 교육성과 인식도 평가를 연계하여 실시하는 평

가하는 방법 4단계 평가가 용 가능한 교육과정을 선정하는 기 이 필요

하다는 의견 등이 도출되었다.

이에 본 연구에서는 국립 앙도서 사서교육훈련 과정 에서 재 통령

소속 도서 정보정책 원회와 문화체육 부에서 국 도서 을 상으로 매

년 수행하고 있는 국 도서 운 평가 와 련 있는 교육과정 - <도서

문화 로그램>, <도서 홍보>, <도서 장서 리> - 을 4단계 평가 상 교

육과정으로 분류하고, 평가방법으로는 ①질문지를 활용하여 해당 교육과정을

이수한 교육생 상 성과인식도를 평가하고, 성공사례기법(SCM)을 활용하여

교육 효과성을 측정하는 방법, ②각종 도서 의 성과를 도출할 수 있는 방법

으로 국 도서 운 평가 결과 데이터를 활용하여 실제로 교육에 참여한

도서 의 성과를 분석하는 방법, ③투자효과분석(ROI, Return On Investment)

방법을 제시하고자 한다.

첫째, 질문지를 활용하여 교육생 상 성과인식도를 평가하는 방법은 교육

과정 종료 6～12개월 이후 교육에 참여한 상자의 인식을 근거로 측정하고,

성공사례기법(SCM)을 활용하여 교육 로그램의 효과성을 평가하는 방법은 3

단계 업 용도 평가 상 교육과정별로 업 용시 업무성과 향상도가 높

거나 낮았다고 응답한 교육생을 심으로 상․하 20% 이내로 선발하여 구

성한 후 측정한다. 성과인식도 평가는 Phillips & Phillips(2005)가 제시하고 있

는 가장 기 인 방법이며, 임업훈련원(2012)의 ｢교육성과평가 교육기능

개선방안에 한 연구｣에서 시행되었고, 성공사례기법(SCM)을 활용한 교육

효과성 측정은 앙교육연수원 등의 교육훈련기 에서 실시하고 있는 4단계

평가방법이다. 1, 2, 3단계 평가문항과 함께 구성되어 교육성과를 악하기가

- 202 -

쉽지만, 교육생의 인식에만 근거하 기 때문에 신뢰성이 낮다는 단 이 있다.

둘째, 국 도서 운 평가 결과 데이터를 활용하여 실제로 교육에 참여

한 도서 의 성과를 분석하는 방법은 교육 종료 6개월～12개월 후, 교육 상

자가 국립 앙도서 사서교육훈련에 참여한 후 해당 교육과정과 련된 도서

업무를 실제로 수행하여 도출된 해당 도서 의 국 도서 운 평가 결과 데이터를 확보하여 교차분석 등을 실시하여 분석한다.

셋째, 투자효과분석(ROI) 방법은 교육 로그램에 한 재정 인 결과의 가

치와 소요된 비용을 측정하는 것으로 비용 산출을 해서 직 교육비, 간 교

육비를 계산하여 1인당 교육 소요비용을 산출하고, 이익은 교육 상자의 인

식 기반 가치 분석을 통해, 결과 으로 1인당 효과비용을 산출한다.

각각의 평가방법에는 장단 이 있으며 하나의 평가방법으로는 성과 측정의

신뢰성을 확보하기 어렵다. 실제 효과를 산출하거나 교육이 실제 미치는 조직

의 성과를 측정하기 한 변인을 통제하기 용이하지 않기 때문이다. 이에 성

과측정의 다양한 방법을 활용하여 교차분석을 통해 성과평가의 신뢰성을 확보

할 수 있다.

<그림 6-11> 성과 평가 평가방법의 비교

- 203 -

평가 항목 평가 문항 측정 방법

생산성1. 본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조직

의 (예시: 장서관리) 생산성이 개선되었다. 5점 척도

품질2. 본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조직

의 (예시: 장서관리) 업무의 서비스 품질이 개선되었다.5점 척도

완료시간3. 본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조직

의 (예시: 장서관리) 서비스 제공 완료시간이 개선되었다.5점 척도

<표 6-32> 성과 평가 성과인식도 조사 평가지

6.2.4.3 성과 평가 평가도구 개발

1) 성과인식도 SCM 조사

(1) 성과인식도 조사 평가지

보통 성과인식도 조사를 해 사용되는 지표는 ‘생산성, 매량, 품질, 가격,

완료시간, 직무만족, 고객만족’이며, 사서교육훈련 과정에서는 교육생의 주 근

무처인 일선 도서 의 특성을 감안하여 ‘생산성, 품질, 완료시간, 직무만족, 이

용자만족’의 5가지 평가항목으로 구성한다. 국립 앙도서 사서교육훈련의 4

단계 성과 평가가 <도서 홍보>, <도서 장서 리>, <도서 문화 로그

램> 과정에 용되는 것을 감안하여, 공통문항을 도출하고, 매뉴얼에서 각 교

육과정별 합문항을 도출한다.

인식 기반의 성과 기여도 평가는 교육효과의 분리가 정교하지 못하고 성과

기여에 한 인식에 기반하고 있다는 에서 그 타당도가 비교 낮으나, 무

형 성과의 측정을 가능하게 한다는 측면에서 실행가능성이 높다는 장 이

있다.

- 204 -

직무 만족4. 본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조직

의 (예시: 장서관리) 직무 만족도가 향상되었다.5점 척도

이용자 만족5. 본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조직의

(예시: 장서관리) 업무에 대한 이용자 만족도가 제고되었다.5점 척도

(2) SCM 인터뷰 조사 평가지

성공사례 심층인터뷰 기법을 통한 교육 로그램 평가 방법은 정량 지표

만을 고려한 평가 체계를 탈피하여 포커스 그룹 인터뷰(FGI) 인터뷰를 통해

교육훈련 로그램의 효과성을 분석하고 개선 을 찾아낼 수 있도록 하여, 단

순한 평균 수 분석결과 외에 다양한 시사 을 제공해 수 있다. 따라서

통 으로 교육훈련 로그램의 효과성을 측정하는 데 활용되었던 정량 인

기법들과 정성 인 분석기법인 SCM(성공사례기법) 인터뷰 조사를 동시에 활

용하는 혼합방법론(Mixed Methodology)을 활용하여 교육훈련 과정의 효과성

을 측정할 필요가 있다.

성공사례 심층인터뷰 조사의 목 은 교육 로그램의 실제 용사례의 심층

분석을 통해 교육의 성공·실패 원인을 제 로 규명하고 교육훈련 과정의 효과

성을 측정하여 교육 성과를 평가하고 개선방안을 도출하고자 함이다. 인터뷰

조사의 상은 각 교육과정별로 3단계 업 용도 평가 시 업무성과 향상도가

높았거나 낮았다고 응답한 교육생을 심으로 상․하 20% 이내로 선발하여

구성한다. 조사 시기는 교육과정 종료 6～12개월 이후 반 구조화된 면담지를

토 로 질문 답변 형태로 실시한다.

SCM(성공사례기법) 심층 인터뷰를 통하여 교육 효과성을 측정하는 4단계

성과 평가는 인터뷰 결과를 정성 으로 분석하여 첫째, 각 과정별 업 용

직무성과 향상의 핵심 성공 요인과 핵심 실패 요인을 제 로 도출하고, 둘

째, 교육훈련 로그램을 통해 학습한 지식과 기술이 업무 장에서 기여한

용 성과와 구체 인 용 사례를 발굴하고, 셋째, 그러한 성공 요인 실패

- 205 -

평가 항목 인터뷰 문항

적용방법 및

시기

1. 교육을 통해 학습한 것을 언제, 어떠한 상황에서 적용하였습니까?

2. 교육을 통해 학습한 것을 구체적으로 어떻게 적용하였습니까?

교육설계 및

적용 내용

3. 교육내용은 현장에서 적용할 수 있는 내용으로 구성되어 있습니까?

4. 교육 내용 중 현재 직무와의 관련 정도가 높아서 현업적용에 가장 도움이 되

었던 교과목과 내용은 무엇입니까?

5. 교육은 현업에 구체적으로 적용할 수 있는 실행방법을 포함하여 구성되었습니까?

6․ 교육을 담당한 교강사의 교육 내용은 현장에 대한 전문성을 포함했습니까?

적용 환경

7. 교육에서 학습한 내용을 (예: 장서관리)업무에 적용하는데 도움이 되었던 환경

적 요인은 무엇입니까?

8. 교육에서 학습한 내용을 (예: 장서관리)업무에 적용하는데 방해가 되었던 환경

적 요인은 무엇입니까?

적용 성과

9. 교육에서 학습한 내용은 (예: 장서관리)업무 수행시 조직의 성과에 어떤 측면

에서 도움이 되었습니까?

10. 본 교육과정을 통해 학습한 지식 및 기술이 조직 (예: 장서관리)의 생산성을

개선하는데 어떻게 기여하였습니까?

11. 본 교육과정을 통해 학습한 지식 및 기술이 조직 (예: 장서관리) 업무의 서비

스 품질을 개선하는데 어떻게 기여하였습니까?

12. 본 교육과정을 통해 학습한 지식 및 기술이 조직 (예: 장서관리)의 업무완료

시간을 감소시키는데 어떻게 기여하였습니까?

13. 본 교육과정을 통해 학습한 지식과 기술이 조직의 (예: 장서관리) 직무 만족

도를 향상시키는데 어떻게 기여하였습니까?

14. 본 교육과정을 통해 학습한 지식과 기술이 조직의 (예: 장서관리) 업무에 대

한 이용자 만족도를 향상시키는데 어떻게 기여하였습니까?

<표 6-33> SCM(성공사례기법) 인터뷰 조사 평가지

요인에 기반하여 향후 교육훈련 로그램의 개선 교육효과성을 진하기

한 방안을 제시하고 도출하여야 한다.

SCM(성공사례기법) 심층인터뷰 조사의 구체 인 면담(지) 구성 항목 내

용은 아래 <표 6-33>과 같다.

- 206 -

적용 사례

15. 본 교육이 본인의 (예: 장서관리) 직무능력 향상에 도움을 주었던 구체적인

적용사례가 있습니까?

16. 본 교육이 본인의 (예: 장서관리) 업무성과 향상에 도움을 주었던 구체적인

적용사례가 있습니까?

17. 본 교육을 통해 본인의 (예: 장서관리) 업무에서 어떠한 측정 가능한 변화(성

과)가 있었으며, 이를 통해 얻은 가치있는 결과는 무엇입니까?

전반적 개선

사항

18. 향후 본 교육과정 내용이 성공적인 조직 성과로 이어지기 위해서는 어떤 점

이 더욱 개선되어야 한다고 생각합니까?

19. 본 교육과정에서 학습한 내용을 직무에 적용하는데 기여한 우선 순위 및 도

움이 되었던 다른 환경요인이 있다면 무엇입니까?

2) 국 도서 운 평가 결과 연계 성과평가

국 도서 운 평가 의 해당 교육과정 련 지표(‘정보자원’, ‘도서 서비

스’, ‘도서 경 ’ 등)의 단 도서 평가 결과 데이터 활용을 통해, 먼 교육

과정에 참여한 도서 의 성과를 평가하고 그리고 해당 교육과정에 참여한 도

서 해당 교육과정에 참여하지 않은 도서 사이의 집단 간 성과를 교차

분석하는 등 성과평가를 비교 분석한다.

<그림 6-12> 국 도서 운 평가 결과 연계 성과평가 방법

- 207 -

관종 평가영역 평가항목 및 지표 연계 교육과정

공공

도서관

도서관

경영

도서관경영 영역 혁신 사례 및 우수성

(홍보실적 포함)<도서관 홍보>

정보자원

장서 장서개발정책 수립 및 실행 실적

<도서관 장서관리>정보자원 협력

정보자원 협력서비스

정보자원 영역 혁신 사례 및 우

수성

도서관

서비스

독서·문화/정보격

차해소문화프로그램 수행 실적

<도서관

문화프로그램>

학교

도서관

도서관

경영홍보 및 마케팅 홍보 및 마케팅 실적 <도서관 홍보>

정보자원

장서의 최신성최신자료 비율

<도서관 장서관리>자료의 제적 및 폐기

장서구성의 적절성장서개발정책의 적절성

장서구성의 적절성

전문

도서관정보자원

장서개발정책 성문화된 장서개발

<도서관 장서관리>자료수집 확대 자료수집의 확대

정보자원의 구성 정보자원의 다양성과 특성화

<표 6-34> 국 도서 운 평가 지표와 성과 평가 련 교육과정 연계

<도서 장서 리> 교육과정과 련한 국 도서 운 평가 지표는 ‘장서

개발정책 수립 실행 실 ’, ‘정보자원 력서비스’, ‘정보자원 역 신 사

례 우수성’ 등이며, <도서 문화 로그램> 교육과정과 련한 평가 지표

는 ‘문화 로그램 수행실 ’, <도서 홍보> 과정과 련한 평가 지표는 ‘도서

경 역 신 사례 우수성’, ‘홍보 마 실 ’ 등이다. 이들 국

도서 운 평가 지표의 결과 데이터를 활용하여 교육 참여 도서 의 실 과

교육 미참여 도서 의 실 을 비교, 분석하고 성과 평가를 수행한다.

국립 앙도서 사서교육훈련 4단계 성과 평가에 용할 국 도서 운

평가 의 평가지표와 해당 지표에 한 결과값을 활용하여 성과 평가를 수행하

기 한 사서교육훈련 교육과정과의 연계 을 아래 <표 6-34>와 같이 제시하

고자 한다.

- 208 -

구분 항목 세부항목 비용 산출방법

비용

교육과정

설계 및

운영비용

프로그램 설계 및 운영

인력비

프로그램 설계 및 운영 시간에 소요된 담

당인력의 소득 산출

강사비 강사비 지급규정에 따라 지출된 강사 비용

교육장비

및

시설비용

교재비 교재단가 및 부수를 통한 교재비 산출

교육기자재비 교육기자재의 구입 비용 산출

교육시설관리비교육시간 중 활용공간의 교육시설 관리

비용 산출

<표 6-35> 교육과정 소요비용 산출을 한 항목 방법

3) 투자효과분석(ROI) 평가

투자효과분석(ROI) 평가란 과정에 투입된 비용 비 결과의 가치를

측정하는 평가를 의미하며, ROI를 측정하는 방법들 에 인식 기반 ROI 평가

는 교육과정이 창출한 무형의 가치에 한 개인의 인식 기반을 주로 활용한

다. 이 방법은 교육과정이 창출한 이익이 무형의 가치( : 직무만족, 퇴직률

감소 등)에 기반을 둔 경우에 주로 활용하기 때문에 교육생 는 교육생의 감

독자 등 교육 련자들의 인식을 토 로 무형의 가치를 가치로 환산해

야 한다.

사서교육훈련 로그램의 ROI 평가를 해서는 투자 비 교육효과를 분석

해야한다. 먼 , 비용 산출을 해서 직 교육비, 간 교육비를 계산하여 1인

당 과정 소요비용을 산출하고, 이익은 참가자의 인식 기반 가치의 측

정을 통해 1인당 이익을 산출해야 한다.

선행연구(임업훈련원 2012; 국가공무원인재개발원 2013; 이홍재, 권 이, 차

용진 2016) 분석 결과에 따라 교육훈련기 투자 비용에 포함되는 항목을 교

육과정 설계 운 비용, 교육장비 시설비용으로 구성하고, 로그램 설계

운 인력비, 강사비, 교재비, 교육기자재비, 교육시설 리비의 세부항목을

<표 6-35>와 같이 1인당 과정 소요비용을 산출하기 한 평가항목으로 도출

하 다.

- 209 -

이익 항목을 계량화시키기 해서는 체비용 근법을 사용하여 교육과정

의 경제 가치를 산출한다. 즉 사서교육훈련 교육 로그램을 통해 참여 교육

생이 혜택을 본 액을 경제 이익으로 체하는 방법이다. 국립 앙도서

사서교육훈련 교육과정의 성과를 체계 으로 도출하기 하여 산출물 증가,

작업개선, 시간 약, 이익, 업무 분 기, 업무 습 , 비용 감 등의

성과유형을 분석하여 Phillips & Phillips(2005)가 제시한 ‘생산성, 품질, 이용자

만족, 업무 완료시간, 직무만족도’ 5가지를 련 가치로 유형화 하 다.

사서교육훈련 교육과정의 인식기반 ROI 평가지표를 개발하기 해 5가지

유형의 무형가치에서 평가지표를 도출하 다. 이러한 무형의 가치에 한 교

육생의 인식 기반 가치를 측정하기 해 교육 참여자 추정 기법을 활

용하여 설문지를 개발하 고, 구체 인 설문지의 내용 평가문항의 구성은

다음 <표 6-36>과 같다.

구분 항목 성과 동의 여부 성과의 경제적 가치

성과

생산성

본 교육과정을 통해 학습한 지식

과 기술을 통해 (예시: 장서관리)

의 생산성이 증가하였다.

증가된 생산성은 ___________ 원의

경제적 가치가 있다.

품질



의 효과성이 개선되었다.

개선된 품질은 __________ 원의 경

제적 가치가 있다.

이용자

만족



의 이용자 만족도가 향상되었다.

향상된 이용자만족도는 __________

원의 경제적 가치가 있다.

업무

완료시간



의 업무완료시간이 감소하였다.

감소된 업무완료시간은 __________


직무

만족도



의 직무만족도가 증가하였다.

증가된 직무만족도는 ___________


<표 6-36> 교육 참여자를 상으로 한 인식 기반

가치 측정 평가문항

- 210 -

아래와 <표 6-37>과 같이 Phillips & Phillips(2005)의 ROI 산출 공식을 활

용하여, 1인당 평균 경제 가치와 시행비용을 기반으로 투자회수율(ROI)을

산출한다.

투자회수율(ROI)

= 프로그램의 순이익/비용

= (시행이익-시행비용)/시행비용 X 100

= (성과의 경제적 가치(\)-시행비용)/시행비용 X 100

* 1인당 평균 경제적 가치와 시행비용을 도출하여 평균 투자

회수율을 도출

<표 6-37> 인식기반 ROI 계산 방식

- 211 -

6.2.5 평가도구의 검증

6.2.5.1 문가 의회

개발된 4단계 평가(만족도 평가, 학업성취도 평가, 업 용도 평가, 성과 평

가) 도구의 타당도를 확보하기 해 문가 검토를 실시하 다. 본 연구에서

개발된 평가 도구는 선행연구를 통해 이미 타당성이 확보된 문항들을 활용했

기 때문에 내용타당도만을 검토하 다. HRD 련 문 연구자 2인 문헌정

보학 공 학교수 2인 등 총 4인의 문가를 상으로 문헌연구를 토 로

구성된 평가 문항이 측정하고자 하는 것을 측정하고 있는지 여부에 해 검토

를 의뢰하여 수정 보완을 하 다.

6.2.5.2 델 이 조사

1) 델 이 조사의 방향 진행

개발된 국립 앙도서 사서교육훈련 4단계 평가도구 최 안의 신뢰도와 타

당도 제고 등 수정을 해 련 문가 집단 12명을 상으로 델 이 조사를 2

회에 걸쳐 부가 으로 실시하여 설계 최 안을 보완하 다.

델 이 조사 차는 일반 인 여론조사와 의회 방법의 장 을 결합시킨 연

구방법으로 델 이 패 들은 차가 반복되는 동안 피드백된 회차의 통계

집단 반응과 소수의견 보고서를 참고하여 다음 회에 자신의 단을 수정할 수

있는 기회를 갖게 되는 특징이 있다(이종성 2001). 본 연구에서는 사서교육훈련

평가도구 개발과 련한 문헌정보학 분야 선행연구가 충분하지 않다는 을 감

안할 때, 보다 효과성 있는 사서교육훈련 평가도구의 개발을 해서는 문가

집단을 통한 의견수렴 연구방법인 델 이 조사는 매우 필요하다고 본다. 선행연

구 사례분석 등을 통해 설계가 완료된 사서교육훈련 4단계 평가도구 최 안

- 212 -

에 해 문가들의 의견을 유도하고 종합하여 집단 견해로 정리해가는 일련

의 차를 통해 평가도구의 완결성과 타당성을 제고하고자 하 다.

델 이 조사는 개발된 평가도구 설계 최 안의 구성요소를 기 로 델 이

패 들이 각 단계 평가도구의 평가 역, 평가 항목, 평가 문항 측정방법에

한 성을 평가하도록 하 으며, 내용 타당성을 검증하는데 주안 을

두었다. 2차에 걸친 델 이 조사를 통해 델 이 패 이 제시한 합의결과에 따

라, 최종 으로 국립 앙도서 사서교육훈련의 효과성 입증을 한 4단계 평

가도구를 개발하 다.

국립 앙도서 사서교육훈련의 교육과정별로 용될 수 있는 4단계 평가도

구 개선안 최 안인 1차 델 이 조사 설문지는 국내·외 주요 문헌조사 선

행연구 사례를 조사‧분석하고, 국립 앙도서 의 사서교육훈련 과정별 평가체

계 황을 분석하고, 국내·외 교육훈련 우수기 평가도구 벤치마킹을 통한

사례를 발굴하고, 포커스 그룹 인터뷰(FGI) 조사 결과 등 교육훈련 분야 문

가 의견 등을 종합 으로 검토하여 도출되었으며, 크게 2가지 부분으로 조사

를 진행하 다. 첫째, 제시된 평가 역, 평가 항목, 평가 문항 측정방법이

사서교육훈련의 효과성 입증을 한 평가도구로서 한지를 리커트식 5

척도에 따라서 평가하도록 하 다. 둘째, 기존의 ‘평가 역’, ‘평가 항목’, ‘평가

문항’ 측정방법에 해 새롭게 추가시키거나 삭제 는 변경할 부분이 있

으면 자유롭게 기술하도록 하 다.

2) 델 이 조사 패 구성 조사 분석방법

본 델 이 조사를 한 패 은 교육과정 설계 는 교육훈련 평가도구 련

연구를 수행한 경험이 있는 학교 교수 집단을 비롯하여 사서교육훈련 등 교

육훈련 과정을 실제 기획하고 운 한 경험이 풍부한 교육훈련기 문가 그

룹, 도서 분야 교육훈련 과정의 운 는 참여 경험이 풍부한 도서 문

단체, 일선 도서 사서 등 도서 장 문가 그룹 등 크게 3개 그룹 12명

의 문가로 구성하 다. 연구오차를 최소화하면서 최 한의 신뢰성을 높이기

- 213 -

구 분 전문 분야 직위관련분야

경력기간구 분 전문 분야 직위

관련분야

경력기간

패널1 교육학 교수 16년 패널7 교육훈련기관 주무관 21년

패널2 문헌정보학 교수 20년 패널8 교육훈련기관 주무관 7년

패널3 문헌정보학 교수 7년 패널9 도서관 전문단체 차장 16년

패널4 교육훈련기관전문

경력관11년 패널10 도서관 전문단체 팀장 15년

패널5 교육훈련기관 주무관 17년 패널11 공공도서관 관장 15년

패널6 교육훈련기관 주무관 30년 패널12 대학도서관 팀장 23년

<표 6-38> 델 이 조사 패 구성

한 델 이 패 의 수를 제시한 Dalkey(1981)의 연구에 따르면 최소한 10명

이상의 패 이 필요하다고 하 고, Delbeoq와 Van 그리고 Gustafson(1995)의

연구 한 델 이 패 은 10명에서 15명이면 충분하다고 언 한 바 있다. 델

이 조사 패 구성의 상세내용은 <표 6-38>과 같으며, 본 연구에서는 델

이 조사 착수에 앞서 화와 E-mail로 연구 개요와 필요성 목 을 설명한

후 참여 동의를 구하 다. 2017년 1월 19일부터 1월 25일까지 진행된 1차 조

사와 2017년 1월 27일부터 2월 3일까지 진행된 2차 조사에서 같이 100%의

회수율을 보 다.

델 이 조사 분석 방법은 첫째, 평가 역, 평가 항목, 평가 문항 측정방

법의 성 평가(각 문항별 평균 표 편차), 둘째, 평가 역, 평가 항목,

평가 문항 측정방법에 해 추가, 삭제 는 변경할 부분에 한 서술식

의견 분석 등 크게 2가지로 나 었다. 델 이 조사 설문지의 각 문항에 한

성 평가는 평균, 표 편차와 같은 기술통계량을 분석하 으며, 서술식 의

견에 해서는 제시한 의견을 정리하고 의견의 사유 동일의견 제시 인원수

도 함께 분석하 다.

1, 2차 델 이 조사 부 5 척도를 사용하 으며 매회 평균이 4.0 이상이

- 214 -

구분 결과 분석 비고

1. 제1단계

만족도

평가_교육 전

평가도구

❏ ‘개인특성’ 평가 항목

• ‘최종학력’ 문항을 삭제

- 서술식 의견에서, 개인특성 중 ‘최종학력’에 대한 구성요소를 삭제할 것

을 제안함

삭제

❏ ‘교육 참여 목적’, ‘요구사항 수렴’ 평가 항목 추가

• ‘교육참여 목적’ 평가 항목을 추가하고, 선택형 및 주관식 문항을 생성함

- 서술식 의견에서, 교육참여 목적 및 학습 동기를 파악할 수 있는 문항을

추가할 것을 제안함

• ‘요구사항 수렴’ 평가 항목을 추가하고, 주관식 문항을 생성함

- 서술식 의견에서, 학습자가 교육과정 운영에 대한 요구사항이 있는 경우,

이를 운영자 또는 교강사에게 사전에 요청하기 위한 항목을 추가할 것을

제안함

신설

2. 제1단계

만족도

평가_교육 후

평가도구



- 서술식 의견에서 개인특성 중 ‘최종학력’에 대한 구성요소를 삭제할 것을

제안함

삭제

❏ ‘교육과정’ 평가영역 - ‘교육운영’ 평가 항목

• ‘교육운영’ 항목의 평가문항 수정

- 서술식 의견에서, ‘본 교육과정 담당자의 과정 진행(학습안내, 분위기 촉

변경

<표 6-39> 1차 델 이 조사 분석 결과

며 표 편차가 1.0 이하인 항목은 유지하기로 하 으며, 이 때 서술식 의견도

함께 고려하여 삭제, 추가, 변경할 항목을 최종 결정하 다.

3) 델 이 조사 분석 결과

(1) 1차 델 이 조사 분석 결과

1차 델 이 조사 분석결과를 종합해 보면 반 으로 평가 항목을 수정

삭제하거나, 평가 문항의 구체 인 내용을 수정하거나 추가하는 경우가 많았는

데, 그 이유는 평가도구 설계 최 안의 평가 역이나 평가 항목의 구성, 할당

등 체 인 틀은 체로 한 것으로 검토하 고 각각의 평가 문항은 수

정․보완이 필요하다고 단한 것으로 보여진다. 1차 델 이 조사의 분석 결과

는 <표 6-39>와 같으며 이는 2차 델 이 조사를 한 기 자료로 활용되었다.

- 215 -

진 등)～’ 평가 문항에 ‘교육과정 등록 및 이수와 관련된 행정지원’ 구성

요소를 포함하는 문항으로 수정하는 것을 제안함

3. 제1단계 만족

도 평가_사이버

과정 평가도구



- 서술식 의견에서, 개인특성 중 ‘최종학력’에 대한 구성요소를 삭제할 것

을 제안함

삭제

❏ ‘교육과정’ 평가영역 - ‘교육운영’ 평가 항목

• ‘강의 전문성 / 기술 / 역할’ 평가 항목의 ‘담당 강사의 역할(메일, 질의 응

답, 학습 독려) 적절성’ 세부 평가문항 ⇒ ‘교육운영’ 평가 항목 하위의

‘본 교육과정의 피드백(메일, 질의 응답) 및 관련자료 제공은 적절하였다.’

평가문항으로 변경 이동함(적절성 평가에서 표준편차 1.115)

- 서술식 의견에서, 사이버 학습의 경우, 편집이 가능한 부분이므로 강사의

역할에 대한 항목을 피드백이나 관련 자료 등의 제공이 적절했는지 등에

대해 평가하는 것으로 대체할 것을 제안함

- 서술식 의견에서, ‘현재 국립중앙도서관 사서교육훈련 사이버과정의 콘텐

츠는 대부분 강의 전달식으로 구성되어 있으므로, 담당 강사의 역할(메

일, 질의 응답, 학습 독려)에 관한 문항은 적절치 않다’는 의견을 제시함

변경

4. 제2단계

학업성취도

평가_학습목표

진술(예시)

❏ ‘직무전문’ 모듈 - ‘도서관과 저작권’ 교육과정

• 2-2(유형별 저작권 실무 사례를 숙지하고, 디지털 환경에서의 도서관서비

스와 저작권 관리 업무에 적용할 수 있다.) 학습목표 영역을 ‘인지적’ 영역

에서 ‘심동적’ 영역으로 변경

- 서술식 의견에서, 2-2) 문항의 학습목표는 ‘심동적’ 영역으로 변경할 것

을 제안함

변경

❏ ‘직무전문’ 모듈 - ‘도서관통계활용기법 기초’ 교육과정

• ‘3-2) 도서관에서 필요한 통계자료 분석 및 실습을 통해 통계 활용 실무사

례를 숙지하고, 이를 적절히 활용할 수 있다.’ 학습목표를 ‘도서관의 실무

에 기초 통계자료 분석 및 실습을 적용할 수 있다.’로 변경

- 서술식 의견에서, 3-2) 학습목표가 4-2)의 학습목표와 유사하므로 “도

서관의 실무에 기초 통계자료 분석 및 실습의 적용”에 초점을 맞추어 학

습목표를 수정하는 것을 제안함

변경

❏ ‘직무공통’ 모듈 - ‘도서관의 이해(비사서직)’ 교육과정

• ‘6-1) 도서관의 철학, 역사 등 관련 기초지식을 습득하고 설명할 수 있다.’

학습목표를 ‘도서관의 철학, 역사 등 관련 기초이론을 습득하고 공유할 수

있다.’로 변경

• ‘6-2) 도서관 관련 실무를 이해하고, 도서관 업무에 적절하게 적용할 수

있다.’ 학습목표를 ‘도서관 업무 관련 용어 및 기초지식을 숙지하고 이해할

수 있다.’로 변경

- 서술식 의견에서, 비사서직이 도서관 실무를 이해하여 적용하는 것 보다

는 도서관 업무 관련 용어 및 지식을 숙지하고 이해하는 정도로 학습목

표를 수정하는 것을 제안함

변경

- 216 -

5. 제2단계

학업성취도

평가_필수

학습단위요소

작성(예시)


• 6-1) 항목의 필수 학습단위요소를 ‘(도서관 이해, 도서관 용어 해설)’에서

‘(도서관 이해, 도서관사)’로 변경

• 6-2) 항목의 필수 학습단위요소를 ‘문헌 정보 보존, 수집자료 관리하기,

보존하기, 폐기하기, 디지털 아카이빙, 정책 분석 적용하기(저작권법)’에서

‘문헌 정보 보존, 수집자료 관리하기, 보존하기, 폐기하기, 디지털 아카이

빙, 정책 분석 적용하기(도서관 용어 해설, 저작권법)’로 변경

- 앞 장 ‘제2단계 학업성취도 평가_학습목표 진술’에서 변경된 학습목표에

따른 필수 학습단위요소의 변경 필요

변경

6. 제2단계

학업성취도

평가_평가방식

선정(예시)

❏ ‘기본교육’ 모듈 - ‘신임사서 기본’ 교육과정

• 1-2) 항목의 평가방식을 ‘관찰, 설문지’에서 ‘수행평가’로 변경

- 서술식 의견에서, 본 교육과정은 교육목표가 ‘정의적’ 영역에 속하긴 하

지만, 평가방식을 ‘정의적’ 영역에서 주로 활용되는 ‘관찰, 설문지’가 아닌

‘수행평가(예, 실천계획서 작성 등)’로 하는 것이 효율적으로 판단되어 평

가방식을 수정하는 것을 제안함

변경


• 2-2) 항목의 평가방식을 ‘필기평가’에서 ‘수행평가’로 변경

- 앞 장 ‘제2단계 학업성취도 평가_학습목표 진술’에서 변경된 학습목표 영

역(인지적 ⇒ 심동적)에 따른 ‘평가방식’의 변경 필요

변경


• 6-1) 항목의 평가방식을 ‘관찰, 설문지’에서 ‘필기평가’로 변경

- 서술식 의견에서, 본 교육과정은 교육목표가 ‘정의적’ 영역에 속하긴 하

지만, 평가방식을 ‘정의적’ 영역에서 주로 활용되는 ‘관찰, 설문지’가 아닌

‘필기평가’로 하는 것이 효율적으로 판단되어 평가방식을 수정하는 것을

제안함

변경

7. 제2단계

학업성취도

평가_정의적

영역 평가지

❏ ‘사전’ 평가시기 - ‘지식’ 평가영역

• ‘1. 나는 ( )에 대한 내용을 충분히 습득하고 있다.’ 평가 문항을 ‘나는

( )에 대한 기본지식을 가지고 있다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ 기본 지식을 가지고 있다’로 수정하는

것을 제안함

삭제

❏ ‘사전’ 평가시기 - ‘기술’ 평가영역

• ‘3. 나는 ( )에 대한 기술을 충분히 습득하고 있다.’ 평가 문항을 ‘나는

( )과 관련한 기본기술을 보유하고 있다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ 기본 기술을 보유하고 있다.’로 수정하

는 것을 제안함

• ‘4. 나는 ( )과 관련한 새로운 기술을 충분히 습득하고 있다.’ 평가

문항 삭제(적절성 평가에서 평균 3.667 표준편차 1.027)

변경

삭제

❏ ‘사후’ 평가시기 - ‘기술’ 평가영역

• ‘3. 나는 ( )에 대한 기술을 충분히 습득하였다.’ 평가 문항 삭제(적절삭제

- 217 -

성 평가에서 평균 3.833)

❏ ‘사전’ 평가시기 - ‘태도’ 평가영역

• ‘6. 나는 ( )에 대한 중요성을 인지하였다.’ 평가 문항을 ‘나는

( )에 대한 인식이 높아졌다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ 에 대한 인식이 높아졌다.’로 수정하는

것을 제안함

변경

8. 제3단계

현업적용도

평가_설문조사

평가지

❏ ‘현업적용 활동’ 평가영역 - ‘현업에서의 변화 가능성’ 평가항목 신설

• ‘현업에서의 변화 가능성’ 항목을 신설하고 ‘1. 내가 속한 조직의 구성원들

은 교육훈련에 대해 많은 가치를 부여하는 분위기이다.’ 등 3가지 평가 문

항을 신설

- 서술식 의견에서, 교육내용을 현업에 적용하기 위한 태도 변화에 대한

평가문항이 필요하므로 관련 평가문항을 신설하는 것을 제안함

신설

❏ ‘현업적용 활동’ 평가영역 - ‘현업에서의 학습요소 활용 수준’ 평가항목

• ‘3. 본 교육에서 배운 내용을 실무에 적용하여 활용하지 못하는 이유는 무

엇인가? ①조직 문화 ②교육내용과 현업의 불일치 ③상사의 부정적 인식

④기타( )’ 평가 문항(선택형/주관식)을 신설

- 서술식 의견에서, 현업에 적용하고 있지 못하다면 활용하지 못하는 사유

에 대한 조사도 필요하므로 관련 평가문항을 신설하는 것을 제안함

신설

❏ ‘현업적용 결과’ 평가영역 - ‘현업에서의 학습요소 적용을 통한 직무역량 향

상도’ 평가항목

• ‘11-1. 도서관 이용자별 통계 분석 향상’, ‘11-3. 이용자 참고질의와 면담

기술 향상’ 평가 문항을 수정함

- 해당항목은 각 교육과정별로 차별적으로 제시될 특화된 항목이긴 하지만

서술식 의견에서, 항목의 자구 수정이 제안됨

변경

9. 제3단계

현업적용도

평가_성공사례

심층인터뷰

조사 평가지

❏ ‘현업적용 내용 및 방법’ 평가항목

• ‘3. 교육방법은 현업적용에 도움이 되도록 구성되었습니까?’ 평가 문항을

‘교육은 현업에 적용할 수 있도록 구체적인 실천방법을 포함하여 구성되었

습니까?’로 수정하고 2번 항목과 위치 변경

- 서술식 의견에서, 평가 문항을 ‘교육은 현업에 적용할 수 있도록 구체적

인 실천방법을 포함하여 구성되었습니까?’로 수정하고 3번 문항과 2번

문항의 배치를 변경할 것을 제안함

변경

❏ ‘현업적용 사례 및 성과’ 평가항목

• ‘4. 본 교육은 본인의 직무 역량개발에 구체적으로 어떻게 도움을 주었습

니까?’ 평가 문항을 ‘본 교육은 본인의 직무능력 향상에 구체적으로 어떻게

도움을 주었습니까?’로 변경

- 서술식 의견에서, 직무 역량개발 보다는 직무능력 향상에 어떻게 도움이

되었는지에 대한 평가문항으로 수정하는 것을 제안함

• ‘7. 그 변화(성과)는 얼마나 가치가 있습니까?’ 평가 문항 삭제(적절성 평

가에서 평균 3.917 표준편차 1.115)

변경

10. 제4단계 ❏ ‘직무만족’ 평가항목 변경

- 218 -

성과 평가_

성과인식도

조사 평가지

• ‘4. ~ 조직의 (예시: 장서관리) 직무 만족도가 개선될 것이다.’ 평가 문항

을 ‘조직의 (예시: 장서관리) 직무 몰입도가 향상될 것이다.’로 변경

- 서술식 의견에서, 조직원의 직무만족도가 높으면 조직에 몰입하여, 조직

성과가 향상된다는 연구결과를 바탕으로 몰입도가 적절할 것으로 판단되

므로 평가 문항을 ‘직무 몰입도’로 변경할 것을 제안함

❏ ‘이용자 만족’ 평가항목

• ‘5. ～ 조직의 (예시: 장서관리) 업무에 대한 이용자 만족도가 개선될 것이

다.’ 평가 문항을 ‘조직의 (예시: 장서관리) 업무에 대한 이용자 만족도가

제고될 것이다.’로 변경

- 서술식 의견에서, 만족도는 개선이 아니라 향상, 제고 등의 표현이 적절

할 것으로 제안함

변경

구분 결과 분석 비고

1. 제1단계

만족도

평가_교육 전

❏ ‘학습 준비도’ 평가 항목

• ‘사전학습 진행여부’ 문항을 추가

- 서술식 의견에서, 다수의 교육생이 학습 평가방법 등에 대해 관심을

변경

<표 6-40> 2차 델 이 조사 종합 결과

(2) 2차 델 이 조사 분석 결과

2차 델 이 조사 분석 결과를 종합해 보면, ‘8. 제3단계 업 용도 평가_설

문조사 평가지’에서 평가 역 1개를 신설하고, 하 로 평가 항목 3가지를 신설

하고(1가지 평가항목은 이 변경함) 12개 평가 문항을 신설한 것(3개 평가

문항은 이 변경함)과, ‘9. 제3단계 업 용도 평가_성공사례 심층인터뷰 조

사 평가지’에서 성공사례 심층인터뷰를 제3단계 평가도구에서 제4단계 평가도

구로 이 하고, 평가 항목을 2가지를 신설하고 9개 평가 문항을 신설한 것 이

외에는 큰 변동이 없는 것으로 나타났다. 그리고 일부 평가 항목의 경우 구체

인 평가 문항을 수정하거나 추가하 다. 이러한 분석 결과를 종합해 볼 때

2차 델 이 조사 후 도출된 조사 결과에 의해 국립 앙도서 사서교육훈련 4

단계 평가도구 개선안의 구성에 한 델 이 패 간의 의견 합치가 반 으

로 이루어졌다고 볼 수 있다. 그래서 델 이 조사는 2차 조사에서 종료되었으

며, 2차 델 이 조사의 구체 인 분석 결과는 아래의 <표 6-40>과 같다.

- 219 -

평가도구

갖지는 않으므로 교육운영 방식에 대한 부분보다는 ‘교육과정과 관련

한 사회적 이슈나 학습자료 등으로 사전학습을 진행한 여부’에 대한

문항을 추가할 것을 제안함

2. 제1단계

만족도

평가_교육 후

평가도구

❏ ‘교육목표’ 평가영역 - ‘학습목표 달성도’ 평가 항목

• ‘교육목표’ 영역 및 그 하위의 ‘학습목표 달성도’ 항목을 새롭게 추

가함

- 서술식 의견에서, 교육전 평가 문항과 연계하여 교육 참여 목표(목적)

달성여부를 측정할 수 있는 영역 및 문항을 추가하는 것을 제안함

신설

3. 제1단계 만족

도 평가_사이버

과정 평가도구

❏ ‘교육목표’ 평가영역 - ‘학습목표 달성도’ 평가 항목

• ‘교육목표’ 영역 및 그 하위의 ‘학습목표 달성도’ 항목을 새롭게 추

가함

- 서술식 의견에서, 교육전 평가 문항과 연계하여 교육 참여 목표(목적)

달성여부를 측정할 수 있는 영역 및 문항을 추가하는 것을 제안함

신설

4. 제2단계

학업성취도

평가_학습목표

진술(예시)

❏ ‘직무전문’ 모듈 - ‘신임사서기본’ 교육과정

• 1-2(신임 사서공무원으로서 갖추어야 할 올바른 공직관 및 국가관을 확

립하기 위한 동기를 부여하고 문화를 공유할 수 있다.) 학습목표를 ‘~

동기를 부여하고 문화를 공감할 수 있다.’로 변경

- 서술식 의견에서, 1-2) 문항의 학습목표는 ‘공유할 수 있다→공감할

수 있다’로 변경할 것을 제안함

- 서술식 의견에서, 1-2) 문항의 학습목표인 ‘공유한다’ 라는 추상적

인 진술은 목표 달성치를 측정키 어려워 학습목표로 적합지 않으므로

수정하는 것을 제안함

변경

❏ ‘직무전문’ 모듈 - ‘도서관통계활용기법 심화’ 교육과정

• ‘4-2) 도서관에서 필요한 통계자료 분석 및 실습을 통해 통계 활용 실

무사례를 숙지하고, 도서관 업무에 적절하게 활용할 수 있다.’ 학습

목표를 ‘도서관에서 필요한 통계자료분석 실습 및 사례학습을 통해

통계활용 기법을 숙지하고,~’로 변경

- 서술식 의견에서, 4-2) 문항의 학습목표는 ‘실무사례를 숙지한다’

는 표현은 적절치 못한 것으로 보이므로, ‘통계자료분석 실습 및 사

례학습을 통해 통계활용 기법을 숙지하고,~’로 변경할 것을 제안함

변경


• ‘6-1) 도서관의 철학, 역사 등 관련 기초이론을 습득하고 공유할 수

있다.’ 학습목표를 ‘~ 공감대를 형성하였다.’로 변경

- 서술식 의견에서, 6-1) 문항의 학습목표는 ‘공유할 수 있다→공감대

를 형성하였다’로 변경할 것을 제안함

• ‘6-2) 도서관 업무 관련 용어 및 기초지식을 숙지하고 이해할 수 있

다.’ 학습목표를 ‘도서관 업무 관련 용어 및 기초지식을 이해하고

설명할 수 있다.’로 변경

- 서술식 의견에서, 6-2) 문항의 학습목표는 ‘이해할 수 있다→이해하

고 설명할 수 있다’로 변경할 것을 제안함

- 서술식 의견에서, 6-2) 문항의 학습목표인 ‘이해할 수 있다’ 라는

변경

- 220 -

추상적인 진술은 목표 달성치를 측정키 어려워 학습목표로 적합지 않

으므로 수정하는 것을 제안함

5. 제2단계

학업성취도

평가_필수

학습단위요소

작성(예시)

❏ 변동사항 없음 -

6. 제2단계

학업성취도

평가_평가방식

선정(예시)

❏ ‘기본교육’ 모듈 - ‘신임사서 기본’ 교육과정

• 1-2) 항목의 수행평가 문항 표시방식을 ‘3문항’에서 ‘3과제’로 변경

- 서술식 의견에서, 수행평가 문항의 경우 3문항으로 구현하는 것이 쉽

지 않으므로, ‘3개 문항 → 3개 과제’로 변경하여 문항 표시방식을

수행과제로 수정하는 것을 제안함

변경


• 2-2) 항목의 평가방식을 ‘수행평가’에서 ‘필기평가’로 변경(적절성

평가에서 평균 3.917 표준편차 1.256)

- 서술식 의견에서, 본 교육과정은 교육목표가 ‘심동적’ 영역에 속하

긴 하지만, 평가방식을 ‘심동적’ 영역에서 주로 활용되는 ‘수행평

가’가 아닌 ‘필기평가’로 하는 것이 효율적으로 판단되어 평가방식

을 수정하는 것을 제안함

- 서술식 의견에서, 본 교육과정의 ‘도서관 유관기관 협력하기, 정책분

석 적용하기(저작권법, 저작권실무)’ 필수 학습단위요소는 수행평가

방식으로 평가하는 것은 거의 불가능해 보이므로 ‘필기평가’로 평가

방식을 수정하는 것을 제안함

변경

❏ ‘직무전문’ 모듈 - ‘도서관통계활용기법 기초’ 교육과정





변경

❏ ‘직무전문’ 모듈 - ‘도서관통계활용기법 심화’ 교육과정





변경

7. 제2단계

학업성취도

평가_정의적

영역 평가지

❏ ‘사전’ 평가시기 - ‘지식’ 평가영역

• ‘1. 나는 ( )과 관련한 새로운 전문지식과 정보를 충분히 습득

하고 있다.’ 평가 문항을 ‘나는 ( )과 관련한 새로운 전문

지식과 정보를 가지고 있다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ 전문지식과 정보를 가지고 있다.’

로 수정하는 것을 제안함

변경

❏ ‘사전’ 평가시기 - ‘기술’ 평가영역

• ‘4. ( )에 대한 나의 직무 전문성은 충분하다.’ 평가 문항을 변경

- 221 -

‘나는 ( )에 대한 직무 전문성을 보유하고 있다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ ( )에 대한 직무 전문성을

보유하고 있다.’로 수정하는 것을 제안함

❏ ‘사후’ 평가시기 - ‘기술’ 평가영역

• ‘4. ( )을 통해 나의 직무 전문성이 향상되었다.’ 평가 문항

을 ‘나는 ( )을 통해 직무 전문성이 향상되었다.’로 변경

- 서술식 의견에서, 평가 문항을 ‘~ ( )을 통해 직무 전문성이

향상되었다.’로 수정하는 것을 제안함

변경

8. 제3단계

현업적용도

평가_설문조사

평가지

❏ ‘현업적용 영향’ 평가영역 신설

• 하위에 ‘현업에서의 전이 동기’ 항목을 신설하고 ‘1. 내가 본 교육과

정에서 배운 지식과 기술을 활용한다면 업무성과는 향상될 것이라고 생

각했다.’ 등 4가지 평가 문항을 신설

• 하위에 ‘현업에서의 상사 지원’ 항목을 신설하고 ‘5. 나의 상사는 소

속 직원이 교육받은 것을 직무에 활용하도록 지원한다.’ 등 4가지 평가

문항을 신설

• 하위에 ‘현업에서의 동료 지원’ 항목을 신설하고 ‘9. 주위 동료들은

내가 교육과정에서 습득한 것을 현업에 적용하는 것을 보고 나를 적절히

평가한다.’ 등 4가지 평가 문항을 신설

- 서술식 의견에서, 교육내용을 현업에 적용하는데 있어 전이 동기요인,

조직환경 특성요인 등 현업적용 영향요인에 대한 평가가 필요하므로

‘현업적용 영향’ 평가영역을 새롭게 신설하고 하위에 ‘현업에서의

전이 동기, 현업에서의 상사 지원, 현업에서의 동료 지원, 현업에서의

변화 가능성’ 평가항목과 관련 세부 평가문항을 신설하는 것을 제안

함

신설

❏ ‘현업적용 영향’ 평가영역 하위로 이동

• ‘현업적용 활동’ 평가영역 하위의 ‘현업에서의 변화 가능성’ 평가항

목을 신설한 ‘현업적용 영향’ 평가영역 하위로 변경

- 서술식 의견에서, 현업적용 영향요인 평가를 위한 평가영역을 신설하

고 기존 ‘현업에서의 변화 가능성’ 평가항목을 ‘현업적용 영향요

인’ 평가영역 하위로 변경할 것을 제안함

변경

9. 제3단계

현업적용도

평가_성공사례

심층인터뷰

조사 평가지

❏ 전체 평가항목

• ‘제3단계 현업적용도 평가_성공사례 심층인터뷰 조사 평가지’를 제3

단계 평가도구에서 제4단계 평가도구로 변경

- 서술식 의견에서, 전통적으로 교육훈련 프로그램의 효과성을 측정하는

데 활용되었던 정량적인 기법들과 정성적인 분석기법인 SCM(성공사례

기법) 인터뷰 조사를 동시에 활용하는 혼합방법론을 활용하여 교육훈

련 과정의 효과성을 측정할 필요가 있으므로 SCM 조사 평가는 3단계

에서 4단계로 변경하는 것으로 제안함

변경

❏ ‘적용방법 및 시기’, ‘교육설계 및 적용 내용’ 평가 항목을 신설하고

하위 문항을 이전하거나 신설신설

- 222 -

• ‘1. 교육을 통해 학습한 것을 언제, 어떠한 상황에서 적용하였습니

까?’등 2가지 평가 문항을 신설 또는 이전

• ‘3. 교육내용은 현장에서 적용할 수 있는 내용으로 구성되어 있습니

까?’ 등 4가지 평가 문항을 신설 또는 이전

- 서술식 의견에서, 평가 문항을 신설하거나 기존 평가 문항을 수정하여

이전할 것을 제안함

❏ ‘현업적용 사례 및 성과’, ‘현업적용 환경’, 전반적 개선사항’평가

항목 →‘적용 환경’, ‘적용 성과’, ‘적용 사례’, ‘전반적 개선사

항’평가 항목으로 변경하고 하위 문항을 이전하거나 신설

• ‘7. 교육에서 학습한 내용을 (예: 장서관리)업무에 적용하는데 도움이

되었던 환경적 요인은 무엇입니까?’등 2가지 평가 문항을 신설 또는

변경

• ‘9. 교육에서 학습한 내용은 (예: 장서관리)업무 수행시 조직의 성과에

어떤 측면에서 도움이 되었습니까?’ 등 6가지 평가 문항을 신설

• ‘15. 본 교육이 본인의 (예: 장서관리) 직무능력 향상에 도움을 주었던

구체적인 적용사례가 있습니까?’등 3가지 평가 문항을 신설 또는 변

경

• ‘18. 향후 본 교육과정 내용이 성공적인 조직 성과로 이어지기 위해서

는 어떤 점이 더욱 개선되어야 한다고 생각합니까?’등 2가지 평가

문항을 신설 또는 변경

- 서술식 의견에서, 평가 문항을 신설 또는 변경하거나 기존 평가 문항

을 수정하여 이전할 것을 제안함

신설,

변경

10. 제4단계

성과 평가_

성과인식도

조사 평가지

❏ 전체 평가항목

• ‘~개선될 것이다, ~향상될 것이다, ~제고될 것이다’ 평가 문항을

‘~개선되었다, ~향상되었다, ~제고되었다’로 변경

- 서술식 의견에서, 4단계 평가의 경우 교육 후 일정기간(3~6개월) 지난

후에 평가가 진행되므로 각 평가문항의 ‘~ 될 것이다’ 문구는 ‘~

되었다’로 수정하는 것으로 제안함

변경

❏ ‘직무 만족’ 평가항목

• ‘4. ~ 조직의 (예시: 장서관리) 직무 몰입도가 향상될 것이다.’ 평가 문

항을 ‘조직의 (예시: 장서관리) 직무 만족도가 향상되었다.’로 변경

- 서술식 의견에서, 본 ‘직무 만족’ 평가항목은 조직의 직무만족도에 대

한 평가를 수행하기 위한 항목이므로 직무만족도가 높으면 조직에 몰입

하여, 조직성과가 향상된다는 연구결과가 있다고 하더라도 궁극적으로

는 ‘직무 만족도’를 평가하는 관점으로 적시되는 것이 적절할 것으로

판단되므로 평가 문항을 ‘직무 만족도’로 변경할 것을 제안함

변경


제7장 결론 및 제언

7.1 결론

7.2 제언

- 225 -

7.1 결론

국립 앙도서 은 사서교육 훈련 로그램 교육과정의 성과와 질을 증진시킬

수 있는 평가방법의 도입이 필요한 시 으로, 도서 법상으로 규정된 우리나

라 최고의 사서교육훈련 문교육훈련기 으로서 책무를 다하기 한 교육성

과 평가도구 개발이 요구된다. 이에 본 연구는 국립 앙도서 의 사서교육훈

련 직무교육의 효과성을 객 이고 복합 으로 측정할 수 있는 평가도구 개

발을 목표로 하 으며 이를 해 Kikrpatrick의 4단계 평가모델을 도입하여

만족도, 학업성취도, 업 용도, 성과평가로 이어지는 다양한 요소를 평가하

기 한 평가도구를 개발하 다. 본 연구의 주요 결과를 요약하여 종합하면

아래와 같다.

1) 국립 앙도서 사서교육 훈련 로그램 평가체계 분석

국립 앙도서 사서교육 훈련 로그램 평가체계 분석을 통해 국립 앙

도서 의 1단계 만족도 평가는 설문지 문항구성이 교육내용, 교육자료 매

체, 교수 학습활동, 강사 학습 진자 등에 한 구체 인 분석이 불가하

고 단순히 교과목별 만족도만 측정하도록 구성되어 있다. 특히 교육내용의 평

가상의 요성을 고려할 때, 이에 한 수정보완이 요구된다. 한 일률 으로

집합교육 과정에 하여 교육종료 직후에 평가를 실시하고 있어 교육기간이

길고 교과목 수가 많은 과정의 경우 평가의 신뢰도를 해하는 요인으로 작용

할 가능성이 있다. 2단계 학업성취도의 경우, 재 신임사서과정에만 학습평가

를 실시하고 있어 평가방법의 확 가 요구된다. 3단계의 경우, 업 용도 과

정을 선정하는 기 부재 업 용도 평가 상 과정의 확 , 업 용도의

향요인을 반 한 평가도구 개발이 요구된다. 마지막으로 4단계 성과평가는

재 실시하지 않으며, 성과 측정 가능성에 한 연구가 요구된다. 평가방법에

해서는 설문지 평가에 의존하고, 평가시기 역시 교육 로그램 후에 획일

으로 이루어지고 있으므로, 이에 한 다양성 확보가 필요하다.

- 226 -

2) 국내외 문헌조사 선행연구

국내외 선행연구 문헌조사를 바탕으로 평가도구에 한 다음의 고려사항

을 도출하 다. 첫째, 교육훈련 로그램의 효과성 측정을 하여 공공기 , 군,

사회복무요원, 평생교육 등 범 한 조직의 교육훈련평가에서 Kirkpatrick의

모형이 사용되었다. 둘째, Kirkpatrick 모형의 1단계 반응, 2단계 학습, 3단계

행동, 4단계 성과 사이의 지표 간의 상 성 계 상 계가 다수의 연

구에서 입증되었으며 이는 1단계 평가가 필수로 체계 으로 실시되어야 함을

의미한다. 셋째, 상 단계의 평가는 평가를 수행하기 한 비용 시간이 요

구되고, 측정 역시 용이하지 않기 때문에, 과정에 한 평가단계를 결정하는

의사결정 역시 요하다. 넷째, 업 용도와 유의미한 상 계가 있는 향

요인 교육내용 설계요인이 미치는 향이 가장 높은 것으로 나타났다.

이는 업 용도를 향상시키기 해서는 직무에 한, 직무에 용 가능한

교육과정의 설계가 선결되어야 함을 알 수 있다. 넷째, 유효한 평가도구 지

표를 도출하기 해서는 사례조사, 문가 교육훈련생의 참여가 요하다.

3) 교육훈련기 평가사 벤치마킹 사례 분석

국내외 교육훈련기 교육성과 평가 계획 운 사항을 검토한 결과는 다

음과 같다. 첫째, 모든 공공교육훈련기 이 Kirkpatrick의 4수 평가 1,2단

계 평가를 수행하고 있으며, 교육과정별로 3단계평가와 4단계평가를 부분 으

로 진행하고 있다. 둘째, 몇몇 기 에서 사 평가와 사후평가 실시하고 있는

데, 수 별 평가를 통해 수집한 결과에 해 명확하게 해석하기 해서 사 -

사후평가가 요구된다. 셋째, 정량 평가와 함께 정성 평가를 병행하고 있

다. 정량 평가의 제한 인 정보를 정성 평가를 통해 보완할 수 있으며, 특

히 3,4단계에서는 질 자료의 수집, 분석, 용이 필요하다.

- 227 -

4) 이해 계자 요구분석

국립 앙도서 사서교육훈련 교육운 담당자 2명, 공공도서 , 학도서

, 문도서 등 일선 도서 의 국립 앙도서 사서교육훈련 교육 로그램

평가 참여 교육생을 상으로 포커스 그룹 인터뷰(FGI)를 실시하 으며,

교육평가 담당자 문헌정보학 문가, 공공도서 학도서 의 평가 참

여 교육생을 상으로 문가 자문을 실시하 다.

이를 종합해보면 다음과 같다. 재 1단계 평가는 문항이 단순하며 교육내용

설계에 한 부분이 부족하므로 이에 한 보완이 요구된다. 2단계 평가 역

시도 모든 교육과정에 용하기에는 교육생에게 부담이 될 수 있다. 교육생의

부담을 최소화하는 2단계 평가가 필요하며 이를 한 학업성취도 인식조사를

고려할 수 있다. 실 으로 3,4단계 평가는 어려움이 있으며, 신 한 도입이

요구된다. 이를 보완하기 하여 정량 평가와 함께 정성 평가가 함께 수

행될 필요가 있다. 사서교육 로그램 자체가 실무에 투입되는 사서의 직무능

력을 증진시키는 것을 목 으로 하므로, 3단계의 업 용도 확 는 필요하

다. 그러나 평가주체를 동료나 상사로 확 하는 것은 교육생의 교육내용 보

다는 개인 인 평가가 반 될 수 있으며, 학교도서 이나 작은 도서 은 1인

체제로 운 되는 경우가 많아 다면평가를 실시하기 어렵다. 사서교육 로그

램에서 4단계 평가를 도입하는 것은 신 할 필요가 있다. 실제 교육 상자들

이 속한 기 의 성과를 측정하는 것이 실 으로 용이하지 않으며, 교육내

용과 성과 사이의 다양한 변수를 통제하기가 쉽지 않다. 이에 인식을 기반으

로 한 설문조사 등의 실 으로 가능한 방법을 고려해야 한다.

장기과정의 경우, 매일 평가를 하여 평가의 신뢰도를 높일 필요가 있으며

교육생에 한 사 정보 입수가 요구된다. 한 응답률을 높이기 한 방안

이 필요하며, 이를 해 온라인 모바일을 활용한 평가를 고려할 수 있다.

평가 외에 교육 로그램 자체에 한 고민이 필요하며, 이를 해 교육과정

을 NCS 기반으로 분류하는 등의 표 화 작업이 요구된다. 마지막으로 체계

화된 평가시스템을 해서는 별도의 평가조직 는 문인력이 필요하다.

- 228 -

5) 사서교육훈련 (新)평가체계 설계

선행연구, 사례조사, 이해 계자 요구분석을 바탕으로 국립 앙도서 사서

교육 로그램 신평가체계 평가도구를 설계하 다. 신평가체계에서는 국립

앙도서 사서교육훈련 평가체계 개발 방향, 평가체계 수립 략, 평가단계

결정, 평가도구 개발방향을 제시하 다.

신평가체계의 주요 개념은 다음과 같다. 국립 앙도서 사서교육 로그램

의 평가는 기본 으로 Kirkpatrick의 4단계를 따르되, 교육 로그램의 유형에

따라 평가단계를 제시하 다. 이를 하여 교육 로그램 평가유형을 교육기간

(단기/ 장기), 교육내용(직무-리더십-소양), 교육 상(신규-재직)으로 구분하

으며, 각 단계별 평가분류기 을 선정하여, 과정별 평가단계를 설정하 다.

교육 로그램유형별로 수집한 평가 자료의 양과 질은 로그램에 따라 상이하

지만, 기본 으로 소양교육/신규 상/단기교육에서는 상 으로 낮은 수 의

자료 수집을, 직무교육/재직자 상/ 장기교육에서는 높은 수 의 다양한 자료

를 수집한다. 이를 바탕으로 2017년 개설 정인 53개 집합과정 1단계 52

개 과정, 2단계 5개 과정, 3단계 16개 과정, 4단계 5개 과정을 제시하 다.

6) 사서교육훈련 평가도구 개발

국립 앙도서 사서교육훈련의 신 평가체계를 바탕으로 교육 로그램 유형별

① 1단계/3단계의 범용 시형 평가 도구와 ② 2단계/4단계의 맞춤형 평가 도

구를 개발하는 가이드라인을 제시하 다. 1단계 만족도 평가를 하여 교육

조사 7개 항목, 교육 후 조사 13개 항목, 사이버과정 11개 항목을 도출하 다. 만

족도 평가도구는 학습자, 교육과정, 교육환경, 교과목 강사평가, 교육목표, 교

육 반의 역을 포 한다. 2단계 학업성취도는 지식, 태도, 기술을 측정하기

한 필기평가, 수행평가, 설문지평가방법을 제시하고, 설문지 평가를 하여 사 -

사후 총7개 문항을 개발하 다. 3단계 업 용도 평가를 하여 설문조사 문항

을 개발하 다. 업 용도 평가 역은 향요인( 이동기, 변화가능성, 상사지원,

동료지원), 업 용 활동수 , 활용순 , 개발 황, 직무역량 향상도, 업무성과

- 229 -

향상 황을 도출하 다. 성과평가를 해서는 성과인식도 설문 SCM 조사,

인식기반 ROI 평가, 국도서 성과평가 연계를 제시하 으며, 이를 하여 생산

성, 품질, 완료시간, 직무만족, 이용자만족의 항목을 도출하 다.

7) 사서교육훈련 교육성과 평가 매뉴얼 개발

본 연구에서 제시하는 평가체계, 평가도구의 활용성을 진하기 하여 각

연구결과물들을 매뉴얼로 구성하 다. 매뉴얼은 교육 로그램 평과과정에 근

거하여 국립 앙도서 사서교육 로그램 평가개요 체계, 각 단계별 매뉴

얼을 제시하 다. 평가개요 체계는 평가목 방향, 평가단계 분류기

결정을 제시하 다. 각 단계별 매뉴얼을 평가도구 개발 운 , 평가도구

분석 활용 순으로 제시하 으며, 결과보고서 워크시트를 제시하 다.

7.2 제언

본 연구의 결론을 바탕으로 국립 앙도서 사서교육 로그램 평가체계

도구 개발 운 을 한 제언을 다음과 같이 제시한다.

1) 이해 계자 요구분석

일반 인 교육훈련 로그램은 요구조사, 계획수립, 운 , 평가 순으로 이루

어진다. 궁극 으로 평가결과를 향상시키기 해서는 교육의 질을 향상시킬

수 있는 평가가 요구된다. 이에 첫 번째 단계인 이해 계자 요구조사를 바탕

으로 교육 로그램 계획수립 운 이 이루어져야 한다. 국립 앙도서 사

서교육훈련 로그램은 매년 새로운 교육 로그램이 도입되고, 립드 러닝 등

새로운 교수방법이 용되고 있다. 그러나 이해 계자 요구분석에서도 악되

었듯이 교육 로그램의 다양화, 직무와의 연 성, 교육 상자의 기 에 부합하

는 교육 로그램 설계가 요구되며, 이는 만족도 평가에서 큰 비 을 차지하는

교육설계 내용의 평가는 물론 업 용도 평가 결과를 향상할 수 있는 기

- 230 -

반이 될 것이다. 체계 인 수요조사를 통해 수요자 요구에 따른 교육내용 비

편성을 고려하고, 업 용도 평가요인에도 반 하여, 학습자 주도의 교육

이 이루어질 수 있도록 유도하는 동시에 직무에 요구되는 문성을 갖춘 사서

를 양성하는 로그램 개발이 이루어져야 한다.

2) 교육훈련 문인력 산확보

체계화된 교육 로그램의 평가시스템을 해서는 평가체계 도구 개발 못

지않게 평가 로그램의 운 , 분석, 사후 리 교육 로그램의 환류가 요

하다. 국립 앙도서 사서교육훈련 체계의 인력보강 산 증액 없이 평가

체계만 개선하는 것으로는 평가결과의 교육 로그램 개선 이용자 만족도

제고를 기 하기 어렵다.

교육훈련 문인력은 교육담당 임교수 평가담당 문인력의 확보가 요

구된다. 국가공무원인재개발원 산림교육원 등 다수의 교육훈련기 이 담

교수 평가담당인력을 확보하고 있는 것과 비교할 때, 국립 앙도서 사서

교육문화과는 은 수의 인원이 교육 로그램 기획, 운 , 평가를 담당하고 있

는 것이 실이다. 3,4단계 평가는 심층면담 성과평가를 포함하고 있어 측

정이 어려우며 분석 역시 시간 비용이 많이 소요된다. 이러한 이유로 국가

공무원인재개발원은 1,2단계는 교육운 부서에서 담당하고, 3,4단계 평가를 연

구개발센터에 의뢰하여 수행하고 있는 실이며 부분의 기 에서 4단계 평

가를 진행하지 못하고 있다. 한 보다 정확하고 신뢰성 있는 평가가 되기

해서는 사서교육 평가 실무자들이 문 인 평가역량을 갖추어야 한다. 이를

해 사서교육 담당자의 교육 참여 기회확 투자가 이루어져야 한다. 교

육 역시도 교육담당 임교수를 확보하여 평가결과를 차기교육과정 운 에 반

하거나 교육과정 개선보고서 작성을 유도하는 등의 평가반 이 체계 으로

이루어지도록 해야 한다.

- 231 -

3) 평가모형 반 교육과정 설계

Kirkpatrick의 4단계 모형에 가장 큰 향을 주는 요인은 교육내용 설계이

다. 학업성취도 업 용도를 제고하기 하여 요구되는 필수사항은 업

용도를 고려하고 이용자의 학업에 한 기 를 충족시켜 수 있는 교육과

정의 설계이다. 그러므로 교육과정 설계단계부터 평가모형을 고려하여야 한다.

즉, 2단계 학업성취도 평가를 한 과정별 학습목표 필수학습단 요소, 3단

계 업성취도 평가를 한 용과정의 학습요소, 직무역량, 업무성과를 교육

로그램 설계 시 명확히 하여 교수자와 교육자에게 사 에 달하고 교육이

이루어지도록 해야 한다. 한 추후에는 교육과정을 NCS 등을 용하여 표

화하는 작업 등이 필요하다.

4) 평가도구의 지속보완

각 단계의 평가를 통해 교육과정 설계, 교육운 방안, 평가방법 시기

등을 심으로 성과평가 리체계가 보완되어야 한다. 한 교육과정이 매년

개편되는 것을 감안할 때, 보다 정확하고 신뢰성 있는 평가가 되기 해서 교

육과정변화 평가결과에 따른 평가도구 체계, 평가단계 결정이 계속 으

로 검토되어야 한다. 평가체계 도구는 일회성 개발에 그치는 것이 아니라,

보다 정교한 지표개발을 하여 지속 으로 수정보완이 요구되며 이에 따라

매뉴얼의 수정 역시 이루어져야 한다.

5) 피드백 로세스 도입

교육 로그램의 평가의 목 은 실제 교육내용의 내실화를 통해 교육자의 만

족도, 학업성취도, 업 용도 조직의 성과를 증진시키기 함이다. 이를

고려할 때 교육 로그램 평가실행에 투입되는 노력이 과정개선으로 이루어질

수 있는 피드백 로세스가 도입되어야 한다. 2단계 학습평가 사 -사후

학업성취도 평가결과 평가내용을 실시간으로 교육생에게 달하여 교육자

가 학업성취도를 자가진단할 수 있도록 해야 한다. 한 앙교육연수원

- 232 -

국가공무원인재개발원 등 공공기 의 경우 연수성 을 평가하여 포상하도록

하고 있는데, 특히 2단계 학습평가와 련한 포상을 고려할 수 있다. 한 평

가 필요성에 한 교육생의 인지를 증진시키기 하여 종합 인 평가결과

과목별 평가결과, 개선방안을 공개하여 교육 후 리제도에 한 피드백을 제

공할 수 있다. 마지막으로 업 용도가 낮은 과목에 해서는 추가 교육을

제공하는 방안 역시 고려할 수 있다.

6) 하이 리드 평가시스템의 도입

국립 앙도서 은 온라인 오 라인 등 다양한 형태로 교육이 제공된다.

최근 스마트폰, 태블릿 등 모바일 기기의 확산으로 교육 장에서 이에 한 활

용을 강조하고 있다. 평가 역시도 모바일 단말기나 온라인을 이용하여 학습자

의 학업성취도 만족도를 평가하는 시스템이 도입되고 있다. 이러한 온라인

모바일 평가시스템의 도입은 설문조사에서는 응답률을 높일 수 있다는 장

이 있으며, 학업성취도 필기평가에서는 평가 수 해설을 실시간으로 제공

하여 학업자에게 피드백을 제공할 수 있다.

국립 앙도서 사서교육훈련 로그램 역시, 사서교육홈페이지 로그인을 통

해 온라인을 기반으로 설문조사에 참여하도록 하고 있으나, 모바일을 활용할

수 없다는 단 이 있으며 모든 단계 평가에 용되지 못하는 실정이다. 사서교

육훈련 로그램의 효율 인 평가를 하여 모바일 기반 평가시스템을 개발하

여 평가 데이터 수집 분석이 이루어져야 한다. 물론 자체 구축하는 방법이

사서교육훈련 로그램의 데이터의 수집·분석·보존 측면에서 가장 바람직하나,

이는 상당한 비용과 시간이 요구된다. 차선책으로 국가인재개발원 모바일 평가

시스템과 연동하여 진행하는 것을 고려할 수 있다. 이를 통해 종료직후 교육생

모바일로 평가가능 URL을 송하여 교육생이 평가에 참여하게 함으로써 평가

응답률 신뢰성을 확보할 수 있다. 한 재 교육과정 평가를 통해 로그인

을 해야 하는 차를 생략하고, 화번호 인증이나 메일 계정 연동을 통해 평

가를 수행하는 것 한 응답률을 높일 수 있는 방법이 될 것이다.

- 233 -

7) 국립 앙도서 사서교육 로그램 평가 인 라 구축

재 1단계 만족도 평가의 경우, 설문결과의 통계결과가 자동으로 산출되어

결과보고서 작성이 용이하게 구성되어 있으나, 2,3,4단계의 경우 평가결과를

실시간으로 산출하고 보고서 작성이 가능한 시스템이 도입되어 있지 않다. 이

에 온라인 평가결과를 실시간으로 산출하고 기본 인 보고서 작성이 가능한

시스템 도입이 요구된다. 평가 인 라의 구축은 시계열 분석을 통해 평가결과

추이를 분석하는 것을 용이하게 할 것이며, 이를 바탕으로 평가도구 개선

교육과정 운 개선사항 등이 도출될 수 있을 것이다.

<그림 7-1> 국립 앙도서 사서교육 로그램 평가 발 방안

- 234 -

<참고문헌>

강명희, 최형신, 김민정, 박미순. 2009. 농업정보화 교육 로그램의 효과성 측정을 한 평

가 거 개발. ꡔ한국평생교육HRD연구ꡕ, 5(4): 65-87.

경기복지재단. 2011. ꡔ교육훈련의 업 용도 연구ꡕ. 경기: 경기복지재단.

경찰 학치안연구소. 2015. ꡔ경찰 학 직무과정 업 용도 측정시스템 도입방안에 한 연구ꡕ.

교육부. 2015. NCS(국가직무능력표 ) 기반 교육과정 가이드라인: 개발, 운 평가, 질

리 . 세종: 교육부.

교육인 자원부. 2006. ꡔ지식정보 역량 개발 자원을 한 디지털 리터러시 지수 개발연구ꡕ.

서울: 교육인 자원부.

국립 앙도서 . 2014. 2014년도 사서교육훈련 . 서울 : 국립 앙도서 .

국립 앙도서 . 2014. 국립 앙도서 규정집 . 서울 : 국립 앙도서 .



국립 앙도서 사서교육 홈페이지. <http://edu.nl.go.kr/>

권 제, 이상덕, 오 철, 서휘석. 2012. 공군 교육과정 업 용도 평가 진단도구 개발

용에 한 연구. ꡔ공사논문집ꡕ, 64(1): 171-187.

김소 , 홍성민. 2012. 소기업 채용 정자 훈련의 성과평가연구: 상 리자 을 심

으로. ꡔ직업교육연구ꡕ, 31(2): 247-267.

김윤희, 윤기순, 권덕기. 2010. Bloom의 신 교육목표분류에 기 한 학교 생물 역 총

평가 문항의 목표 분석. ꡔ과학교육연구지ꡕ, 34(1): 164-174.

김정원, 김동철. 2013. 공무원교육의 업 용도 향요인과 정책 제고방안. ꡔ 한경 정

보학회 경 교육 ꡕ, 32(3): 43-59.

김진모(2012). 임업훈련원의 교육성과평가 교육기능 개선방안. 산림청 경책연구용역결과

보고서.

나일주. 2003. ꡔ기업교육론ꡕ. 서울: 학지사.

노혜란, 박선희. 2012. 공공기 특화교육과정 업 용도 사례연구: H개발원 심으로. ꡔ학

- 235 -

습과학연구ꡕ, 6(1): 92-120.

농 진흥청. 2012. ꡔ최신 교육훈련평가 모형을 활용한 교육성과 분석보고서ꡕ.

문경환, 민경석, 최 . 2015. 경찰교육의 효과성 측정기표 개발과 용 – 경정/경감 기본

교육과정의 업 용도를 심으로. ꡔ한국경찰연구ꡕ, 14(2): 65-90.

민경석, 최 , 문경환. 2015. 경찰교육훈련 평가지표에 한 연구: Kirkpatrick 모형에 기

반하여. ꡔ경찰학논총ꡕ, 10(2): 9-33.

박진주. 2002. 제7차 교육과정에 근거한 고등학교 과학의 성취 기 , 평가 기 평가

문항의 개발과 용 . 석사학 논문, 이화여자 학교 학원, 과학교육학과.

박진환, 김상순, 이춘우. 2014. 소기업 임직원 교육의 학습내용 업 용도 결정요인연구.

ꡔ 한경 학회지ꡕ, 27(5): 725-750.

서울특별시인재개발원. 2016a. 2016년 교육훈련 학습평가 시상계획. 서울특별시인재개발원.

서울특별시인재개발원. 2016b. 교육품질 제고 성과지향 교육을 한 2016년도 업 용

도 평가 계획. 서울특별시인재개발원.

윤경인, 최형길, 김명기(2015) 커크패트릭 모형을 이용한 임 란트 연수 교육 효과 평가. ꡔ

한치과의사 회지ꡕ, 54(1): 27-38.

이성. 2015. ꡔ교육효과 측정과 성과 리ꡕ. 경기평생교육진흥원.

이용탁. 2005. e-Learning의 유효성 평가방법에 한 연구. ꡔ직업능력개발연구ꡕ, 8(1): 65-87.

이 , 권선진, 임정기. 2014. Kirkpatrick의 교육평가모델을 용한 사회복무요원 직무교육성

과에 한 연구. ꡔ한국사회복지행정학ꡕ, 16(3): 317-346.

이찬, 김진모, 동원, 은정, 최 , 류 주(2009). 교육 로그램 평가단계 분류기

평가도구 개발. 천안: 지식경제공무원교육원.

이찬. 2013. ꡔ평가진단체계 방안도출 연구ꡕ. 서울: 앙공무원교육원 용역결과 보고서.

이찬, 박한규, 류 주, 여수경. 2012. 소기업 교육훈련 로그램 이측정도구개발 평

가. ꡔ농업교육과 인 자원개발ꡕ, 44(1): 161-184.

이찬, 최 , 박혜선. 2013. 교육훈련 이 진 해요인에 한 연구: 성공 사례 기법

(Success Case Method)을 심으로. HRD 연구 , 15(3), 53-84.

이홍재, 권 이, 차용진. 2016. Kirkpatrick 모형을 용한 공무원 교육효과 측정에 한 연

구 – 개인정보보호 교육을 심으로. ꡔ한국지역정보화학회지ꡕ, 19(1): 165-189.

- 236 -

임업훈련원. 2012. ꡔ교육성과평가 교육기능 개선방안ꡕ.

주성, 김소 . 2011). 학부설 평생교육원 로그램의 효과성 측정을 한 평가모델의 타

당성 검증. ꡔ교육과학연구ꡕ, 42(1): 125-150.

앙교육연수원. 2016. ꡔ2016년 교육훈련 평가 세부 추진계획안ꡕ. 앙교육연수원.

지방행정연수원. 2014. ꡔ지방행정연수원 업 용도 평가제도 개편방안ꡕ.

진선미, 정은정.. 2005. 공무원 교육결과를 측정할 수 있는 평가방안 평가도구 개발 – 서

울시공무원교육원에서 운 하는 교육 로그램을 심으로. ꡔ교육평가연구ꡕ, 18(3):

183-208.

최 , 이찬(2011). Success Case Method를 활용한 직무 교육훈련 이 핵심 성공요인 탐

색. ꡔ직업교육연구ꡕ, 30(3): 303-326.

홍계훈, 김익성. 2008. 훈련에 한 개인수 에서의 반응평가모델개발. ꡔ조직과 인사 리연

구ꡕ, 32(4): 1-27.

Baldwin. T. T., & Ford. J. K. 1988. “Transfer of training: A review and directions forfuture

research. Personnel Psychology, 41(1): 63-105.

Home Office(2003). Models for Learning and Development in the Police Service, London:

Home Office.

Kirkpatrick, D. 1994. Evaluation training programs: The four levels. San Francisco: Berrett-

Koehler.

Newstrom, John W. 1986. "Leveraging Management Development through the Management

of Transfer", Journal of Management Development, 5(5): 33-45.

United States Office of Personnel Management(2011). Training Evaluation Field Guide.

Washington, DC.: Employee Services Executive Resources & Employee Development.

- 237 -

<부록>델 이 조사 설문지

사서교육훈련 효과성 입증을 위한 평가도구 개발 연구(완결)

안녕하십니까?

바쁘신 중에도 2차 델파이 조사에 응답해 주셔서 감사합니다.

본 설문조사는 2차 델파이 조사 분석결과를 바탕으로 작성된 델파이 조사 완결본입

니다.

1. 2차 델파이 조사 분석은 ①국립중앙도서관 사서교육훈련의 교육과정별로 적용될

수 있는 4단계 평가도구 개선안의 평가영역, 평가항목 및 평가문항의 적합성 평

가에 대한 분석과 ②서술식 의견 분석으로 나누어지는데, 두 가지 분석결과가 유

사하거나 일치하는 경우에 한하여 요소 및 항목을 변경, 삭제, 추가하였습니다.

2. 평가영역, 평가항목 및 평가문항의 적합성 평가의 경우 평균이 4.0미만이거나 표

준편차가 1.0이상인 것을 수정 대상으로 하였으며, 서술식 의견과 대조하여 내용

이 유사하거나 일치하는 경우를 최종 분석결과로 수용하고 2차 델파이 조사 설

문지에 반영하였습니다.

3. 그 결과 총 10가지의 국립중앙도서관 사서교육훈련 교육과정에 대한 4단계 평가

도구 개선안이 개발되었습니다.

바쁘신 연구와 업무 중에도 델파이 패널로 참석하시어 고견을 제시해 주신데 대해

다시 한 번 감사드립니다.

※ 참고자료 : 2차 델파이 조사 분석결과

2017년 2월 6일

숭의여자대학교 문헌정보학과 교수 차성종

[문 의 ] 황 정 선 연 구 보 조 원

전 화 : 010-4745-2137

E-mail: [email protected]

- 238 -

평가

영역

평가

항목평가 문항

측정

방법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

학습자

개 인 특 성- 성별, 연령, 도서관 유형, 직급,

재직기간 (5문항)

선택

형□ □ □ □ □

교 육 참 여 목 적

6. 본 교육과정에 참여하게 된 동기

나 목적은 무엇입니까?

①전문지식 함양 ②업무능력 향상 ③최

신동향 파악 ④교육시간 필요 ⑤기타

선택

형/

주관

식

□ □ □ □ □

직 무 연 관 성

7. 본 교육과정은 내가 수행하고 있

는 직무와 관련성이 높다.

5점

척도□ □ □ □ □

학 습 준 비 도

8. 나는 과정 수강전 본 교육과정의

학습내용을 확인해 보았다.

5점

척도□ □ □ □ □

9. 나는 과정 수강전 본 교육과정과

관련한 사회적 이슈나 학습자료

등으로 사전학습을 진행해 보았다.

5점

척도□ □ □ □ □

교 육 욕 구

10. 나는 본 교육과정의 수강을 상

당히 희망한다.

5점

척도□ □ □ □ □

11. 나는 본 교육과정의 수강을 능력향

상을 위한 좋은 기회로 생각한다.

5점

척도□ □ □ □ □

12. 나는 본 교육에 적극적으로 참

여하여 교육 내용을 최대한 업

무에 적용하고 싶다.

5점

척도□ □ □ □ □

현 업 적 용 기 대 감

13. 본 교육과정의 교육내용은 현업에서

활용이 가능할 것으로 기대한다.

5점

척도□ □ □ □ □

역 량 개 발 기 대 감

14. 본 교육과정의 교육을 통해 교

육과정이 목표로 하는 역량이

향상될 것으로 기대한다.

5점

척도□ □ □ □ □

업 무 성 과 향 상

기 대 감

15. 본 교육과정의 교육을 통해 교

육과정이 목표로 하는 업무성

과가 향상될 것으로 기대한다.

5점

척도□ □ □ □ □

요 구 사 항 수 렴

16. 본 교육과정의 담당자 및 교강

사에게 당부하고 싶은 사항이

있다면 무엇입니까?

주관

식□ □ □ □ □

1. 제1단계 만족도

평가_교육전

평가도구

다음은 제1단계 만족도 평가의 ‘교육전 평가도구’의

구성요소에 대한 세부사항입니다. 각 항목에 해당되는

부분에 체크(☑)해 주시기 바랍니다.

- 239 -

평가

영역

평가

항목평가 문항

측정

방법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

학 습 자 개 인 특 성- 성별, 연령, 도서관 유형, 직급, 재

직기간 (5문항)

선택

형□ □ □ □ □

교 육

과 정

교 육 효 과

6. 교육내용에 대한 이해가 교육을

받기 전보다 높아졌다 .

5점

척도□ □ □ □ □

7. 교육내용은 현업에서의 업무수행

이나 능력개발에 도움이 될 것이

다.

5점

척도□ □ □ □ □

교 과 편 성

및 설 계

8. 교과목들은 교육목표에 적합하게

편성되었다.

5점

척도□ □ □ □ □

9. 교재는 교육내용을 이해하는데 적

절하게 구성되었다.

5점

척도□ □ □ □ □

10. 교육방법(강의, 동영상, 토론 등)

은 교육내용을 배우기 위해 효과

적이다.

5점

척도□ □ □ □ □

교 육 운 영

11. 전체 교육시간은 교육내용을 이

해하기에 적당하였다.

5점

척도□ □ □ □ □

12. 본 교육과정 담당자의 과정 진행

(행정지원, 학습안내, 분위기 촉

진 등)은 전반적으로 좋았다.

5점

척도□ □ □ □ □

교 육환 경

교 육 환 경

만 족 도

13. 강의실, 분임실 등 강의 환경5점

척도□ □ □ □ □

14. 식당 및 기숙사 등 편의시설 환

경

5점

척도□ □ □ □ □

15. 교육 운영자의 친절도5점

척도□ □ □ □ □

교 과 목 교 과 목 16. 해당 교과목은 업무능력 향상이 5점 □ □ □ □ □


평가_교육후

평가도구

다음은 제1단계 만족도 평가의 ‘교육후 평가도구’

의 구성요소에 대한 세부사항입니다. 각 항목에 해당

되는 부분에 체크(☑)해 주시기 바랍니다.

- 240 -

및 강

사 평

가

만 족 도나 자기계발에 도움이 될 것이

다. 척도

강 의

전 문 성 /

기 술

/ 태 도

17. 강사는 해당과목과 관련된 분야

의 전문지식이 풍부하였다.

5점

척도□ □ □ □ □

18. 강사는 강의내용을 이해하기 쉽

게 전달하였고, 강의 스킬은 우

수하였다.

5점

척도□ □ □ □ □

19. 강사는 적극적인 자세로 열의를

가지고 강의를 진행하였다.

5점

척도□ □ □ □ □

교 육 목표

학 습 목 표

달 성 도

20. 본 교육과정 이수를 통해 원래

목표로 했던 교육참여 목적을 달

성하였다.

5점

척도□ □ □ □ □

교 육전 반

교 육 전 반

만 족 도

21. 이번 과정은 전체적으로 받을 만

한 가치가 있는 교육이었다.

5점

척도

/

주관

식

□ □ □ □ □

22. 본 교육을 받고 나신 후 가장 유

익했던 부분은 무엇입니까?


□ □ □ □ □

23. 본 교육과정 혹은 사서교육훈련

전반에 대한 건의사항이나 개선

해야 할 점이 있다면 무엇입니

까?

□ □ □ □ □

- 241 -

평가영

역평가항목 평가 문항

측정

방법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

학 습 자개 인 특 성

(성 별 , 연 령 등 )

- 성별, 연령, 도서관 유형, 직급,

재직기간

(5문항)

선택

형□ □ □ □ □

교 육

과 정

교 육 효 과

6. 교육내용에 대한 이해가 교육을

받기 전보다 높아졌다.

5점

척도□ □ □ □ □

7. 교육내용은 현업에서의 업무수

행이나 능력개발에 도움이 될

것이다.

5점

척도□ □ □ □ □

교 과 편 성

및 설 계

8. 교육내용 선정 및 구성이

적절하였다.

5점

척도□ □ □ □ □

9. 교육내용의 난이도는

적절하였다.

5점

척도□ □ □ □ □

10. 교육방법(강의, 동영상,

애니메이션, 그래프 등)은

교육내용을 배우기 위해

효과적이다.

5점

척도□ □ □ □ □

교 육 운 영

11. 전체 교육시간 및 학습량은 교

육내용을 이해하기에 적당하였

다.

5점

척도□ □ □ □ □

12. 본 교육과정은 학습에 참여하

는데 불편함 없이 운영되었다.

5점

척도□ □ □ □ □

13. 본 교육과정의 피드백(메일,

질의 응답) 및 관련자료 제공

은 적절하였다.

5점

척도□ □ □ □ □

교 육환 경

교 육 환 경

만 족 도

14. 국립중앙도서관 사서교육훈련

사이버교육 홈페이지 접속이

5점

척도□ □ □ □ □


평가_사이버

과정 평가도구

다음은 제1단계 만족도 평가의 ‘사이버 과정 (교육

후)평가도구’의 구성요소에 대한 세부사항입니다. 각

항목에 해당되는 부분에 체크(☑)해 주시기 바랍니다.

- 242 -

원활하였다.

15. 본 교육의 학습과정과 학습진

도 체크가 원활하였다.

5점

척도□ □ □ □ □

16. 본 교육의 화면 구성 및 조작

의 편의성은 학습에 몰입하는

데 적절하였다.

5점

척도□ □ □ □ □

강 사

평 가

강 의

전 문 성 /

기 술

17. 강사는 해당과목과 관련된 분

야의 전문지식이 풍부하였다.

5점

척도□ □ □ □ □

18. 강사는 강의내용을 이해하기

쉽게 전달하였고, 강의 스킬은

우수하였다.

5점

척도□ □ □ □ □

교 육 목표

학 습 목 표

달 성 도

19. 본 교육과정 이수를 통해 원래

목표로 했던 교육참여 목적을

달성하였다.

5점

척도□ □ □ □ □

교 육전 반

교 육 전 반

만 족 도

(주 관 식

포 함 )

19. 이번 과정은 전체적으로 받을

만한 가치가 있는 교육이었다.

5점

척도

/

주관

식

□ □ □ □ □

20. 본 교육을 받고 나신 후 가장

유익했던 부분은 무엇입니까?


□ □ □ □ □

21. 본 교육의 과정 운영 및 교육

시스템과 관련하여 건의사항이

나 개선해야 할 점이 있다면

무엇입니까?

□ □ □ □ □

- 243 -

구분 인

지

정

의

심


전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

모듈

교육과정 1점 2점 3점 4점 5점

기

본

교

육

신임사서기본

●1-1) 신속한 조직적응과 직무수행에

필요한 사서 전문역량을 제대

로 이해하고 설명할 수 있다.

□ □ □ □ □

●

1-2) 신임 사서공무원으로서 갖추어

야 할 올바른 공직관 및 국가

관을 확립하기 위한 동기를 부

여하고 문화를 공감할 수 있

다.

□ □ □ □ □

직

무

전

문

도서

관과

저작

권

●

2-1) 저작권과 저작권법에 대한 기

본지식 등 도서관에서의 저작

권 관련 주요 업무 지식을 숙

지하고 설명할 수 있다.

□ □ □ □ □

●

2-2) 유형별 저작권 실무 사례를 숙

지하고, 디지털 환경에서의 도

서관서비스와 저작권 관리 업

무에 적용할 수 있다.

□ □ □ □ □

도서

관통

계활

용기

법

기초

●3-1) 통계의 기초개념 및 통계 자료

에 대해 제대로 이해하고 설명

할 수 있다.

□ □ □ □ □

●3-2) 도서관의 실무에 기초 통계자

료 분석 및 실습을 적용할 수

있다.

□ □ □ □ □

도서

관통

계활

용기

●4-1) 통계의 심화개념 및 통계 분석

기법에 대해 제대로 이해하고


□ □ □ □ □

4. 제2단계

학업성취도

평가_학습목표

진술(예시)

다음은 제2단계 학업성취도 평가의 ‘평가도구 개발

절차’중 국립중앙도서관 사서교육훈련 교육과정의

‘학습목표 진술’의 구성요소에 대한 세부사항입니

다. 각 항목 및 구성요소를 검토해 보시고 해당되는

부분에 체크(☑)해 주시기 바랍니다.

- 244 -

법

심화●

4-2) 도서관에서 필요한 통계자료분

석 실습 및 사례학습을 통해

통계활용 기법을 숙지하고, 도

서관 업무에 적절하게 활용할

수 있다.

□ □ □ □ □

직

무

공

통

도서

관법

령실

무

●5-1) 도서관 관련 법령 입안과 법령

해석에 대한 기초 지식을 습득

하고 설명할 수 있다.

□ □ □ □ □

●

5-2) 도서관법 등 도서관과 관련된

법령에 대한 유형별 법률 적용

사례를 숙지하고 이를 설명할

수 있다.

□ □ □ □ □

도서

관의

이해

(비사

서직)

●6-1) 도서관의 철학, 역사 등 관련

기초이론을 습득하고 공감대를

형성하였다.

□ □ □ □ □

●6-2) 도서관 업무 관련 용어 및 기

초지식을 이해하고 설명할 수

있다.

□ □ □ □ □

- 245 -

구분

학습목표 진술 필수 학습단위요소수

준

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

모듈

교육과정

1점 2점 3점 4점 5점

기

본

교

육

신임사서

기본

1-1) 신속한 조직적응과

직무수행에 필요한

사서 전문역량을

제대로 이해하고


문헌정보 조직, 이용자

정보 서비스, 문헌정보

서비스 마케팅, 문헌정보

수집 정책 개발, 문헌정

보수집, 도서관 유관기관

협력, 독서문화 프로그램

계획수립, 독서문화 프로

그램 운영

5 □ □ □ □ □

1-2) 신임 사서공무원으

로서 갖추어야 할

올바른 공직관 및

국가관을 확립하기

위한 동기를 부여

하고 문화를 공감

할 수 있다.

(소통, 이미지메이킹, 커

리어로드맵, 청렴교육, 호

국보훈, 통일의식, 정부

3.0, 일하는 방식, 준법의

식, 법질서 확립, 국가안

보, 국익, 외국정보활동

대응, 사회봉사, 민생현장

체험)

3 □ □ □ □ □

직도서

관과

2-1) 저작권과 저작권법

에 대한 기본지식

도서관 유관기관 협력하

기, 정책 분석 적용하기5 □ □ □ □ □

5. 제2단계

학업성취도

평가_필수

학습단위요소

작성(예시)


절차’중 국가직무능력표준(NCS)을 활용한 사서교육

훈련 2단계 학업성취도 평가를 위한 ‘필수 학습단위

요소 작성’의 구성요소에 대한 세부사항입니다. 각

항목 및 구성요소를 검토해 보시고 해당되는 부분에

체크(☑)해 주시기 바랍니다.(* 도출된 필수 학습단위

요소 중 ‘( )’부분은 해당되는 NCS 능력단위 및 능

력단위요소가 존재하지 않아 NCS를 활용하지 않았음)

※ 본 필수 학습단위요소 도출에 활용한 국가직무능력표준(NCS) ‘문헌정보관리’ 직무의 능력단위 및 능력단위요소를 아래에 따로 제시하니 참고해 주시기 바랍니다.

- 246 -

무

전

문

저작

권

등 도서관에서의

저작권 관련 주요

업무 지식을 숙지

하고 설명할 수 있

다.

(저작권법, 저작권 실무)

2-2) 유형별 저작권 실

무 사례를 숙지하

고, 디지털 환경에

서의 도서관서비스

와 저작권 관리 업

무에 적용할 수 있

다.


기, 정책 분석 적용하기


5 □ □ □ □ □

도서

관통

계활

용기

법

기초

3-1) 통계의 기초개념

및 통계 자료에 대

해 제대로 이해하

고 설명할 수 있

다.

문헌정보 이용 분석, 연

구 성과 분석하기(통계조

사 방법, 도서관 통계데

이터 분석, 조사통계 분

석)

5 □ □ □ □ □

3-2) 도서관의 실무에

기초 통계자료 분

석 및 실습을 적용

할 수 있다.

문헌정보 이용 분석, 문

헌정보 이용 평가하기,

시설 이용 평가하기, 프

로그램 운영 평가하기,

연구 성과 분석하기(통계

조사 방법, 도서관 통계

데이터 분석, 조사통계

분석)

5 □ □ □ □ □

도서

관통

계활

용기

법

심화

4-1) 통계의 심화개념

및 통계 분석기법

에 대해 제대로 이

해하고 설명할 수

있다.


구 성과 분석하기(통계조

사 방법, 도서관 통계데

이터 분석, 조사통계 분

석)

5 □ □ □ □ □

4-2) 도서관에서 필요한

통계자료분석 실습

및 사례학습을 통

해 통계활용 기법

을 숙지하고, 도서

관 업무에 적절하

게 활용할 수 있다.





연구 성과 분석하기(통계



분석)

5 □ □ □ □ □

직

무

공

통

도서

관법

령실

무

5-1) 도서관 관련 법령

입안과 법령 해석

에 대한 기초 지식

을 습득하고 설명

할 수 있다.



(도서관법, 법령 해석)

5 □ □ □ □ □

5-2) 도서관법 등 도서 도서관 유관기관 협력하 5 □ □ □ □ □

- 247 -

관과 관련된 법령

에 대한 유형별 법

률 적용사례를 숙

지하고 이를 설명

할 수 있다.


(도서관법, 법제 실무)

도서

관의

이해

(비사

서직)

6-1) 도서관의 철학, 역

사 등 관련 기초이

론을 습득하고 공

감대를 형성하였다.

(도서관 이해, 도서관사) 3 □ □ □ □ □

6-2) 도서관 업무 관련

용어 및 기초지식

을 이해하고 설명

할 수 있다.

문헌 정보 보존, 수집자

료 관리하기, 보존하기,

폐기하기, 디지털 아카이

빙, 정책 분석 적용하기

(도서관 용어 해설, 저작

권법)

5 □ □ □ □ □

NCS 문헌정보관리 [세분류, 직무]

능력단위

능력단위 정의 능력단위요소능력단

위명

능력단

위

코드

문헌정

보

조직

080101

0402_1

4v2

문헌정보조직이란 이용자들이 적합한 정보를 검색하

고 접근하며 이용할 수 있도록 하는 능력이다.

분류하기

목록작성하기

메타데이터작성하기

이용자

정보

서비스

080101

0403_1

4v2

이용자 정보서비스란 이용자를 위한 서비스와 프로

그램을 기획하고 운영, 평가할 수 있는 능력이다.

이용자정보서비스 기획

하기

이용자정보서비스 운영

하기

이용자정보서비스 평가

하기

문헌정

보 실무

연구수

행

080101

0406_1

6v3

문헌정보 실무 연구수행이란 문헌정보 전문가로서

필요한 연구를 수행하고 활용할 수 있는 능력이다.

문헌 연구하기

연구 수행하기

연구 결과 활용하기

문헌정

보 이용

분석

080101

0407_1

4v2

문헌정보 이용 분석이란 문헌 정보 및 관련 시설과

프로그램의 이용성과 분석을 실행할 수 있는 능력이

다.

문헌정보 이용 평가하기

시설 이용 평가하기

프로그램 운영 평가하기

연구 성과 분석하기

문헌

정보

080101

0408_1

문헌정보 보존이란 자료의 접근성과 유용성을 높일

수 있게 수집된 자료를 적절하게 배치하고 이용자들

수집자료 관리하기

보존하기

<참고자료> 국가직무능력표준(NCS)

‘문헌정보관리’ 직무상의 능력단위 및 능력단위요소

- 248 -

보존 4v2이 편리하게 이용할 수 있게 하며 수집된 자료를 보

호하고 보존할 수 있는 능력이다.

폐기하기

디지털 아카이빙

문헌정

보큐레

이션

080101

0409_1

4v2

문헌정보 큐레이션이란 새로운 정보 요구를 분석하

고 이를 충족시키기 위한 정보를 발굴, 생산, 평가할

수 있는 능력이다.

정보 분석하기

정보 가공하기

생산된 정보 평가하기

문헌정

보

서비스

마케팅

080101

0410_1

4v2

문헌정보 서비스 마케팅이란 문헌정보 및 관련 기관

의 이용과 활용을 증진하기 위한 홍보 마케팅 전략

을 수립하고 실행, 평가할 수 있는 능력이다.

문헌정보 서비스 마케팅

기획하기


실행하기


평가하기

문헌정

보 수집

정책

개발

080101

0412_1

6v3

문헌정보 수집정책 개발이란 도서관의 목적과 이용

자의 요구를 고려하여 문헌정보를 수집하고 분석하

여 문헌정보 수집 정책을 개발하는 능력이다.

이용자 정보 요구분석하

기

문헌정보 자료 수집하기

수집정책 개발하기

문헌정

보수집

080101

0413_1

6v3

문헌정보수집이란 도서관의 목적과 이용자의 요구를

고려하여 필요한 자료를 선택하고 입수하여 평가하

는 능력이다

문헌정보 선택하기

문헌정보 입수하기

문헌정보 평가하기

문헌정

보시스

템구축

080101

0414_1

6v3

문헌정보시스템 구축이란 문정정보 운영을 원활하기

하기 위하여 환경을 분석하고 요구사항을 도출하여

문헌정보 시스템을 구축하는 능력이다

문헌정보 시스템 환경

분석하기

문헌정보 시스템 기획하

기

문헌정보 시스템 구축하

기

문헌정

보시스

템운영

080101

0415_1

6v3

문헌정보시스템 운영이란 필요한 문헌정보시스템을

갖추기 위하여 환경을 분석하고 요구사항을 도출하

여 이를 구축하는데 반영하고 구축된 시스템을 운

영하고 평가할 수 있는 능력이다.

문헌정보 시스템 운영하

기

문헌정보 시스템 평가하

기

도서관

정보센터

경영관리

080101

0416_1

6v3

도서관 정보센터 경영관리란 도서관/정보센터의 인적

/물적 자원을 활용하여 조직과 부서의 목적과 목표를

달성하기 위하여 수행되는 일련의 활동 능력이다.

기획전략 수립하기

조직인사관리하기

도서관

유관기

관 협력

080101

0417_1

6v3

도서관 유관기관 협력이란 도서관 운영의 효율성을

높이기 위하여 도서관 정책을 분석하고 유관 기관과

협력할 수 있는 능력이다

정책 분석 적용하기

유관기관과 협력하기

독서문

화

프로그

램

계획수

립

080101

0418_1

6v3

독서문화 프로그램 계획수립이란 이용자의 독서교육

에 대한 요구를 충족시키기 위하여 이용자의 요구를

파악하고 프로그램을 개발 한 후 운영계획을 수립하

는 능력이다.

프로그램 요구분석하기

프로그램 설계하기

프로그램 운영계획 수립

하기

독서문

화

프로그

램 운영

080101

0419_1

6v3

독서문화 프로그램 운영이란 이용자의 독서 프로그

램, 문화 프로그램 수요분석을 바탕으로 운영계획을

작성하고, 프로그램과 평가계획을 수립하는 능력이

다.

프로그램진행하기

프로그램평가하기

- 249 -

구분

인지

정의

심동

필수

학습단위요소

필기평가 관

찰,질문지

수행평가

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

모듈

교육과정

선다형

진위형

단답형

서술형

1점 2점 3점 4점 5점

기

본

교

육

신임

사서기본

●

문헌정보 조직, 이용자

정보 서비스, 문헌정보

서비스 마케팅, 문헌정

보 수집 정책 개발, 문

헌정보수집, 도서관 유

관기관 협력, 독서문화

프로그램 계획수립, 독

서문화 프로그램 운영

5문항 □ □ □ □ □

●

(소통, 이미지메이킹, 커

리어로드맵, 청렴교육,

호국보훈, 통일의식, 정

부3.0, 일하는 방식, 준

법의식, 법질서 확립, 국

가안보, 국익, 외국정보

활동 대응, 사회봉사, 민

생현장 체험)

3 과

제□ □ □ □ □

직

무

전

문

도서

관과

저작

권

●도서관 유관기관 협력하



5문항 □ □ □ □ □


기, 정책 분석 적용하기3문항 □ □ □ □ □

6. 제2단계

학업성취도

평가_평가방식

선정(예시)


절차’중 학습목표 영역을 고려한 ‘학업성취도 평가

방식 선정’의 구성요소에 대한 세부사항입니다. 각

항목 및 구성요소를 검토해 보시고 해당되는 부분에

체크(☑)해 주시기 바랍니다.

(* 도출된 필수 학습단위요소 중 ‘( )’부분은 해당

되는 NCS 능력단위 및 능력단위요소가 존재하지 않

아 NCS를 활용하지 않았음)

- 250 -


도서

관통

계활

용기

법

기초

●


구 성과 분석하기(통계



분석)

5문항 □ □ □ □ □

●





연구 성과 분석하기(통

계조사 방법, 도서관 통

계데이터 분석, 조사통

계 분석)

3과

제□ □ □ □ □

도

서

관

통

계

활

용

기

법

심

화

●


구 성과 분석하기(통계



분석)

5문항 □ □ □ □ □

●





연구 성과 분석하기(통

계조사 방법, 도서관 통

계데이터 분석, 조사통

계 분석)

3과

제□ □ □ □ □

직

무

공

통

도서

관

법

령

실

무



(도서관법, 법령 해석)

5문항 □ □ □ □ □



(도서관법, 법제 실무)

5문항 □ □ □ □ □

도서

관의

이해

(비

사

서

직)

● (도서관 이해, 도서관사) 3문항 □ □ □ □ □

●

문헌 정보 보존, 수집자

료 관리하기, 보존하기,

폐기하기, 디지털 아카

이빙, 정책 분석 적용하

기(도서관 용어 해설,

저작권법)

5문항 □ □ □ □ □

- 251 -

평 가시 기

평 가영 역

평 가 문 항

측

정

방

법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

사 전

지 식

1. 나는 ( )에 대한 기본 지식을 가지

고 있다.

5

점

척

도

□ □ □ □ □

2. 나는 ( )과 관련한 새로운 전문지

식과 정보를 가지고 있다.□ □ □ □ □

기 술

3. 나는 ( )과 관련한 기본 기술을 보

유하고 있다.□ □ □ □ □

4. 나는 ( )에 대한 직무 전문성을 보

유하고 있다.□ □ □ □ □

태 도

5. 나는 ( )에 대한 중요성을 인지하고 있다. □ □ □ □ □

6. 나는 ( )과 관련한 업무에 적극적이다. □ □ □ □ □

7. 나는 ( )과 관련된 업무에 대해 전

문가로서 자긍심을 가지고 있다. □ □ □ □ □

사 후

지 식

1. 나는 ( )에 대한 교육내용을 충분

히 습득하였다.

5

점

척

도

□ □ □ □ □

2. 나는 ( )을 통해 새로운 전문지식

및 정보를 습득하였다. □ □ □ □ □

기 술

3. 나는 ( )에 대한 새로운 기술을 습

득하였다. □ □ □ □ □

4. 나는 ( )을 통해 직무 전문성이 향

상되었다.□ □ □ □ □

태 도

5. 나는 ( )에 대한 인식이 높아졌다. □ □ □ □ □

6. 나는 ( ) 관련 업무에 대한 적극성

이 높아졌다.□ □ □ □ □

7. 나는 ( )을 통해 전문가로서의 자

긍심이 향상되었다. □ □ □ □ □

7. 제2단계

학업성취도

평가_정의적

영역 평가지

다음은 제2단계 학업성취도 평가도구 개발 절차의

‘학습목표 진술’에 기반하여 작성된‘정의적 영역

평가지’의 구성요소에 대한 세부사항입니다. 각 항

목에 해당되는 부분에 체크(☑)해 주시기 바랍니다.

- 252 -

평가


측

정

방

법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

현 업

적 용

영 향

현 업 에 서 의

전 이 동 기

1. 내가 본 교육과정에서 배운 지식

과 기술을 활용한다면 업무성과는

향상될 것이라고 생각했다.

5

점

척

도

□ □ □ □ □

2. 나는 본 교육과정을 통해 나의 업

무에서 사용하고자 했던 지식과

기술을 배웠다.

□ □ □ □ □

3. 내가 본 교육과정에서 배운 지식

과 기술은 앞으로 나의 업무와 관

련된 문제를 해결하는데 도움이

될 것으로 생각했다.

□ □ □ □ □

4. 나는 본 교육과정을 통해 습득한

지식과 기술을 나의 업무에 활용

할 수 있다고 생각했다.

□ □ □ □ □

현 업 에 서 의

상 사 지 원

5. 나의 상사는 소속 직원이 교육받

은 것을 직무에 활용하도록 지원

한다.

5

점

척

도

□ □ □ □ □

6. 나의 상사는 소속 직원이 교육받

는 것을 중요하게 생각한다.□ □ □ □ □

7. 나의 상사는 소속 직원이 교육에

서 습득한 것을 직무에 적용하는

방법을 지도해 준다.

□ □ □ □ □

8. 나의 상사는 소속 직원이 교육에

서 습득한 것을 업무에 적용하기

위한 구체적인 목표를 제시한다.

□ □ □ □ □

현 업 에 서 의

동 료 지 원

9. 주위 동료들은 내가 교육과정에서

습득한 것을 현업에 적용하는 것

을 보고 나를 적절히 평가한다.

5

점

척

□ □ □ □ □

8. 제3단계

현업적용도

평가_설문조사

평가지

다음은 제3단계 현업적용도 평가도구 중 ‘설문조사

평가지(예시: ‘도서관 이용자 관리’과정)’의 구성

요소에 대한 세부사항입니다. 각 항목에 해당되는 부

분에 체크(☑)해 주시기 바랍니다.

※ 빨간색으로 작성된 부분은 현업적용도 평가를 실시할 각 교육과정별로 차별적으로 제시될 특화된 항목임을 참고해 주시기 바랍니다.

- 253 -

10. 주위 동료들은 내가 교육과정에

서 습득한 것을 직무에 잘 적용

할 수 있도록 지원과 격려를 해

준다.

도

□ □ □ □ □

11. 주위 동료들은 내가 교육과정에

서 습득한 것을 직무에 적용하는

것에 대해 긍정적인 관심을 가져

준다.

□ □ □ □ □

12. 주위 동료들은 내가 습득한 새로

운 지식과 기술을 직무에 적용하

는 과정에서 생기는 실수는 허용

하지만 잘못된 점은 적절히 지적

해 준다.

□ □ □ □ □

현 업 에 서 의

변 화 가 능 성

1. 내가 속한 조직의 구성원들은 교

육훈련에 대해 많은 가치를 부여

하는 분위기이다.

5

점

척

도

□ □ □ □ □

2. 내가 속한 조직은 업무에 새로운

방법을 시도하는 것을 선호하여

교육받은 것을 스스로 적용해볼

수 있는 재량권이 주어진다.

□ □ □ □ □

3. 내가 속한 조직의 구성원들은 직

무수행을 향상시킬 수 있는 변화

와 혁신하는 것을 높이 평가한다.

□ □ □ □ □

현 업

적 용

활 동

현 업 에 서 의

학 습 요 소 활 용

수 준

4. 본 교육에서 배운 내용을 실무에

효과적으로 활용하고 있다.5

점

척

도

□ □ □ □ □

5. 본 교육에서 교육받은 내용이

실무에 도움이 되었다.□ □ □ □ □

6. 본 교육에서 배운 내용을 실무에

적용하여 활용하지 못하는 이유는

무엇인가?

①조직 문화 ②교육내용과 현업의 불

일치 ③상사의 부정적 인식 ④기타(

)

선

택

형/

주

관

식

□ □ □ □ □


순 위

7. 아래의 교육과목 중, 업무현장에

서 가장 효과적으로 활용하고 있

는 교육과목을 우선 순위대로 표

시해 주시기 바랍니다.

1) 도서관 이용자의 이해

2) 도서관 이용자 상황별 응대서비스

3) 이용자 참고질의와 면담

4) 정보검색기법과 활용

5) 이용자 교육을 위한 강의기법

6) 대인 커뮤니케이션

순

위

형

□ □ □ □ □

- 254 -

7) 현장별 이용자 관리 사례발표

현 업

적 용

결 과

학 습 요 소

적 용 을 통 한

현 업 에 서 의

직 무 역 량 개 발

현 황

8. 본 교육과정의 내용은 나의 직무

역량 개발에 도움이 되었다.

5

점

척

도

□ □ □ □ □

현 업

에 서

의

학 습

요 소

적 용

을

통 한

직 무

역 량

향 상

도

도서관 이용자의

이해

9-1. 나는 본 교육 전보다 (도서관

이용자를 보다 포괄적으로 이해할

수 있다.)

5

점

척

도

□ □ □ □ □

도서관 이용자 상황별

응대서비스


이용자를 상황별로 제대로 응대할

수 있다.)

□ □ □ □ □

이용자 참고질의와 면담

9-3. 나는 본 교육 전보다 (이용자

맞춤형 참고질의와 응답을 효과적

으로 수행할 수 있다.)

□ □ □ □ □

정보검색기법과 활용


업무에 다양한 정보검색기법을 효

과적으로 활용할 수 있다.)

□ □ □ □ □

이용자 교육을 위한

강의기법


교육을 위한 효과적인 강의기법을

구사할 수 있다.)

□ □ □ □ □

대인커뮤니케

이션

9-6. 나는 본 교육 전보다 (대인 커

뮤니케이션이 보다 수월해졌다.)□ □ □ □ □

현장별 이용자 관리

사례발표


이용자를 보다 효율적으로 관리

하고 있다.)

□ □ □ □ □

학 습 요 소

적 용 을 통 한

현 업 에 서 의

업 무 성 과 향 상

현 황

10. 본 교육과정의 내용은 나의 업

무성과 향상에 도움이 되었다.

5

점

척

도

□ □ □ □ □

현 업 도서관 이용자별


이용자들을 다양한 통계분석 기

5

점 □ □ □ □ □

- 255 -

에 서

의

학 습

요 소

적 용

을

통 한

업 무

성 과

향 상

도

통계 분석 향상

법을 활용하여 분석할 수 있다.)

척

도

도서관 이용자 응대

만족도 증진


이용자 응대서비스의 만족도가

증진되었다.)□ □ □ □ □

이용자 참고질의와 면담

기술 향상


참고질의와 면담 기술이 향상되

었다.)□ □ □ □ □

다양한 정보검색

기법 활용

11-4. 나는 본 교육 전보다 (다양한

정보검색기법을 활용할 수 있게

되었다.)

□ □ □ □ □

효과적인 강의기법

활용


교육을 하는데 있어 보다 효과

적인 강의기법 활용할 수 있게

되었다.)

□ □ □ □ □

대인

커뮤니케이션 스킬 향상


이용자 면담에서 대인 커뮤니케

이션 스킬이 향상되었다.)

□ □ □ □ □

이용자 관리 기법 확장


이용자 관리 기법이 확장되었

다.)

□ □ □ □ □

개 선

사 항

업 무 성 과

향 상 에 도 움 이

되 었 던 점

12. 본 교육과정에서 학습한 내용을

업무에 적용하는데 있어 도움이

되었던 점이 있었다면 무엇이었

는지 기술해 주십시오.주

관

식

□ □ □ □ □

업 무 성 과

향 상 을 위 한

개 선 사 항

13. 본 교육과정에서 교육내용의 업

무 적용도를 향상시키기 위해서

개선해야 할 점이 있다면 무엇

인지 기술해 주십시오.

□ □ □ □ □

- 256 -

평 가 항 목 인 터 뷰 문 항

측

정

방

법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

적 용 방 법

및 시 기

1. 교육을 통해 학습한 것을 언제, 어떠한 상황

에서 적용하였습니까?

인

터

뷰

□ □ □ □ □

2. 교육을 통해 학습한 것을 구체적으로 어떻게

적용하였습니까?□ □ □ □ □

교 육 설 계

및

적 용 내 용

3. 교육내용은 현장에서 적용할 수 있는 내용으

로 구성되어 있습니까?□ □ □ □ □

4. 교육 내용 중 현재 직무와의 관련 정도가 높

아서 현업적용에 가장 도움이 되었던 교과

목과 내용은 무엇입니까?

□ □ □ □ □

5. 교육은 현업에 구체적으로 적용할 수 있는

실행방법을 포함하여 구성되었습니까?□ □ □ □ □

6․ 교육을 담당한 교강사의 교육 내용은 현장에

대한 전문성을 포함했습니까?□ □ □ □ □

적 용 환 경

7. 교육에서 학습한 내용을 (예: 장서관리)업무

에 적용하는데 도움이 되었던 환경적 요인

은 무엇입니까?

□ □ □ □ □

8. 교육에서 학습한 내용을 (예: 장서관리)업무

에 적용하는데 방해가 되었던 환경적 요인

은 무엇입니까?

□ □ □ □ □

적 용 성 과

9. 교육에서 학습한 내용은 (예: 장서관리)업무

수행시 조직의 성과에 어떤 측면에서 도움

이 되었습니까?

□ □ □ □ □

10. 본 교육과정을 통해 학습한 지식 및 기술이

조직 (예: 장서관리)의 생산성을 개선하는

데 어떻게 기여하였습니까?

□ □ □ □ □


조직 (예: 장서관리) 업무의 서비스 품질

을 개선하는데 어떻게 기여하였습니까?

□ □ □ □ □


조직 (예: 장서관리)의 업무완료시간을 감

소시키는데 어떻게 기여하였습니까?

□ □ □ □ □

9. 제4단계 성과

평가_성공사례

심층인터뷰 조사

평가지

다음은 제4단계 성과평가 평가도구 중‘성공사례 심

층인터뷰 조사(SCM / FGI) 평가지’의 구성요소에

대한 세부사항입니다. 각 항목에 해당되는 부분에 체

크(☑)해 주시기 바랍니다.

- 257 -

13. 본 교육과정을 통해 학습한 지식과 기술이

조직의 (예: 장서관리) 직무 만족도를 향

상시키는데 어떻게 기여하였습니까?

□ □ □ □ □

14. 본 교육과정을 통해 학습한 지식과 기술이

조직의 (예: 장서관리) 업무에 대한 이용

자 만족도를 향상시키는데 어떻게 기여하

였습니까?

□ □ □ □ □

적 용 사 례

15. 본 교육이 본인의 (예: 장서관리) 직무능력

향상에 도움을 주었던 구체적인 적용사례

가 있습니까?

□ □ □ □ □

16. 본 교육이 본인의 (예: 장서관리) 업무성과

향상에 도움을 주었던 구체적인 적용사례

가 있습니까?

□ □ □ □ □

17. 본 교육을 통해 본인의 (예: 장서관리) 업

무에서 어떠한 측정 가능한 변화(성과)가

있었으며, 이를 통해 얻은 가치있는 결과

는 무엇입니까?

□ □ □ □ □

전 반 적

개 선 사 항

18. 향후 본 교육과정 내용이 성공적인 조직 성

과로 이어지기 위해서는 어떤 점이 더욱

개선되어야 한다고 생각합니까?

□ □ □ □ □

19. 본 교육과정에서 학습한 내용을 직무에 적

용하는데 기여한 우선 순위 및 도움이 되

었던 다른 환경요인이 있다면 무엇입니까?

□ □ □ □ □

- 258 -

평 가 항 목 평 가 문 항측정

방법

전혀

적합

하지

않음

적합

하지

않음

보

통

적합

함

매우

적합

함

1점 2점 3점 4점 5점

생 산 성1. 본 교육과정을 통해 학습한 지식과 기술

을 활용할 때, 조직의 (예시: 장서관리)

생산성이 개선되었다.

5

점

척

도

□ □ □ □ □

품 질2. 본 교육과정을 통해 학습한 지식과 기술


업무의 서비스 품질이 개선되었다.

□ □ □ □ □

완 료 시 간3. 본 교육과정을 통해 학습한 지식과 기술


서비스 제공 완료시간이 개선되었다.

□ □ □ □ □

직 무 만 족4. 본 교육과정을 통해 학습한 지식과 기술


직무 만족도가 향상되었다.

□ □ □ □ □

이 용 자 만

족

5. 본 교육과정을 통해 학습한 지식과 기술


업무에 대한 이용자 만족도가 제고되었

다.

□ □ □ □ □

10. 제4단계 성과

평가_성과인식

도 조사 평가지

다음은 제4단계 성과평가의 평가도구 중‘성과인식도

조사 평가지’의 구성요소에 대한 세부사항입니다. 각

항목에 해당되는 부분에 체크(☑)해 주시기 바랍니다.

2017.2

사서교육훈련

교육성과

평가 매뉴얼

- 261 -

목 차

1. 사서교육훈련 평가개요 및 체계 ································· 263

2. 1단계 만족도 평가 ························································ 272

3. 2단계 학업성취도 평가 ················································ 281

4. 3단계 현업적용도 평가 ················································ 297

5. 4단계 성과 평가 ···························································· 308

[부록] Worksheet 모음집 ················································· 320

- 263 -

1. 사서교육훈련 평가개요 및 체계

1. 국립중앙도서관 사서교육프로그램 평가목적 및 방향

1) 국립중앙도서관 사서교육프로그램 평가목적

교육 프로그램의 지속가능성 및 변경에 대한 근거 제공을 통한 지속적 개선

교육프로그램 성과 평가 확인

교육프로그램 효과성 검증

사서교육훈련 피교육자인 사서의 교육훈련 만족도 증진

궁극적으로 도서관 발전을 선도하는 유능한 인재 양성

2) 국립중앙도서관 사서교육프로그램 新평가체계의 방향성

- 264 -

기준 항목 기준 예시

교육

기간

단기 2일 이하 또는 20시간 미만의 교육도서관 다문화서비스,

병영도서관운영 등

중장기 3일 이상 또는 20시간 이상의 교육KDC 자료분류, 독서지도

심화 등

교육

내용

직무사서직무와 관련한 직무전문,

직무공통, 브랜드교육

도서관과 저작권 ,

도서관문화프로그램 등

리더십

자기계발 및 직원 잠재력 향상을

통하여 도서관 경쟁력을 향상하기

위한 교육

도서관리더(최고경영자),

예비관리자역량

소양

도서관 사서로서 갖추어야 할

봉사정신, 책임의신 함양을 위한

교육

사서의 은퇴설계, 도서관을

바꾸는 15분

교육

대상

신규 8,9급 신규 사서직 공무원 대상 신임사서 기본

재직 기존 사서 대상 신임사서 기본 외의 과정

교육대상, 시기, 내용 등 교육과정 특성을 고려한 교육과정의 유형화

교육과정 유형별 맞춤형 평가도구 개발

평가도구 및 방법의 다양화

Kirkpatrick의 4단계 평가모형 적용 – 1단계(만족도), 2단계(학업성취도),

3단계(현업적용도), 4단계(성과평가)

평가결과 해석 및 활용의 효율성 확보를 위한 가이드라인 제공

2. 국립중앙도서관 사서교육프로그램 유형 분류

교육대상, 교육기간, 교육내용을 기준으로 선정

교육대상(신규과정, 재직과정), 교육내용(직무교육, 리더십교육, 소양교

육), 교육기간(단기, 중장기)로 구분

예)‘도서관 다문화서비스’(단기-직무-재직과정),‘도서관 직원 국외

연구’(장기-소양-재직과정)

- 265 -

평가단계 분류기준 내용

2단계

(학습

성취도)

1. 학습성취도

측정의

필요성

① 교육참여자의 지식, 기술, 태도 변화를 측정하는 것이 교

육목표 달성을 위하여 중요함

② 도서관 직무관련 새로운 지식습득, 학습내용, 세부규정을

학습하는 과정을 고려

2. 학습성취도

측정 가능성

① 교육 참여자의 지식, 기술, 태도 변화를 필기시험, 설문,

수행평가 등의 방법으로 측정 가능함

3단계

(현업

적용도)

1. 현업적용의

가치

① 교육 참여자의 학습내용이 도서관 현업에 적용될 가치가

있음

② 업무 프로세스 개선, 제도개선, 구성원 마인드 개선 등과

같이 조직 역량 강화를 위한 교육과정

③ 새로운 업무 지식, 기술을 현업에 적용하여 현장직무 능력

을 강화시킬 수 있는 교육과정

④ 사서교육훈련원의 교육과정에 대한 중요도 및 외부 관심도

를 고려

2. 현업적용을

고려한

교육과정

개발 여부

① 현업적용이 가능하도록 교육과정이 설계되어 있음

② 교육내용의 특성을 고려하여 평가

③ 교육 참여자의 현업적용 가능성을 제고하기 위하여 과정

내에 실습, 계획서 및 보고서 작성, 발생 가능한 사례 등

을 포함하고 있음

④ 사례중심의 과정, 직무전문 과정, 심화과정을 고려

3. 현업적용도

평가지원

획득 여부

① 현업적용도 평가를 위해서 필요한 인적/물질적 자원을 제


② 사서교육훈련 3단계 평가에 투입될 수 있는 인적/물질적

예산을 고려

③ 현업적용도 평가를 요구받았을 때 교육 참여자가 평가에

적극적으로 참여할 수 있음

4. 현업적용도 ① 현업적용도 평가방법(설문 및 면담)으로 측정 가능함

3. 교육프로그램 평가단계 결정

1) 교육프로그램 평가단계 분류기준

1단계, 2단계, 3단계, 4단계로 선정

선행연구를 통해 고찰한 평가단계별 분류기준을 근거

사서교육프로그램의 교육목적, 비전, 전략목표 등을 반영한 평가단계별

분류기준 개발

- 266 -

측정가능성

② 교육내용의 활용여부를 설문 및 면담 등의 방법으로 측정

할 수 있음

③ 고성과자 파악이 가능한 과정 및 재직자 과정

5. 교육투입의

적절성

① 투자된 비용, 교육생 수, 교육과정의 개설이 지속되었음

② 개설빈도, 교육기간(중장기 과목), 교과목수를 바탕으로

판단

4단계

(성과

기여도)

1. 기관 목표

달성과

관련성

① 교육과정의 기관 전략목표달성과의 관련성

②‘전국 도서관 운영평가’와 관련된 교육과정을 고려

2. 성과기여도

측정지원

획득여부

① 교육참여자 및 소속 도서관에 성과측정을 요청했을 때 평

가에 적극적으로 참여할 수 있음

② 성과기여도 측정을 위해서 필요한 인적/물질적 자원을 제


3. 성과기여도

측정 가능성

① 교육 프로그램의 성과 향상에 대한 기여 정도를 도서관 서

비스 만족도 조사, 교육생 교육성과 인식도 평가 등 객관

적인 방식으로 제시할 수 있음

② ‘전국도서관 운영평가’ 데이터와 연계할 수 있음

③ 기타 객관적인 방법으로 교육 프로그램이 기관의 성과 향

상에 기여한 정도를 제시할 수 있음

구분 과정수 1단계 2단계 3단계 4단계 비고

기본교육신 임 사 서기본

1 1 1 0 0

전문교육

관리역량 2 2 0 2 03단계:도서관리더(중간관리자), 도서관리더(최고경영자)

직무전문 20 20 3 7 32단계:도서관과 저작권, 도서관통계활용기법기초, 도서관 통계활용기법심화

2) 교육프로그램 평가단계 결정

4단계 평가 검토: 전국도서관운영평가지표 고려하여 선택

3단계 평가 검토: 전문교육 과정 중 중장기과정 및 심화과정 중 선택 (관

리역량, 직무전문과정, 브랜드과정 중심)

2단계 평가 검토: 전문교육과정 중 직무전문과정 및 직무공통과정 중 선택

(관리역량, 브랜드과정 제외)

1단계 평가 검토: 모든 과정

- 267 -

3단계: 독서지도심화,, 독서치료심화, 도서관문화프로그램심화, 도서관이용자관리(A), 도서관이용자관리(B), 도서관장서관리(A), 도서관장서관리(B)

4단계:도서관문화프로그램심화, 도서관장서관리(A), 도서관장서관리(B)

직무공통 12 12 1 2 2

2단계:도서관이 이해(비사서직)



직무기타 4 4 0 0 0

브랜드과정 8 8 0 5 0

3단계:통합서지용KORMARC형식(도서)(A),통합서지용K O R M A R C 형 식 ( 도서)(B),DDC자료분류(격년), KDC자료분류

기타교육 6 6 0 0 0

계 5353

(100%)

5(9.4 %)

16(30.2%

)

5(9.4%)

과정

평가단계 평가실시여부2단계 3단계 4단계

평가필요성

평가가능성

현업적용가치


평가지원여부

측정가능성



측정가능성

1 2 3 4

기본교육 신임사서기본 ○ ○ ○ ○

전문교육

관

리

역

량

(2)



3) 교육프로그램 과정별 평가단계 결정7)

7) 2017년(예정) 국립중앙도서관 사서교육문화과 교육프로그램 기준

- 268 -

브

랜

드

과

정

(8)





서)(A)○ ○


서)(B)○ ○

통합서지용KORMARC형식(비

도서)○ ○

DDC자료분류(격년) ○ ○


메타데이터활용 ○

직

무

전

문

(20)





도서관다문화서비스(격년) ○

도서관문화프로그램심화 ○ ○ ○ ○

도서관이용자관리(A) 과정분리 ○ ○ ○ ○

도서관이용자관리(B)

과젱분리○ ○ ○ ○




도서관장애인서비스 ○


도서관통계활용기법기초 ○ ○ ○ ○

도서관통계활용기법심화 ○ ○ ○ ○


동화구연(신규) ○


쉽게배우는서평쓰기심화 ○

어린이·청소년독서프로그램설

계○ ○ ○

직

무

공

통(1

2)

도서관최신동향 ○







도서관홍보(A) ○ ○ ○ ○ ○ ○ ○

도서관홍보(B) ○ ○ ○ ○ ○ ○ ○

- 269 -


사서의은퇴설계(격년) ○

아름다운도서관체험:국내편(서

울)○

직

무

기

타

(4)


도서관자료관리시스템과책이음

운영○

작은도서관자료관리시스템운영 ○


기타교육(6)






공공도서관운영 ○

4. 사서교육프로그램 新평가체계 수립

교육프로그램 유형별 맞춤형 평가도구 적용은 교육과정유형 분류를 1차적

으로 따름

교육프로그램의 구체적인 교육목표와 내용에 따라 각 단계에서의 자료수집

- 270 -

방법을 2차적으로 선택

기본적으로 소양교육/신규대상/단기교육에서는 상대적으로 낮은 수준의 자료

수집을, 직무교육/재직자대상/중장기교육에서는 높은 수준의 자료수집을 적용

5. 사서교육프로그램 평가도구 적용

모든 교육과정에 대해서는 현행과 동일하게 1단계평가를 모두 실시

교육효과 측정을 위하여 사전평가와 사후평가를 실시하는데, 소양교육의

경우에는 사후 평가만 실시

직무교육에 대해서는 1단계 평가와 2단계 평가를 실시. 2단계 평가는 학

습목표 및 학습요소를 고려하여 교과내용 지식을 이해하는 것의 측정 여부

가 중요한 교과목에 대해서는 학업성취도 필기평가를 실시하고, 수행능력

을 평가하는 것이 중요한 경우는 수행평가를 실시하며, 그 이외의 교육과

- 271 -

정에 대해서는 주관적 학업성취도 평가(인식평가)를 실시

3단계평가는 현업적용도를 고려하여 의미 있는 교육과정에 대해서 선택적

으로 실시하며 현업적용도 설문 및 고성과자 대상 면담을 적용

4단계평가는 전국도서관 운영평가지표를 고려하여 선택적으로 실시하며 성

과인식도 설문 및 SCM 조사, ROI평가, 전국도서관운영평가 연계방법을

적용

- 272 -

2. 1단계 만족도 평가

1. 도구개발

도구개발을 위한 일반지침은 다음과 같다.

만족도 평가는 교육과정에 관련된 강사와 교육훈련 환경 시설을 포함하

여 과정의 효과성, 사용매체의 가치, 교수․학습자료 전달의 속도, 교수․학습방법, 행정관련 사항 등에 관한 교육과정 참가자의 의견 또는 신념을

평가하기 위하여 개발함

평가문항은 정량적 측정이 가능하도록 주로 5점 척도로 설계하되, 전반

적인 만족도에 대한 사항은 정성적 방식으로 평가함

교육 전 평가는 집합교육 전체를 대상으로 교육전 교육대상자의 개인특

성, 학습동기 및 기대사항, 학습준비도 등을 조사하여 교육과정 개선 및

교육효과 측정의 기준점으로 활용하고자 함. 또한 교육 만족도 평가 및

현업적용도 평가와 연계분석이 가능하도록 평가도구간의 연계성을 고려

하여 개발함

교육 후 평가는 집합교육 전체를 대상으로 교육효과, 교과편성 및 설계,

교육운영, 교육환경 만족도, 교과목 만족도, 강의 전문성/기술/태도, 교

육전반 만족도 등의 측정을 위하여 개발함

사이버교육 과정을 대상으로 한 교육 후 평가는 교육효과, 교과편성 및

설계, 교육운영, 교육환경 만족도, 강의 전문성/기술/태도, 교육전반 만

족도 등을 측정하기 위하여 개발함

- 273 -

평가영역

평가 항목 평가 문항

전혀아니다

아니다

보통이다

그렇다

매우그렇다

학

습

자

교육참여

목적

본 교육과정에 참여하게 된 동기나 목적은

무엇입니까?

①전문지식 함양 ②업무능력 향상 ③최신

동향 파악 ④교육시간 필요 ⑤기타(

)

선택형

직무 연관성본 교육과정은 내가 수행하고 있는 직무와

관련성이 높다.□ □ □ □ □

학습 준비도

나는 과정 수강전 본 교육과정의 학습내용을

확인해 보았다.□ □ □ □ □

나는 과정 수강전 본 교육과정과 관련한

사회적 이슈나 학습자료 등으로 사전학습

을 진행해 보았다.

□ □ □ □ □

교육 욕구

나는 본 교육과정의 수강을 상당히 희망한다. □ □ □ □ □

나는 본 교육과정의 수강을 능력향상을 위한

좋은 기회로 생각한다.□ □ □ □ □

나는 본 교육에 적극적으로 참여하여 교육

내용을 최대한 업무에 적용하고 싶다.□ □ □ □ □

현업적용

기대감

본 교육과정의 교육내용은 현업에서 활용이

가능할 것으로 기대한다.□ □ □ □ □

역량개발

기대감

본 교육과정의 교육을 통해 교육과정이 목표

로 하는 역량이 향상될 것으로 기대한다.□ □ □ □ □

업무성과

향상 기대감

본 교육과정의 교육을 통해 교육과정이 목표

로 하는 업무성과가 향상될 것으로 기대한

다.

□ □ □ □ □

요구사항

수렴

본 교육과정의 담당자 및 교강사에게 당부하

고 싶은 사항이 있다면 무엇입니까?서술형

A. 집합교육(교육 전 평가)　만족도 평가도구의 개발 사례

목 적

①교육참여 목적, ②직무 연관성, ③학습 준비도, ④교육 욕구, ⑤현업

적용 기대감, ⑥역량개발 기대감, ⑦업무성과 향상 기대감, ⑧요구사

항 등을 측정함

대 상 집합교육(전체)

시 기 매 교과목 교육실시 전

- 274 -

평가영역


전혀아니다

아니다

보통이다

그렇다

매우그렇다

교 육

과 정

교 육 효 과

교육내용에 대한 이해가 교육을 받기 전보다 높아졌

다.□ □ □ □ □

교육내용은 현업에서의 업무수행이나 능력개발에 도움

이 될 것이다.□ □ □ □ □

교 과 편 성

및 설 계

교과목들은 교육목표에 적합하게 편성되었다. □ □ □ □ □

교재는 교육내용을 이해하는데 적절하게 구성되었다. □ □ □ □ □

교육방법(강의, 동영상, 토론 등)은 교육내용을 배우기

위해 효과적이다.□ □ □ □ □

교 육 운 영

전체 교육시간은 교육내용을 이해하기에 적당하였다. □ □ □ □ □

본 교육과정 담당자의 과정 진행(행정지원, 학습안내,

분위기 촉진 등)은 전반적으로 좋았다.□ □ □ □ □

교 육

환 경

교 육 환 경

만 족 도

강의실, 분임실 등 강의 환경 □ □ □ □ □

식당 및 기숙사 등 편의시설 환경 □ □ □ □ □

교육 운영자의 친절도 □ □ □ □ □

교 과

목

및

강 사

교 과 목

만 족 도

해당 교과목은 업무능력 향상이나 자기계발에 도움이

될 것이다. □ □ □ □ □

강 의

전 문 성

강사는 해당과목과 관련된 분야의 전문지식이 풍부하

였다.□ □ □ □ □

B. 집합교육(교육 후 평가) 만족도 평가도구의 개발 사례

목 적

①교육효과, ②교과편성 및 설계, ③교육운영 ④교육환경 만족도, ⑤

교과목 만족도, ⑥강의 전문성/기술/태도, ⑦교육전반 만족도 등을 측

정함

대 상 집합교육(전체)

시 기 매 교과목 교육실시 직후

- 275 -

평 가/ 기 술

/ 태 도

강사는 강의내용을 이해하기 쉽게 전달하였고, 강의

스킬은 우수하였다.□ □ □ □ □

강사는 적극적인 자세로 열의를 가지고 강의를 진

행하였다.□ □ □ □ □

교 육

목 표

학 습 목 표

달 성 도

본 교육과정 이수를 통해 원래 목표로 했던 교육참여

목적을 달성하였다.□ □ □ □ □

교 육

전 반

교 육 전 반

만 족 도

이번 과정은 전체적으로 받을 만한 가치가 있는 교육

이었다.□ □ □ □ □

본 교육을 받고 나신 후 가장 유익했던 부분은 무엇입

니까? (업무 활용이나 능력개발 측면 )서술형

본 교육과정 혹은 사서교육훈련 전반에 대한 건의사항

이나 개선해야 할 점이 있다면 무엇입니까?서술형

- 276 -

영

역평가 항목 평가 문항

전

혀

아

니

다

아

니

다

보

통

이

다

그

렇

다

매

우

그

렇

다

교

육

과

정

교육효과

교육내용에 대한 이해가 교육을 받기 전

보다 높아졌다.□ □ □ □ □

교육내용은 현업에서의 업무수행이나 능

력개발에 도움이 될 것이다.□ □ □ □ □

교과편성

및 설계

교육내용 선정 및 구성이 적절하였다. □ □ □ □ □

교육내용의 난이도는 적절하였다. □ □ □ □ □

교육방법(강의, 동영상, 애니메이션, 그

래프 등)은 교육내용을 배우기 위해 효과

적이다.

□ □ □ □ □

교육운영

전체 교육시간 및 학습량은 교육내용을

이해하기에 적당하였다.□ □ □ □ □

본 교육과정은 학습에 참여하는데 불편

함 없이 운영되었다.□ □ □ □ □

본 교육과정의 피드백(메일, 질의 응답)

및 관련자료 제공은 적절하였다.□ □ □ □ □

교

육

환

경

교육환경

만족도

국립중앙도서관 사서교육훈련 사이버교

육 홈페이지 접속이 원활하였다.□ □ □ □ □

본 교육의 학습과정과 학습진도 체크가

원활하였다.□ □ □ □ □

본 교육의 화면 구성 및 조작의 편의성

은 학습에 몰입하는데 적절하였다.□ □ □ □ □

C. 사이버교육(교육 후 평가) 만족도 평가도구의 개발 사례

목 적①교육효과, ②교과편성 및 설계, ③교육운영 ④교육환경 만족도, ⑤

강의 전문성/기술/태도, ⑥교육전반 만족도 등을 측정함

대 상 사이버 교육과정(전체)

시 기 매 교과목 교육 이수 직후

- 277 -

강

사

평

가

강의

전문성

/ 기술

/ 태도

강사는 해당과목과 관련된 분야의 전문

지식이 풍부하였다.□ □ □ □ □

강사는 강의내용을 이해하기 쉽게 전달

하였고, 강의 스킬은 우수하였다.□ □ □ □ □

교

육

목

표

학 습 목 표

달 성 도

본 교육과정 이수를 통해 원래 목표로 했던 교육

참여 목적을 달성하였다.□ □ □ □ □

교

육

전

반

교육전반

만족도

이번 과정은 전체적으로 받을 만한 가치

가 있는 교육이었다.□ □ □ □ □

본 교육을 받고 나신 후 가장 유익했던

부분은 무엇입니까? (업무 활용이나 능

력개발 측면 )

본 교육의 과정 운영 및 교육시스템과

관련하여 건의사항이나 개선해야 할 점

이 있다면 무엇입니까?

- 278 -

2. 평가실시

만족도 평가는 교육을 통하여 얻고자 하는 요소가 무엇인지를 명확히 하여 평

가결과가 교육프로그램의 운영에 피드백을 줄 수 있어야 한다.

A. 교육 전 평가

설문조사는 교육 시작 전에 실시

설문을 배포하기 전에 설문의 목적이 교육생의 학습 목표 및 기대감 조

사를 위한 것임을 설명

설문 작성에 필요한 충분한 시간을 주되, 작성 시간을 사전에 설정해두

고 고지한 후 실시

설문조사로 인한 교육생의 부담감을 가중시키지 않도록 유의

교육과정의 교과목 별로 평가결과가 요구된다면 평가 설문을 제작하여

각 교과목 별로 교육 시작 전에 평가함

B. 교육 후 평가

교육 종료 직후 설문을 실시

설문을 배포하기 전에 과정 전체를 리뷰하고 의미를 생각할 수 있는 시

간을 주고, 설문의 목적을 설명하여 차분한 분위기 속에 설문이 작성되

도록 함

설문 작성에 필요한 충분한 시간을 주되, 작성 시간을 사전에 설정해두

고 고지한 후 실시

설문조사로 인한 교육생의 부담감을 가중시키지 않도록 유의함

교육과정의 교과목 별로 평가결과가 요구된다면 평가 설문을 제작하여

각 교과목 별로 교육 종료 시마다 평가함

- 279 -

3. 평가분석

1) 만족도 결과분석

1단계 평가(만족도) 문항은 대부분 정량적 측정이 가능하도록 5점 척도로 설

계되었으며, 전반적인 만족도에 대한 사항만이 정성적 평가문항으로 설계되었

다. 결과분석을 위한 일반지침은 다음과 같다.

보다 용이한 정성평가가 가능하기 위하여 온라인 평가사용

간단한 통계기법(예: Excel)이나 분석방법(평균 및 표준편차)을 사용

평가결과분석은 각 영역별, 문항별 만족도 및 전체만족도를 평가

각 영역별 만족도가 가장 높은 과정 및 낮은 과정의 편차를 도출

평가결과의 분석을 위하여 그래프를 활용

온라인 교육에 대한 분석을 별도로 실시

1단계 평가결과를 분석하기 위하여 다음과 같이 Excel를 활용하여, 평균 및

표준편차값을 도출할 수 있다. 다음은 Excel을 활용한 수집된 설문자료 입력화

면 예시이다. 만족도 설문의 입력은 설문지 문항 순서에 따라 입력하여 각 교

육대상자의 응답이 한 줄에 입력되도록 정리한다.

- 280 -

주관식 문항은 응답을 만족도 영역(교육과정, 교육환경, 교과목 및 강사평가,

교육전반)에 따라 범주화하여 분석한다. 아래는 영역별 만족도 평가의 평균값

을 산출한 예시이다.

구분

교육과정 만족도

평균

교육환경만족도

평균교육

효과

교과편성

및 설계

교육

운영

강의

환경

편의

시설친절도

기본교육 4.3 4.6 4.7 4.53 4.3 4.4 4.3 4.33

전문교육 4.5 4.3 4.2 4.33 4.2 4.3 4.2 4.23

기타교육 4.4 4.5 4.5 4.46 4.3 4.5 4.3 4.37

평균 4.4 4.5 4.47 4.46 4.27 4.4 4.27 4.31

2) 결과활용

매년 추이를 분석하여, 만족도가 낮은 과정의 항목을 분석하여 차기년도

교육과정 운영에 반영하여, 만족도가 가장 높은 과정과 낮은 과정 사이

의 편차를 감소시켜야 함

동일 과정을 동일 교강사가 운영할 경우, 만족도가 낮은 과정은 교강사

교체를 고려

교육환경에 대한 부분은 학급당 구성원 수를 줄이거나, 환경 개선방안을

제시

교육과정 만족도에 대한 부분은 교과편성 및 설계, 교육시간, 교육내용

을 고려하여 차기년도 교육과정에 반영

- 281 -

3. 2단계 학업성취도 평가

1. 도구개발


학업성취도 평가는 교육대상자가 학습목표를 어느 정도 달성했는지를 평

가하기 위한 것으로 참가자의 지식, 기술, 태도 등의 변화 측정을 목적

으로 개발함

사서교육훈련 과정의 교육여건 및 교육과정의 중요성을 고려하여 다음

유형(1~3)을 고려하여 평가도구를 개발할 수 있음

구분 유형 1 유형 2 유형 3

평가

방법사후평가만 실시

동일문항으로

사전/사후 평가 실시

동형문항으로

사전/사후 평가 실시

평가

시기교육과정 실시 후 교육과정 실시 전/후 교육과정 실시 전/후

진단

방법

사후점수로

교육과정 효과성

평가

사전/사후 향상된

점수로 교육과정

효과성 평가

사전/사후 향상된

점수로 교육과정

효과성 평가

학업성취도 평가는 각 과정마다 문항이 상이하기 때문에 공통문항을 설

계하는 것은 현실적으로 어려워 과정별 문항을 별도로 개발하여야 함.

따라서 본 매뉴얼에서는 도구개발을 위한 가이드라인을 제시함

학업성취도 평가도구 개발을 위한 단계는 ①학습목표 진술, ②필수학습

요소 작성, ③학업성취도 측정방식 선정, ④평가문항(필기평가, 관찰, 질

문지, 수행평가 등) 개발 등의 과정으로 구성됨

- 282 -

① 학습목표 진술

학업성취도 평가대상 과정에 대하여 학습목표 진술기준에 의거하여 인

지·심동·정의 영역으로 구분하여 학습목표를 진술함

인지적 영역지식, 이해, 적용, 분석, 종합, 평가와 관련 있는 영역을

다루는 학습목표를 중심으로 진술

심동적 영역

특정 업무에 대한 수용능력을 말하며, 반사적 운동,

기초적 운동, 운동지각능력, 신체적 능력 등에 해당되는

학습목표를 중심으로 진술

정의적 영역수용, 반응, 가치화, 조직화, 인격화 등과 같은 행동으로

구분되는 영역을 다루는 학습목표를 중심으로 진술

② 필수 학습단위요소 작성

해당 교육과정 각 교과별로 교육대상자가 반드시 학습해야 할 주제를 의

미하며, 학습성취도 평가를 위한 기본 단위로 활용이 가능함

필수 학습단위요소는 가능한 국가직무능력표준(NCS)‘문헌정보관리’

직무의 능력단위 및 능력단위요소로부터 필수학습요소를 도출함

③ 학업성취도 측정방식 선정

해당 교육과정의 학습목표 영역을 분석하여 인지적, 정의적, 심동적 영

역으로 구분하여 가장 적합한 측정방식을 선정함. 주로 인지적 영역은

지필평가, 심동적 영역은 수행평가, 정의적 영역은 관찰 및 질문지 평가

를 실시함

예를 들어, 해당 교육과정의 학습 목표가 모두 인지적 영역에 속한다면

평가방법으로 지필평가를 실시함

필수 학습단위요소의 수준에 따라서 평가문항의 수를 결정할 수 있음

④ 평가문항의 개발

학습결과를 정확히 측정하기 위해서 사전-사후 테스트의 검사내용이 유

사하고, 문항의 난이도, 문항 수, 검사의 평균과 표준편차가 서로 같아

질 수 있도록 동형문항을 개발해야 함

- 283 -

1 . 평 가 하 는 내 용 을 동 일 하 게 구 성 2 . 문 항 의 난 이 도 를 유 사 하 게 구 성3 . 두 문 항 의 문 항 수 를 동 일 하 게 구 성

※동형문항 작성 지침

문항 난이도(P)

문항난이도는 문항의 어렵고 쉬운 정도를 나타내는 지수(P)로서 전체 교육

생중 정답을 한 학생의 비율을 의미함

난이도지수는 절대적 기준은 없으나 0.3 미만이면 매우 어려운 문항, 0.3

이상 0.8 미만이면 적절한 문항, 0.8 이상이면 매우 쉬운 문항으로 평가함

문항 난이도지수(P) = 정답자수 / 교육생수

문항유형별 난이도 적정수준 : 진위형 (0.85), 선다형(0.74), 그 외

유형(0.50)

문항 변별도(D)

문항이 교육생의 능력을 변별하는 정도를 나타내는 지수로 평가총점을 기

준으로 상위능력 집단과 하위능력 집단간의 정답률의 차이로써 산출

문항변별도(D) =

(상위능력집단의 정답자수 - 하위능력집단의 정답자수)/

각 집단의 교육생수

변별도의 적정수준 : 양호(0.40이상), 비교적 양호(0.20~0.39),

수정필요(0.00~0.19), 전면개선(음수)

※평가문항 난이도 및 변별도 조정

수행평가를 통하여 심동적 영역의 평가를 수행하고자 할 때는 다음의 평

가절차를 고려하여 ①해당 교육과정에 대한 이해도, ②내용의 체계성,

③이론적 배경과 논리적 분석도, ④창의성, ⑤실무적용의 실용도 등 5개

- 284 -

영역에 대한 평가문항을 개발하여 평가함

평가 영역 평가 문항

교육과정에 대한 이해도 과정의 학습내용 인지정도

내용의 체계성 과제결과물의 논리성 및 통일성

이론적 배경과 논리적 분석도 과제결과물의 완전성

창의성 과제결과물의 독창성과 새로운 내용 포함여부

실무적용의 실용도 과제결과물의 실무적용도

- 285 -

구분 인

지

정

의

심


모듈 교육과정

기본

교육

신임사

서

기본

●1-1) 신속한 조직적응과 직무수행에 필요한 사서 전문역량

을 제대로 이해하고 설명할 수 있다.

● 1-2) 신임 사서공무원으로서 갖추어야 할 올바른 공직관

구 분 평 가 지 개 발 방 법 질 문 예 시

선 다 형

선 택 형 문 항 으 로 , 2개 이

상 의 답 지 가 부 여 되 어 그

중 적 절 한 답 지 를 선 택 하

는 방 법

다 음 D D C 제 23판 의 분 류 법 호 와 주 제 의 연 결 이 옳 지

않 은 것 은 ?

A . 영 국 문 학 전 집 820 .8

B . 동 물 사 육 학 총 서 636 .08

C . 경 영 학 총 서 658

D . 정 치 철 학 사 전 320 .01

진 위 형

문 항 을 제 시 하 고 거 기 에

대 해 옳 고 그 름 을 결 정 하

는 방 법

RD A의 내 용 유 형 은 저 작 을 표 현 하 는 커 뮤 니 케 이 션 의

유 형 을 지 칭 한 다 (T/F )

연 결 형

문 제 군 과 답 지 군 을 배 열

하 여 문 제 군 질 문 에 대 한

답 을 답 지 군 에 서 찾 아 연

결 하 는 방 법

이 차 문 헌 을 적 절 하 게 연 결 하 시 오

A . 자 료 식 별 을 위 해 서 지 사 항 을 1 . 편 람

체 계 적 으 로 편 성 한 것

B . 전 문 사 항 을 간 결 하 게 설 명 한 책 2 . 연 감

C . 매 년 1회 지 속 적 으 로 발 행 되 는

간 행 물 3 . 서 지

단 답 형

간 단 한 단 어 나 기 호 로 빈

칸 채 우 기 또 는 문 장 완 성

형 으 로 응 답 하 는 방 법

선 취 권 확 보 와 연 구 성 과 의 신 속 한 공 표 를 목 적 으 로

논 문 을 학 술 지 에 발 표 하 기 전 에 간 단 히 투 고 하 는 2

차 정 보 원 (레 터 )

※인지적 영역 지필검사용 평가문항의 평가방법별 개발 예시

A. 학습목표의 진술 사례

학습목표가 인지적· 심동적·정의적 영역 중 어디에 해당되는지 체크한 후

과정별 학습목표를 진술한다. 인지적 영역은 지필평가, 심동적 영역은 수행평

가, 정의적 영역은 관찰 및 질문지 평가를 주로 실시함

- 286 -

및 국가관을 확립하기 위한 동기를 부여하고 문화를

공감할 수 있다.

직무

전문

도서관

과

저작권

●2-1) 저작권과 저작권법에 대한 기본지식 등 도서관에서의 저

작권 관련 주요 업무 지식을 숙지하고 설명할 수 있다.

●2-2) 유형별 저작권 실무 사례를 숙지하고, 디지털 환경에서

의 도서관서비스와 저작권 관리 업무에 적용할 수 있다.

도서관

통계활

용기법

기초

●3-1) 통계의 기초개념 및 통계 자료에 대해 제대로 이해하

고 설명할 수 있다.

●3-2) 도서관의 실무에 기초 통계자료 분석 및 실습을 적용

할 수 있다.

도서관

통계활

용기법

심화

●4-1) 통계의 심화개념 및 통계 분석기법에 대해 제대로 이

해하고 설명할 수 있다.

●4-2) 도서관에서 필요한 통계자료분석 실습 및 사례학습을

통해 통계활용 기법을 숙지하고, 도서관 업무에 적절

하게 활용할 수 있다.

직무

공통

도서관

법령실

무

●5-1) 도서관 관련 법령 입안과 법령 해석에 대한 기초 지

식을 습득하고 설명할 수 있다.

●5-2) 도서관법 등 도서관과 관련된 법령에 대한 유형별 법

률 적용사례를 숙지하고 이를 설명할 수 있다.

도서관의

이해

(비사서직)

●6-1) 도서관의 철학, 역사 등 관련 기초이론을 습득하고

공감대를 형성하였다.

●6-2) 도서관 업무 관련 용어 및 기초지식을 숙지하고 이해


구분 교육과정 학습목표 진술 필수 학습단위요소

기본

교육

신임

사서

기본

1-1) 신속한 조직적응과 직무수행에

필요한 사서 전문역량을 제대

로 이해하고 설명할 수 있다.

문헌정보 조직, 이용자 정보 서비스, 문

헌정보 서비스 마케팅, 문헌정보 수집 정

책 개발, 문헌정보수집, 도서관 유관기관

협력, 독서문화 프로그램 계획수립, 독서

문화 프로그램 운영

1-2) 신임 사서공무원으로서 갖추어

야 할 올바른 공직관 및 국가

관을 확립하기 위한 동기를 부

여하고 문화를 공감할 수 있다.

(소통, 이미지메이킹, 커리어로드맵, 청렴

교육, 호국보훈, 통일의식, 정부3.0, 일하

는 방식, 준법의식, 법질서 확립, 국가안

보, 국익, 외국정보활동 대응, 사회봉사,

민생현장 체험)

B. 필수 학습단위요소 작성 사례

- 287 -

직무

전문

도서관

과

저작권

2-1) 저작권과 저작권법에 대한 기

본지식 등 도서관에서의 저작

권 관련 주요 업무 지식을 숙

지하고 설명할 수 있다.

도서관 유관기관 협력하기, 정책 분석 적

용하기(저작권법, 저작권 실무)

2-2) 유형별 저작권 실무 사례를 숙

지하고, 디지털 환경에서의 도

서관서비스와 저작권 관리 업

무에 적용할 수 있다.


용하기(저작권법, 저작권 실무)

도서관

통계활

용기법

기초

3-1) 통계의 기초개념 및 통계 자료

에 대해 제대로 이해하고 설명

할 수 있다.

문헌정보 이용 분석, 연구 성과 분석하기

(통계조사 방법, 도서관 통계데이터 분

석, 조사통계 분석)

3-2) 도서관의 실무에 기초 통계자

료 분석 및 실습을 적용할 수

있다.

문헌정보 이용 분석, 문헌정보 이용 평가

하기, 시설 이용 평가하기, 프로그램 운

영 평가하기, 연구 성과 분석하기(통계조

사 방법, 도서관 통계데이터 분석, 조사

통계 분석)

도서관

통계활

용기법

심화

4-1) 통계의 심화개념 및 통계 분석

기법에 대해 제대로 이해하고


문헌정보 이용 분석, 연구 성과 분석하기

(통계조사 방법, 도서관 통계데이터 분

석, 조사통계 분석)

4-2) 도서관에서 필요한 통계자료분

석 실습 및 사례학습을 통해

통계활용 기법을 숙지하고, 도

서관 업무에 적절하게 활용할

수 있다.

문헌정보 이용 분석, 문헌정보 이용 평가

하기, 시설 이용 평가하기, 프로그램 운

영 평가하기, 연구 성과 분석하기(통계조

사 방법, 도서관 통계데이터 분석, 조사

통계 분석)

직무

공통

도서관

법령실

무

5-1) 도서관 관련 법령 입안과 법령

해석에 대한 기초 지식을 습득



용하기(도서관법, 법령 해석)

5-2) 도서관법 등 도서관과 관련된 법

령에 대한 유형별 법률 적용사례

를 숙지하고이를 설명할 수 있다.


용하기(도서관법, 법제 실무)

도서관

의

이해

(비사서

직)

6-1) 도서관의 철학, 역사 등 관련

기초이론을 습득하고 공감대를

형성하였다.

(도서관 이해, 도서관사)

6-2) 도서관 업무 관련 용어 및 기

초지식을 숙지하고 이해하고


문헌 정보 보존, 수집자료 관리하기, 보존하

기, 폐기하기, 디지털 아카이빙, 정책 분석

적용하기(도서관 용어 해설, 저작권법)

- 288 -

구분

인지

정의


필기평가 관찰

·질문지

수행평가모

듈교육과정


기

본

교

육

신임

사서

기본

●

문헌정보 조직, 이용자 정보 서비스, 문헌

정보 서비스 마케팅, 문헌정보 수집 정책

개발, 문헌정보수집, 도서관 유관기관 협

력, 독서문화 프로그램 계획수립, 독서문화

프로그램 운영

5문항

●

(소통, 이미지메이킹, 커리어로드맵, 청렴교

육, 호국보훈, 통일의식, 정부3.0, 일하는 방

식, 준법의식, 법질서 확립, 국가안보, 국익,

외국정보활동 대응, 사회봉사, 민생현장 체험)

3과제

직

무

전

문

도서관

과

저작권

●도서관 유관기관 협력하기, 정책 분석 적

용하기(저작권법, 저작권 실무)5문항

●도서관 유관기관 협력하기, 정책 분석 적

용하기(저작권법, 저작권 실무)3문항

도서관

통계활

용기법

기초

●문헌정보 이용 분석, 연구 성과 분석하기

(통계조사 방법, 도서관 통계데이터 분석,


5문항

●

문헌정보 이용 분석, 문헌정보 이용 평가하

기, 시설 이용 평가하기, 프로그램 운영 평

가하기, 연구 성과 분석하기(통계조사 방법,

도서관 통계데이터 분석, 조사통계 분석)

3과제

도서관

통계활

용기법

심화

●문헌정보 이용 분석, 연구 성과 분석하기

(통계조사 방법, 도서관 통계데이터 분석,


5문항

●

문헌정보 이용 분석, 문헌정보 이용 평가하

기, 시설 이용 평가하기, 프로그램 운영 평

가하기, 연구 성과 분석하기(통계조사 방법,

도서관 통계데이터 분석, 조사통계 분석)

3과제

직

무

공

통

도서관

법령

실무

●도서관 유관기관 협력하기, 정책 분석 적용

하기(도서관법, 법령 해석)5문항

●도서관 유관기관 협력하기, 정책 분석 적용

하기(도서관법, 법제 실무)5문항

도서관의

이해

(비사서직)

● (도서관 이해, 도서관사) 3문항

●문헌 정보 보존, 수집자료 관리하기, 보존

하기, 폐기하기, 디지털 아카이빙, 정책 분

석 적용하기(도서관 용어 해설, 저작권법)

5문항

C. 학업성취도 측정방식 선정 사례

- 289 -

필수 학습단위요소 사전(A형) 사후(B형)

영역 측정 방식다음 중 이용자 정보서비스

참고질문의 종류가 아닌 것

은? (1점)

① 지시형 질문

② 즉답형 질문

③ 조사형 질문

④ 탐색형 질문

다음 중 이용자 정보서비스

참고질문 유형의 형성단계가

아닌 것은? (1점)

① 내면적 요구

② 의식적 요구

③ 표현된 요구

④ 질의된 요구

인지적 선다형

문헌정보 조직, 이용자 정보서

비스, 문헌정보 서비스 마케팅,

문헌정보 수집 정책 개발, 문헌

정보수집, 도서관 유관기관 협

력, 독서문화 프로그램 계획수

립, 독서문화 프로그램 운영

영역 측정 방식 저작물 등을 식별하기 위한

정보, 저작권, 그 밖에 이 법

에 따라 보호되는 권리를 가

진 자를 식별하기 위한 정보,

저작물 등의 이용 방법 및 조

건에 관한 정보나 그 정보를

나타내는 숫자 또는 부호를

무엇이라고 합니까?

(3점)

(권리관리정보)

도서관등은 저작권법의 규정

에 따라 디지털 형태의 도서

등을 복제하는 경우 및 도서

등을 다른 도서관등의 안에서

열람할 수 있도록 복제하거나

전송하는 경우에는 문화체육

관광부장관이 정하여 고시하

는 기준에 의한 ( )을 당해

저작재산권자에게 지급하여야

한다. 빈칸에 들어갈 용어는

무엇입니까?

(3점)

(보상금)

인지적 단답형

도서관 유관기관 협력하기, 정

책 분석 적용하기(저작권법,

저작권 실무)

D. 학업성취도 사전-사후 평가도구(인지적 영역)의 개발 사례

- 290 -

평가시기

평가영역

평가 문항

전혀아니다

아니다

보통이다

그렇다

매우그렇다

사전

지식

나는 ( )에 대한 기본 지식을 가지고 있다. □ □ □ □ □

나는 ( )과 관련한 새로운 전문지식과 정보를

가지고 있다.□ □ □ □ □

기술나는 ( )과 관련한 기본 기술을 보유하고 있다. □ □ □ □ □

나는 ( )에 대한 직무 전문성을 보유하고 있다. □ □ □ □ □

태도

나는 ( )에 대한 중요성을 인지하고 있다. □ □ □ □ □

나는 ( )과 관련한 업무에 적극적이다. □ □ □ □ □

나는 ( )과 관련된 업무에 대해 전문가로서 자

긍심을 가지고 있다. □ □ □ □ □

사후

지식

나는 ( )에 대한 교육내용을 충분히 습득하였다. □ □ □ □ □

나는 ( )을 통해 새로운 전문지식 및 정보를 습

득하였다. □ □ □ □ □

기술나는 ( )에 대한 새로운 기술을 습득하였다. □ □ □ □ □

나는 ( )을 통해 직무 전문성이 향상되었다. □ □ □ □ □

태도

나는 ( )에 대한 인식이 높아졌다. □ □ □ □ □

나는 ( ) 관련 업무에 대한 적극성이 높아졌다. □ □ □ □ □

나는 ( )을 통해 전문가로서의 자긍심이 향상되

었다. □ □ □ □ □

E. 학업성취도 평가도구(정의적 영역 :　공통문항)의 개발 사례

- 291 -

2. 평가실시

인지적, 정의적, 심동적 영역으로 나누어 교육 프로그램 참가자의 지식, 기술

의 증가 혹은 태도의 변화를 측정하여 교육의 효과성을 측정함. 학습평가를

하는 목적별로 준비된 평가도구를 이용하여 평가를 실시한다.

평가실행 전 단계

사서교육훈련 과정의 교육여건 및 교육과정의 중요성을 고려하여 과정

별로 사전에 유형(1~3)을 선택하여 실시 계획을 구성함

평가실시 전에 교육 참가자에게 교육프로그램의 목적, 구성내용, 방법과

함께 평가의 방법에 대한 사전 안내를 실시함. 이때 평가의 구성요소,

평가방법, 평가시점 등도 소개함

교육 프로그램 교육과정 가운데 학업성취도 평가를 실시하는 교과목은

강의 시작 전에 평가의 목적과 방법을 설명하여 교육생으로 하여금 평

가과정을 잘 준비하도록 유도함

사전-사후 평가를 실시하는 과정은 사전에 교육 참가자에게 이를 설명

하도록 함

평가의 기준을 명확히 하여 서술형과 단답형의 평가문제, 수행평가 채점

기준에 있어 신뢰도를 확보하도록 함

평가실행 중 단계

시험 시간을 준수함. 종료 전에 예령을 하고 시험시간을 명확히 제시함

부정행위가 발생하기 않도록 주의함

답안지를 먼저 배포하고 시험지는 나중에 배포함

종료 시에는 교육 참가자가 시험지와 답안지를 모두 제출하도록 함

시험 시 질문이 있을 때 질문의 성격을 확인한 후 질문에 답함

평가 시 기록을 남겨두고 추후 평가 실행에 참고하도록 함

- 292 -

평가실행 후 단계

교수자가 미리 작성해둔 채점기준과 정답표에 의하여 채점을 실시한다.

3. 평가 분석

2단계 학업성취도 평가는 학습자가 학습목표를 어느 정도 달성했는지를 평가

하기 위한 것으로 참가자의 지식, 기술, 태도 등에 대한 변화를 측정한다. 2

단계 평가는 과정에 따라 필기평가, 설문 및 수행평가를 활용한다.

1) 필기평가 분석

필기평가는 기초통계분석을 활용하여 분석하며 다음의 지침을 활용한다.

자료입력

Excel을 이용하여 정답 및 오답을 입력

정답은 1, 오답을 0으로 입력

문항별 점수를 합산(100점 만점)하여 개인별 총점을 계산

평균 및 표준편차 산출을 활용한다.

평균이 높을수록 교육생들의 학습도가 높음을 의미

표준편차가 클수록 교육생들 간의 학습에 편차가 크다는 것을 의미

문항적절성 검토 - 문항난이도

각 문항별로 전체 응답자들의 정답비율을 산출

정답비율이 높을수록 쉬운 문항을 의미

적정난이도 0.25-0.75

- 293 -

문항적절성 검토 - 문항변별도

각 문항과 총점간의 상관을 구함

문항변별지수는 –1.0에서 +1.0 사이의 값을 가짐

값이 1.0에 가까울수록 변별력이 높은 문항을 의미함

일반적으로 규준 참조검사에서는 문항변별지수가 적어도 .3 이상이 되는

것이 바람직함

Excel의 “CORREL함수”활용(함수식예 =CORREL(B2:B6. H2:H6)

다음은 Excel을 활용한 학업성취도 필기평가 입력 및 기초통계분석화면 예시

이다. 즉, Q1과 Q3는 난이도가 낮으며, Q5의 경우는 난이도가 높은 문항을

의미하며, Q3, Q4, Q5는 문항변별력이 낮다. 예를 들어, Q5는 응답자 총점

이 높은 정답자의 정답률이 낮으므로 문항변별력이 낮은 것을 알 수 있다.

2) 설문지 분석

설문을 기반으로 한 정의적 영역은 사전 및 사후평가로 이루어진다. 이에 사

전 및 사후평가의 비교를 통해 학업성취도의 향상을 측정한다. 설문분석을 위

한 가이드라인은 다음과 같다.

- 294 -

설문분석

보다 용이한 정성평가가 가능하기 위하여 온라인 평가 사용


평가결과분석은 각 과목별, 영역별, 문항별 학업성취도 및 전체 학업성

취도 평가

각 영역별 학업성취도가 가장 높은 과정 및 낮은 과정의 편차를 도출


아래는 응답자별로 학업성취도 설문결과를 입력 분석한 예시이다. 아래와 같

이, 기술항목은 지식 및 태도와 비교하여 학업성취도가 높게 나타났으며, 태

도항목에 대한 학업성취도 값은 응답자 간 표준편차가 높게 나타난 것을 알

수 있다.

설문을 통한 정의적 평가는 사전·사후평가로 이루어지며, 이를 통해 학업성

취도에 대한 인지가 얼마나 향상되었는지를 측정한다. 이에 대한 분석방법을

다음과 같다.

- 295 -

사전-사후 분석

사전점수와 사후점수를 다른 열에 입력

사후점수평균 및 사전점수평균간의 차이를 산출하여 학업성취도 향상정

도를 측정

사전, 사후 평균간 차이의 유의도를 검증하기 위하여 엑셀의 TTEST를 활용

유의도(TTEST)값이 0.05보다 작으면 통계적으로 유의미함을 의미

과정별, 영역별, 항목별 사전사후 비교가 가능

시계열 분석을 통해 학업성취도의 향상정도를 측정할 수 있음

다음은 사전 및 사후의 학업성취도 향상정도를 입력·분석한 예시이다. 사전·

사후 간 평균값은 사후점수평균에서 사전점수평균을 뺀 값(수식예=C11-B11)

이며, 사전·사후 평균 간의 유의도는 2개 집단의 값을 비교하는 T-Test를

활용하기 위하여 Excel의 TTEST를 사용한다.

유의도 검증 함수식은 사전집단값(B2:B10), 사후집단값(C2:C10), 단측분

포(단측분포는 1, 양측분포는2), 대응표본값(2개 집단의 사전, 사후 검사 시,

항상1)을 입력한다. 아래 예와 같이 0.05미만으로 유의도 검증값이 나온 경우

통계적으로 유의하다고 해석할 수 있다.

- 296 -

3) 결과 활용

2단계 필기평가 결과는 학습평가 도구 개선 및 과정설계 변경에 반영

학습평가 도구 개선을 위해서는 필기평가 문항의 난이도가 지나치게 높

거나 낮은 문항을 수정하며, 문항의 변별도가 낮은 문항은 정답을 수정

하거나 다른 문항으로 수정

정의적, 심동적, 인지적 영역을 주기적으로 검토하여 학업성취도 향상을

위하여 적절하게 평가방법을 수정

학업성취도가 낮게 나온 영역에 대해서는 교수문제를 분석하고, 다음차

시교육에 집중 교육할 수 있도록 교육내용을 보완

과정설계의 변경을 위해서는 교육생을 대상으로 면담을 통해 학습평가가

낮은 원인을 탐색하고, 탐색된 원인을 바탕으로 교육과정 설계 및 운영

에 반영

사전-사후평가의 격차가 큰 과정의 경우, 학습목표 및 필수 학습단위요

소를 수정하여 사전-사후격차를 감소

교강사에게 학업성취도 평가결과를 전달하여 차기교육과정 운영에 반영

하거나 교육과정 개선방안 도출을 요구

- 297 -

4. 3단계 현업적용도 평가

1. 도구개발


현업적용도 평가도구는 교육대상자가 교육훈련 중에 습득한 지식, 기술,

태도를 도서관 직무현장에 효과적으로 적용하는 정도를 측정을 목적으로

개발함

사서교육훈련 과정의 교육여건 및 교육과정의 중요성을 고려하여 다음

유형(1~3)별로 고려하여 평가도구를 개발할 수 있음

구분 유형 1 유형 2 유형 3

평가

방법

・현업적용도

평가도구 공통항목

・현업적용도


・현업적용 영향요인

평가도구

・현업적용도


・현업적용 영향요인

평가도구

・교육과정별 맞춤형

평가도구

평가

시기

・교육과정 수료 후

3~6개월


3~6개월


3~6개월

진단방

법

・일반적 현업적용도

수준을 평가


수준을 평가

・현업적용

영향요인을 분석


수준을 평가

・현업적용

영향요인을 분석

・구체적 현업적용도

수준을 평가

현업적용도 평가도구

1)현업적용 영향요인과 2)현업적용 교육효과성 영역으로 대별하되,

① 교과별로 공통으로 적용할 수 있는 문항

② 현업적용 영향요인을 측정하는 문항

- 298 -

평가


전혀아니다

아니다

보통이다

그렇다

매우그렇다

현업

적용

영향

현업에서의 전이 동기

내가 본 교육과정에서 배운 지식과 기

술을 활용한다면 업무성과는 향상될

것이라고 생각했다.

□ □ □ □ □

나는 본 교육과정을 통해 나의 업무에

서 사용하고자 했던 지식과 기술을 배

웠다.

□ □ □ □ □

내가 본 교육과정에서 배운 지식과 기

술은 앞으로 나의 업무와 관련된 문제

를 해결하는데 도움이 될 것으로 생각

했다.

□ □ □ □ □

나는 본 교육과정을 통해 습득한 지식

과 기술을 나의 업무에 활용할 수 있

다고 생각했다.

□ □ □ □ □

현업에서의 상사 지원

나의 상사는 소속 직원이 교육받은 것

을 직무에 활용하도록 지원한다.□ □ □ □ □

나의 상사는 소속 직원이 교육받는 것

을 중요하게 생각한다.□ □ □ □ □

나의 상사는 소속 직원이 교육에서 습

득한 것을 직무에 적용하는 방법을 지

도해 준다.

□ □ □ □ □

③ 각 교육과정별 학습목표로부터 전이행동지표를 추출하여 교육과정별

맞춤형 문항 등으로 구성할 수 있음

A. 현업적용도 평가 ｢도서관 이용자 관리｣ 과정 평가도구 개발 사례

목 적1)현업적용영향, 2 )현 업 적 용 활 동 , 3 ) 현 업 적 용 결 과 등 의 영 역 에 대 하 여 측정

함

대 상 해당 교육과정

시 기 교육프로그램의 종료 3~6개월 경과 후 실시

- 299 -

나의 상사는 소속 직원이 교육에서 습

득한 것을 업무에 적용하기 위한 구체

적인 목표를 제시한다.

□ □ □ □ □

현업에서의 동료 지원

주위 동료들은 내가 교육과정에서 습

득한 것을 현업에 적용하는 것을 보고

나를 적절히 평가한다.

□ □ □ □ □


득한 것을 직무에 잘 적용할 수 있도

록 지원과 격려를 해준다.

□ □ □ □ □


득한 것을 직무에 적용하는 것에 대해

긍정적인 관심을 가져준다.

□ □ □ □ □

주위 동료들은 내가 습득한 새로운 지

식과 기술을 직무에 적용하는 과정에

서 생기는 실수는 허용하지만 잘못된

점은 적절히 지적해 준다.

□ □ □ □ □

현업에서의 변화 가능성

내가 속한 조직의 구성원들은 교육훈

련에 대해 많은 가치를 부여하는 분위

기이다.

□ □ □ □ □

내가 속한 조직은 업무에 새로운 방법

을 시도하는 것을 선호하여 교육받은

것을 스스로 적용해볼 수 있는 재량권

이 주어진다.

□ □ □ □ □

내가 속한 조직의 구성원들은 직무수

행을 향상시킬 수 있는 변화와 혁신하

는 것을 높이 평가한다.

□ □ □ □ □

현업적

용

활동

현업에서의 학습요소

활용 수준

본 교육에서 배운 내용을 실무에 효과

적으로 활용하고 있다.□ □ □ □ □

본 교육에서 교육받은 내용이 실무에

도움이 되었다.□ □ □ □ □

본 교육에서 배운 내용을 실무에 적용

하여 활용하지 못하는 이유는 무엇인

가?

①조직 문화 ②교육내용과 현업의 불

일치 ③상사의 부정적 인식 ④기타(

)

선택형

- 300 -

현업에서의 학습요소

활용 순위

아래의 교육과목 중, 업무현장에서 가

장 효과적으로 활용하고 있는 교육과

목을 우선 순위대로 표시해 주시기 바

랍니다.

1) 도서관 이용자의 이해

2) 도서관 이용자 상황별 응대서비스

3) 이용자 참고질의와 면담

4) 정보검색기법과 활용

5) 이용자 교육을 위한 강의기법

6) 대인 커뮤니케이션

7) 현장별 이용자 관리 사례발표

순위표시

현업적

용

결과

학습요소 적용을 통한

현업에서의 직무역량

개발 현황

본 교육과정의 내용은 나의 직무역량

개발에 도움이 되었다.□ □ □ □ □

현업에서의

학습요소

적용을

통한

직무역량

향상도

도서관

이용자의

이해

나는 본 교육 전보다 (도서관 이용자

를 보다 포괄적으로 이해할 수 있다.)□ □ □ □ □

도서관

이용자

상황별

응대서비스


를 상황별로 제대로 응대할 수 있다.)□ □ □ □ □

이용자

참고질의와

면담

나는 본 교육 전보다 (이용자 맞춤형

참고질의와 응답을 효과적으로 수행할

수 있다.)

□ □ □ □ □

정보검색기

법과 활용

나는 본 교육 전보다 (도서관 업무에

다양한 정보검색기법을 효과적으로 활

용할 수 있다.)

□ □ □ □ □

이용자

교육을

위한

강의기법

나는 본 교육 전보다 (이용자 교육을

위한 효과적인 강의기법을 구사할 수

있다.)

□ □ □ □ □

대인커뮤니

케이션

나는 본 교육 전보다 (대인 커뮤니케

이션이 보다 수월해졌다.)□ □ □ □ □

현장별

이용자관리

사례발표


를 보다 효율적으로 관리하고 있다.)□ □ □ □ □

학습요소 적용을 통한

현업에서의 업무성과

향상 현황

본 교육과정의 내용은 나의 업무성과

향상에 도움이 되었다.□ □ □ □ □

- 301 -

현업에서의

학습요소

적용을

통한

업무성과

향상도

도서관

이용자별

통계분석

향상


들을 다양한 통계분석 기법을 활용하

여 분석할 수 있다.)

□ □ □ □ □

도서관

이용자응대

만족도

증진


응대서비스의 만족도가 증진되었다.)□ □ □ □ □

이용자

참고질의와

면담

기술향상

나는 본 교육 전보다 (이용자 참고질

의와 면담 기술이 향상되었다.)□ □ □ □ □

다양한

정보검색기

법활용

나는 본 교육 전보다 (다양한 정보검

색기법을 활용할 수 있게 되었다.)□ □ □ □ □

효과적인

강의기법

활용

나는 본 교육 전보다 (이용자 교육을

하는데 있어 보다 효과적인 강의기법

활용할 수 있게 되었다.)

□ □ □ □ □

대인

커뮤니케

이션

스킬향상


면담에서 대인 커뮤니케이션 스킬이

향상되었다.)

□ □ □ □ □

이용자관리

기법 확장


관리 기법이 확장되었다.) □ □ □ □ □

개선사

항

업무성과 향상에 도움이

되었던 점

본 교육과정에서 학습한 내용을 업무

에 적용하는데 있어 도움이 되었던 점

이 있었다면 무엇이었는지 기술해 주

십시오.

서술형

업무성과 향상을 위한 개

선사항

본 교육과정에서 교육내용의 업무 적

용도를 향상시키기 위해서 개선해야

할 점이 있다면 무엇인지 기술해 주십

시오.

서술형

- 302 -

2. 평가실시

교육훈련 참가자가 교육훈련 중에 습득한 지식, 기술, 태도를 직무현장에 효

과적으로 적용하는 정도를 평가한다. 현업적용도 수준을 계량화하는 설문조사

와 이를 보완하는 심층인터뷰로 구성되며, 현업적용의 영향요인을 도출하고

성공 사례를 발굴하는데 목적이 있다.

평가실행 전 단계

사서교육훈련 과정의 교육여건 및 교육과정의 중요성을 고려하여 과정별

로 사전에 유형(1~3)을 선택하여 평가시행 계획을 수립함

설문지 평가 자료수집 일정 수립

인터뷰를 위한 구체적인 날짜와 시간을 계획하고 약속을 미리 정하기

참여율 제고 방안 마련

설문지 평가 및 인터뷰 참여율을 높이기 위한 구체적인 전략을 수립하여야 함

평가 안내문 작성

현업적용도 평가를 위한 자료수집의 취지, 평가내용, 일정계획, 활용방안, 참여

요청 등의 내용을 문서로 작성하여 대상자들에게 사전에 배포함

인터뷰의 경우는 사전에 단위조직의 부서장에게 사전 협조요청을 하도록 함

평가실시 공지

평가가 실시되기 하루 전쯤에 평가실시에 대한 내용을 다시 공지하고 평가를

실시함

- 303 -

평가실행 중 단계

설문지 회수율 관리

설문지의 응답 회수율을 매일 체크하고 회수율을 높이기 위하여 독려 전화 및

메일을 발송함

특정 조직의 회수율이 지나치게 낮을 때에는 그 조직에 대해서만 기간을 연장

하는 방법도 필요함

인터뷰 일정관리

인터뷰 일정계획에 따라 인터뷰가 진행될 수 있도록 일정관리를 함

대상자에게 전화를 통해 사전 혹은 당일 공지를 함

인터뷰 대상자의 부득이한 사정으로 계획된 날짜와 시간에 인터뷰를 할 수 없

을 경우에는 다시 일정을 잡도록 함

계획한 인터뷰 소요 시간을 준수함

평가실행 후 단계

설문결과를 분석하고 보고서를 작성함

설문조사를 보완하는 심층 인터뷰 실시 결과를 분석하고 현업적용도 수준

을 확인하고 교육과정의 문제점․개선사항을 도출함

3. 평가 분석

현업적용도 측정은 교육훈련을 통해 학습한 역량을 실제 직무 또는 현업에 적

용한 정도를 측정하는 것으로 설문조사 및 면담을 통해 조사된다.

1) 설문조사 분석

설문은 주요 학습내용의 현업적용도, 현업 적용 시 용도 및 업무 개선도를 조

- 304 -

사한다. 설문을 통한 현업적용도 결과분석을 위한 일반지침은 다음과 같다.


평가결과분석은 각 과정별, 영역별, 문항별 현업적용도를 평가

각 영역별 현업적용도가 가장 높은 과정 및 낮은 과정의 편차를 도출


현업적용도 문항은 공통문항 외에, 과목별 문항이 상이하므로 과목별로

분석하는 것이 바람직함

3단계 평가결과를 분석하기 위하여 다음과 같이 Excel를 활용하여, 평균 및

표준편차값(수식예시=STDEV(C2:C11)을 도출할 수 있다. 아래는 응답자별로

현업적용도 설문결과를 입력 분석한 예시이다. 아래 예시는 활용수준 항목이

개발현황, 업무성과향상도에 비해서는 현업적용도가 높게 나타났으며, 응답자

평균은 4.13인 것을 알 수 있다. 학습요소 적용을 통한 현업에서의 직무역량

개발현황에 대한 응답자 간 표준편차가 높게 나타난 것을 알 수 있다.

- 305 -

2) 상관관계 분석

영향요인과 현업적용도 간의 상관관계를 파악하기 위한 전략은 다음과 같다.

간단한 통계기법(예: Excel)이나 분석방법(평균 및 표준편차)을 각 영향

요인별 평균을 도출

영향요인과 현업적용도간의 관련성을 분석하기 위하여 영향요인들과 현

업적용도 수준 간의 상관관계를 분석

영향요인 중 교육내용 및 설계는 만족도 설문(교육과정 영역)의 점수를

기반으로 측정

상관계수를 바탕으로 상관관계를 분석

상관계수가 1에 가까울수록 상관관계가 높은 것

아래 예시는 영향요인 및 영향요인과 현업적용도 간의 상관분석을 실시한 예

이다. 전이동기(3.92)가 가장 높은 수준을 보였으며, 변화가능성(3.25)이 가

장 낮은 수준을 보이고 있다. 즉, 교육생의 교육내용에 대한 현업적용도 의지

가 높은 반면, 교육받은 내용을 조직에 반영할 수 있는 환경은 갖추어지지 않

은 것을 의미한다.

- 306 -

아래는 영향요인과 현업적용도 간의 상관관계를 분석한 예시이다. 아래의 예시

는 변화가능성을 제외한 나머지 요인에서 상관성을 보이고 있으며, 교육내용

및 설계의 상관계수가 .836, 전이동기가 .616, 상사 및 동료의 지원이 .507로

상관성이 높은 것으로 해석할 수 있다.

구분 현업적용도 전이동기교육내용 및

설계

상사동료의

지원변화가능성

현업적용도 1

전이동기 .616* 1

교육내용 및 설계 .836** .579* 1

상사동료의 지원 .507** .559** .649** 1

변화가능성 .202 .168 .339* .327 1

* : p<0.05, ** : p<0.01

현업적용도의 경우, 실제 교육내용과 현업이 일치하는 교육대상자의 현업적용

도와 그렇지 않는 교육대상자의 현업적용도는 차이가 있다. 그러므로 설문문

항 6. 현업적용도 저해요인에서 ‘②교육내용과 현업의 불일치’를 선택한 교

육생과 그렇지 않은 교육생의 현업적용도 결과값을 비교할 필요가 있다. 아래

예시와 같이 대상별/과정별 평균값을 제시하여 차이를 비교한다. 예시는

KORMARC 과정에서 교육내용과 현업일치 교육생과 불일치 교육생 사이의

현업적용도 평가점수가 0.3과 0.35로 크게 나타나는 것으로 해석할 수 있다.

구분/과정도서관리

더(중간)

도서관관

리(최고)

KORMA

RC(A)

KORMA

RC(B)... 평균

교육내용과 현업

일치 교육생4.2 4.2 4.4 4.35 ... 4.29

교육내용과 현업

불일치 교육생4.1 4.16 4.1 4.0 ... 4.09

차이 0.1 0.04 0.3 0.35 ... 0.2

- 307 -

3) 결과 활용

현업적용도가 낮은 과목에 대해서는 현업적용 장애요인을 분석하여 피드

백을 제공

현업적용도가 낮은 요인이 교육 프로그램일 경우, 현업적용도를 높일 수

있는 과목, 즉 업무현장에 적합한 교육내용으로의 전환

기초교양 및 이론에 대한 비중을 줄이고, 적용능력을 강화하는 내용에

대한 보강

현업적용도가 높은 과목에 대해서는 현업적용 성공사례 발굴 및 공유

현업적용도 개선효과를 높이기 위하여 교육일정의 확장, 심화과정 개설

및 과정(지식중심/실무중심, 교육대상)분리 검토

실무특성을 반영한 과정명 변경

교육프로그램의 현업적용도 향상을 위하여 해당 업무와 관련성이 높은

사서들이 교육에 참여할 수 있도록 교육프로그램의 차별화 및 적극적 모

집방안의 모색

업무와 관련성이 높은 사서들이 교육에 참여할 수 있도록 사전에 과정에

대한 목표역량(직무역량, 업무성과, 학습요소)를 제시하고, 현업적용도가

낮은 과목에 대해서는 보다 구체적으로 목표역량 수정 및 개선방안 제시

현업적용도 평가과정 및 평가방법에 대한 교강사 및 교육생 사전안내

현업적용도 평가방법 개선(포커스 그룹 인터뷰) 추가실시 및 평가기간

조정)

참여형 교육운영, 사례중심 교육, PBL(Problem Based Learning), 시

뮬레이션 교육 등 다양한 맞춤형 교육방법 제시

- 308 -

5. 4단계 성과 평가

1. 도구 개발


성과 평가 도구는 교육 대상자가 교육에 참여함으로써 조직에 발생하는

최종 성과 평가 목적으로 개발함

본 매뉴얼에서는 성과인식도 설문 및 SCM조사, ROI평가, 전국도서관운

영평가 연계방법을 적용하여 평가도구를 개발함. 따라서 성과 평가 대상

교육과정은 전국도서관운영평가 와 연계 가능한 <도서관 문화프로그

램>, <도서관 홍보>, <도서관 장서관리> 으로 한정함

평가도구는

①해당 교육과정을 이수한 직후 교육생 대상 성과인식도 및 SCM 조사

②각종 도서관의 성과를 도출할 수 있는 방법으로 전국 도서관 운영평

가 결과 데이터를 활용하여 실제로 교육에 참여한 도서관과 미참여 도

서관의 성과를 비교·분석

③투자효과분석(ROI, Return On Investment) 등을 고려하여 개발함

성과인식도 조사를 위한 평가도구는 교육생의 주 근무처인 일선 도서관

의 특성을 감안하여 ①생산성, ②품질, ③완료시간, ④직무만족, ⑤이용

자만족 등의 5가지 평가항목으로 구성함

SCM 조사도구

성공사례의 심층 분석을 통해 교육훈련 과정의 성공·실패 원인을 규명하고

RYBR 성과를 평가하고 개선방안을 도출하기 위하여, ①적용방법 및 시기,

②교육설계 및 적용내용, ③적용 환경, ④적용 성과, ⑤적용 사례, ⑥전반적 개선

- 309 -

사항 등의 항목으로 구성함

평가 항목 평가 내용

적용방법 및 시기

• 교육을 통한 업무태도의 변화 및 업무능률, 관련 지식과

기술의 향상 여부

• 교육 후 적용 내용 및 방법교육설계 및 적용

내용

• 교육내용의 현장적용도

• 교강사의 현장전문성

적용 환경• 현업적용에 도움이 되었던 환경요인

• 현업적용에 방해가 되었던 환경요인

적용 성과

• 교육내용의 조직성과에 대한 도움 여부

• 교육내용의 조직 생산성 향상에 대한 기여여부

• 교육내용의 조직 서비스 품질 개선에 대한 기여여부

• 교육내용의 조직 업무완료시간 감소에 대한 기여여부

• 교육내용의 조직의 직무만족도 향상에 대한 기여여부

• 교육내용의 조직의 이용자 만족도 향상에 대한 기여여부

적용 사례

현업적용을 통해 얻을 수 있었던 성과 등

구체적인 현업적용 성공 사례

• 업무성과 향상에 대한 구체적인 적용사례

• 측정 가능한 변화(성과) 사례 및 결과

전반적 개선 사항 • 조직성과롤 이어지기 위한 전반적인 개선 필요사항

※ 각 교육과정별로 고성과자(현업 적용시 업무성과 향상도가 높았다고 응답한 교육생)을

중심으로 선발(20% 이내)하여 인터뷰를 실시함

전국도서관운영평가 연계 성과평가는 해당 교육과정 관련 지표(‘정보자

원’, ‘도서관서비스’, ‘도서관경영’ 등)의 단위 도서관 평가 결과 데이터

활용을 통해, ①교육과정에 참여한 도서관의 성과를 평가하고 ②해당 교

육과정에 참여한 도서관 및 해당 교육과정에 참여하지 않은 도서관 사이

의 집단 간 성과를 교차 분석하는 과정이 필요함에 따라 본 매뉴얼에서

는 교육과정과 연계 가능한 전국 도서관 운영평가 의 평가항목과 지표

를 제시하였음

- 310 -

관종 평가영역 평가항목 및 지표 연계 교육과정

공공

도서관

도서관

경영

도서관경영 영역 혁신 사례 및 우수성

(홍보실적 포함)<도서관 홍보>

정보자원

장서 장서개발정책 수립 및 실행 실적

<도서관 장서관리>정보자원 협력

정보자원 협력서비스

정보자원 영역 혁신 사례 및 우

수성

도서관

서비스

독서·문화/정보격

차해소문화프로그램 수행 실적

<도서관

문화프로그램>

학교

도서관

도서관

경영홍보 및 마케팅 홍보 및 마케팅 실적 <도서관 홍보>

정보자원

장서의 최신성최신자료 비율

<도서관 장서관리>자료의 제적 및 폐기

장서구성의 적절성장서개발정책의 적절성

장서구성의 적절성

전문

도서관정보자원

장서개발정책 성문화된 장서개발

<도서관 장서관리>자료수집 확대 자료수집의 확대

정보자원의 구성 정보자원의 다양성과 특성화

※ 전국 도서관 운영평가 지표와 성과 평가 관련 교육과정 연계

투자효과분석(ROI) 평가를 실시하기 위하여 교육과정 소요비용 산출을

위한 항목 및 방법은 아래와 같이 구분하였으며, 교육 참여자를 대상으로

한 인식 기반 금전적 가치 측정 평가문항은 ①생산성, ②품질, ③이용자

만족, ④업무완료시간, ⑤직무만족도 등의 5가지 평가항목으로 구성함

- 311 -

구분 항목 세부항목 비용 산출방법

비용

교육과정

설계 및

운영

비용

프로그램 설계

및 운영 인력비

프로그램 설계 및 운영 시간에 소요된

담당인력의 소득 산출

강사비강사비 지급규정에 따라 지출된 강사

비용

교육장비

및 시설

비용

교재비 교재단가 및 부수를 통한 교재비 산출

교육기자재비 교육기자재의 구입 비용 산출

교육시설관리비교육시간 중 활용공간의 교육시설 관리

비용 산출

※ 교육과정 소요비용 산출을 위한 항목 및 방법

마지막으로 Phillips & Phillips(2005)의 ROI 산출 공식을 활용하여, 1인당

평균 경제적 가치와 시행비용을 기반으로 투자회수율(ROI)을 산출함

투자회수율(ROI)

= 프로그램의 순이익/비용

= (시행이익-시행비용)/시행비용 X 100

= (성과의 경제적 가치(\)-시행비용)/시행비용 X 100

* 1인당 평균 경제적 가치와 시행비용을 도출하여 평균 투자

회수율을 도출

※ 인식기반 ROI 계산식

- 312 -


전혀아니다

아니다

보통이다

그렇다

매우그렇다

생산성본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조

직의 (예시: 장서관리) 생산성이 개선되었다. □ □ □ □ □

품질본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조

직의 (예시: 장서관리) 업무의 서비스 품질이 개선되었다.□ □ □ □ □

완료시간

본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조

직의 (예시: 장서관리) 서비스 제공 완료시간이 개선되었

다.

□ □ □ □ □

직무만족본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조

직의 (예시: 장서관리) 직무 만족도가 향상되었다.□ □ □ □ □

이용자만족

본 교육과정을 통해 학습한 지식과 기술을 활용할 때, 조

직의 (예시: 장서관리) 업무에 대한 이용자 만족도가 제고

되었다.

□ □ □ □ □

A. 성과 평가(성과인식도) 평가도구 개발 사례 – 설문조사

목 적①생산성, ②품질, ③완료시간 ④직무만족, ⑤이용자만족 등의 성과인

식도를 측정함

대 상 해당 교육과정(도서관문화프로그램심화, 도서관장서관리, 도서관홍보)

시 기 교육프로그램의 종료 6~12개월

- 313 -

평가 항목 인터뷰 문항

적용방법

및 시기

교육을 통해 학습한 것을 언제, 어떠한 상황에서 적용하였습니까?

교육을 통해 학습한 것을 구체적으로 어떻게 적용하였습니까?

교육설계

및

적용 내용

교육내용은 현장에서 적용할 수 있는 내용으로 구성되어 있습니까?

교육 내용 중 현재 직무와의 관련 정도가 높아서 현업적용에 가장 도움이 되었던 교

과목과 내용은 무엇입니까?

교육은 현업에 구체적으로 적용할 수 있는 실행방법을 포함하여 구성되었습니까?

교육을 담당한 교강사의 교육 내용은 현장에 대한 전문성을 포함했습니까?

적용 환경교육에서 학습한 내용을 업무에 적용하는데 도움이 되었던 환경적 요인은 무엇입니까?

교육에서 학습한 내용을 업무에 적용하는데 방해가 되었던 환경적 요인은 무엇입니까?

적용 성과

교육에서 학습한 내용은 업무 수행시 조직의 성과에 어떤 측면에서 도움이 되었습니까?

본 교육과정을 통해 학습한 지식 및 기술이 조직의 생산성을 개선하는데 어떻게 기여

하였습니까?

본 교육과정을 통해 학습한 지식 및 기술이 조직업무의 서비스 품질을 개선하는데 어

떻게 기여하였습니까?

본 교육과정을 통해 학습한 지식 및 기술이 조직의 업무완료시간을 감소시키는데 어

떻게 기여하였습니까?

본 교육과정을 통해 학습한 지식과 기술이 조직의 직무 만족도를 향상시키는데 어떻

게 기여하였습니까?

본 교육과정을 통해 학습한 지식과 기술이 조직의 업무에 대한 이용자 만족도를 향상

시키는데 어떻게 기여하였습니까?

적용 사례

본 교육이 본인의 직무능력 향상에 도움을 주었던 구체적인 적용사례가 있습니까?

본 교육이 본인의 업무성과 향상에 도움을 주었던 구체적인 적용사례가 있습니까?

본 교육을 통해 본인의 업무에서 어떠한 측정 가능한 변화(성과)가 있었으며, 이를 통

해 얻은 가치 있는 결과는 무엇입니까?

전반적

개선 사항

향후 본 교육과정 내용이 성공적인 조직 성과로 이어지기 위해서는 어떤 점이 더욱

개선되어야 한다고 생각합니까?

본 교육과정에서 학습한 내용을 직무에 적용하는데 기여한 우선 순위 및 도움이 되었

던 다른 환경요인이 있다면 무엇입니까?

B. 심층인터뷰 평가도구 개발 사례

목 적①적용방법 및 시기, ②교육설계 및 적용내용, ③적용 환경, ④적용

성과, ⑤적용 사례, ⑥전반적 개선사항 등을 측정함

대 상 해당 교육과정

시 기 교육프로그램의 종료 6~12개월

- 314 -

구분 항목 성과 동의 여부 성과의 경제적 가치

성과

생산성



의 생산성이 증가하였다.

증가된 생산성은 ___________ 원의

경제적 가치가 있다.

품질



의 효과성이 개선되었다.

개선된 품질은 __________ 원의 경

제적 가치가 있다.

이용자

만족



의 이용자 만족도가 향상되었다.

향상된 이용자만족도는 __________


업무

완료시간



의 업무완료시간이 감소하였다.

감소된 업무완료시간은 __________


직무

만족도



의 직무만족도가 증가하였다.

증가된 직무만족도는 ___________


C. 성과 평가(인식 기반 금전적 가치 측정) 평가도구 개발 사례

목 적①생산성, ②품질, ③이용자 만족, ④업무완료시간, ⑤직무만족도 등의

성과인식도를 측정함

대 상 해당 교육과정(도서관문화프로그램심화, 도서관장서관리, 도서관홍보)

시 기 교육프로그램의 종료 후 6~12개월

- 315 -

2. 평가실시

성과 평가는 교육과정 운영의 결과로 산출된 수익성을 평가하는 단계이며, 본

연구에서 교육생을 대상으로 한 성과인식도 평가와 인식기반 ROI 평가로 구

분하여 실시함

성과인식도 평가의 실시

성과인식도 평가는 교육과정을 이수한 직후 교육생 대상 성과인식도를

평가하기 위한 설문지를 배부하여 자료를 수집함

설문을 배포하기 전에 설문의 목적을 설명하여 차분한 분위기 속에 설문

이 작성되도록 함

설문 작성에 필요한 충분한 시간을 주되, 작성 시간을 사전에 설정해두고

고지한 후 실시

인식기반 ROI 평가의 실시

인식기반 ROI평가를 실시하기 위한 자료수집 대상의 결정

교육에 참여한 교육생 및 교육생의 상급자 또는 경영진의 인식도를 기반

으로 측정할 수 있음

자료수집 대상자에게 인식 기반 금전적 가치 측정 평가지를 제공하여 자

료를 수집함

ROI 산출 공식을 활용하여, 1인당 평균 경제적 가치와 시행비용을 기반

으로 투자회수율(ROI)을 산출함

- 316 -

3. 평가 분석

4단계 평가는 교육대상자가 교육에 참여함으로써 조직에 발생하는 최종 성과

를 평가한다. 4단계 평가는 성과인식도, 도서관 운영평가 연계, ROI 분석을

통해 이루어지며 결과분석을 위한 지침은 다음과 같다.

1) 성과인식도 분석

성과인식도 조사는 생산성, 품질, 완료시간, 직무만족, 이용자만족을 바탕으로

교육훈련프로그램 조직 성과기여에 대한 교육생의 인식도를 조사한다. 설문을

통해 이루어지며 결과분석을 위한 지침은 다음과 같다.

온라인 평가시스템 사용


평가결과분석은 각 과정별, 평가항목별 성과인식도 및 전체성과를 평가

전년도와 비교하여 성과인식도 개선정도 파악

다음은 Excel을 활용한 수집된 설문자료 입력화면 예시이다. 성과인식도 설문

의 입력은 설문지 문항 순서에 따라 입력하여 각 교육대상자의 응답이 한 줄

에 입력되도록 정리한다. 아래 예는 품질, 직무만족, 이용자만족에 대한 성과

인식이 생산성 및 완료시간에 비해 상대적으로 높게 나타난 것을 알 수 있다.

- 317 -

아래는 과정별 성과인식도 평가의 평균값을 산출한 예시이다.

구분 생산성 품질 완료시간 직무만족이용자

만족평균

도서관문화

프로그램심화4.4 4.4 4.5 4.3 4.5 4.42

도서관장서관리 4.2 4.4 4.3 4.4 4.4 4.34

도서관홍보 4.4 4.4 4.5 4.5 4.5 4.46

평균 4.33 4.4 4.43 4.4 4.47 4.41

2) SCM 기반 심층인터뷰 분석

성공사례 면담은 교육프로그램에 참여한 사서들 중 우수 참가자를 대상으로

심층면담를 실시하여 설문조사를 보완하고 교육과정의 문제점 및 개선사항을

도출하기 위함이다. 심층인터뷰를 위한 전략은 다음과 같다.

반 구조화된 면담지를 바탕으로 분석함

평가항목(적용방법 및 시기, 교육설계 및 적용내용, 적용 환경, 적용 성

과, 적용 사례, 전반적 개선사항 등을 측정함)에 따라 응답을 분류

유사한 응답끼리 범주화하여 응답분석(예: 전반적 개선사항 –> 상사의

교육에 대한 의지, 교육내용에 대한 사전전달을 통한 수강신청 등)

3) 전국 도서관 운영평가 결과 연계 성과평가 분석

전국 도서관 운영평가 지표와의 연계는 해당 교육과정에 참여한 도서관 및 해

당 교육과정에 참여하지 않은 도서관 사이의 집단 간 성과를 교차 분석하는

등 성과평가를 비교 분석한다. 이를 위해 전국 도서관 운영평가 결과를 추출

하여 해당지표값 평균을 비교한다. 다음의 예시는 ‘도서관 문화프로그램’과

정의 예이다. 전국도서관 운영평가의 항목 중 ‘도서관서비스’의 문화프로그

- 318 -

항목 평균(만원)

생 산 성 10

품 질 20 .5

이 용 자 만 족 18 .5

업 무 완 료 시 간 9

직 무 만 족 도 19

합 계 77

램 수행 실적 지표, 운영평가 그룹핑, 평가값을 활용하여, 교육참여도서관 및

교육비참여도서관의 평균을 비교하였다. 결과, 5개 그룹 중 2개 그룹에서 교육

참여도서관이 교육비참여도서관보다 문화프로그램 수행실적이 높은 것을 알

수 있으며, 전체 0.7의 점수 차이를 보이는 것을 알 수 있다.

구분문화프로그램 수행실적

A그룹 B그룹 C그룹 D그룹 E그룹 평균

교육참여도서관 7.4 7.7 6.1 5.4 5.2 6.36

교육비참여도서관 7.0 7.4 6 5.5 5.2 6.22

차이 0.4 0.3 0.1 -0.1 0 0.7

4) ROI 성과평가분석

ROI 성과평가분석은 비용 및 이익을 도출해야 하며, 이익 항목의 계량화를

위하여 대체비용접근법을 사용하여 이익의 경제적 효과를 산출한다. ROI 산

출 공식을 활용하여, 투자회수율을 일인당 평균 경제적 가치와 시행비용을 바

탕으로 산출한다. 아래와 같이 이익창출 설문 결과, 1인 평균이 77만원이며,

평균 비용이 30만원일 경우, ROI는 156.67%로 나타난다. 즉, 교육프로그램

운영 비용대비 순이익이 약156.67%로 성과를 나타내는 것으로 해석된다.

- 319 -

투 자 회 수 율 (RO I)

= 프 로 그 램 의 순 이 익 /비 용

= (시 행 이 익 -시 행 비 용 )/시 행 비 용 X 100

= (성 과 의 경 제 적 가 치 (\ )-시 행 비 용 )/시 행 비 용 X 100

= (770000-300000 )/300000*100= 156 .67%

* 일 인 당 평 균 경 제 적 가 치 와 시 행 비 용 을 도 출 하 여 평 균 투 자 회 수 율 을

도 출

5) 결과 활용

ROI 지수의 비용절감방안 간구

성과평가가 낮은 과목의 경우, 저해요인을 분석하기 위한 면담 추가실시

성과평가가 높은 과목의 경우, 성공요인을 분석하기 위한 면담 추가실시

- 320 -

[ 부록 ] - Worksheet 모음집

구분 인

지

정

의

심


모듈 교육과정

과 정 1

과정2

과정3

과정4

과정5

과정6

학습목표진술 양식(안)

- 321 -

구분 교육과정 학습목표 진술 필수 학습단위요소

과 정 1

과정2

과정3

과정4

과정5

과정6

필수학습요소 진술 양식(안)

- 322 -

구분

인지

정의


필기평가 관찰

·질문지

수행평가모

듈교육과정


과 정 1

과정2

과정3

과정4

과정5

과정6

학업성취도 측정방식 선정 양식(안)

- 323 -

만족도 평가 결과보고서 양식(안)

I. 평가개요

평가목적

평가과정

평가대상

평가인원

평가방법

II. 종합평가결과

구분교육과정

만족도교육환경

교과목 및

강사평가교육목표 교육전반 평균

기본교육

전문교육

기타교육

평균

III. 영역별 평가결과

(교육과정만족도, 교육환경, 교과목 및 강사평가, 교육목표, 교육전반으로 세분화)

구분교육과정 만족도

평균교육효과

교과편성 및 설계

교육운영

기본교육

전문

교육

직무전문

직무공통

직무기타

브랜드

기타교육

평균

- 324 -

IV. 기타

V. 과정별 평가결과

과정별 종합평가

과목/구분교육과정

만족도교육환경

교과목 및

강사평가교육목표 교육전반 평균

과목명

평균

과정 세부 영역별 평가결과

과목/구분교육과정 만족도

평균교육효과

교과편성 및 설계

교육운영

평균

VI. 개선방안

프로그램 운영방안


평가방법

- 325 -

학업성취도 평가 결과보고서 양식(안)

I. 평가개요

평가목적

평가과정

평가대상

평가인원

평가방법


1. 필기평가

점수/과정 평균

평균

표준편차

문항 난이도

문항 변별도

2. 설문지

과정/문항 과정평균

문항별 평균

표준편차

- 326 -

3. 사전-사후 비교분석

과정 사전평균 사후평균 향상도

과정별 평균

유의도 검증결과

4. 수행평가

과정과제에 대한

이해도

내용의 체계성

이론적 배경과 논리적 분석도

창의성 실무적용의 실용도 과정평균

문항별 평균

표준편차

III. 과정별 평가결과

1. 과정명: _________________

필기평가

- 327 -

항목/과목

문항 난이도

문항 변별도

설문지

과목/문항 과목평균

문항별 평균

표준편차

사전-사후 비교분석

과목 사전평균 사후평균 향상도

과정별 평균

유의도 검증결과

- 328 -

수행평가

과목과제에 대한

이해도

내용의 체계성

이론적 배경과 논리적 분석도

창의성 실무적용의 실용도 과목평균

문항별 평균

표준편차

IV. 개선방안



평가방법

- 329 -

현업적용도 평가 결과보고서 양식(안)

I. 평가개요

평가목적

평가과정

평가대상

평가인원

평가방법

II. 종합평가결과(공통적용항목)

1. 공통설문평가항목

영역 문항 1 2 3 4 5 평균

활용수준

개발현황

직무역량향상도

향상현황

업무성과 향상도

2. 현업 전용도 저해요인(Q6)

과정 조직문화교육내용과

현업의 불일치

상사의 부정적

인식기타

- 330 -

3. 상관관계 분석

과정/항목

평균

구분 현업적용도 전이동기교육내용 및

설계

상사동료의

지원변화가능성

현업적용도

전이동기

교육내용 및

설계

상사동료의

지원

변화가능성

4. 기타 의견

5. 5년 평가 결과 분석

구분/년도

조사과정수

활용수준

개발현황

직무역량향상도

향상현황


- 331 -


1. 과정명: ________________________

학습요소 활용순위

학습요소/순위 1 2 3 4 5 6 7 평균

직무역량 향상도

문항 1 2 3 4 5 평균


문항 1 2 3 4 5 평균

IV. 개선방안



평가방법

- 332 -

성과평가 결과보고서 양식(안)

I. 평가개요

평가목적

평가과정

평가대상

평가인원

평가방법


1. 성과인식도 설문분석

항목/과정 문항평균

생산성

품질

완료시간

직무만족

이용자만족

과목평균

2. 심층인터뷰 분석

평가항목

적용방법 및

시기

교육설계 및

적용내용

적용 환경

적용 성과

적용 사례

전반적 개선사항

- 333 -

3. 전국도서관 결과 연계 성과평가

구분/과정 평균

교육참여도서관

교육비참여도서관

차이

4. ROI 성과평가 분석

항목/과정 평균

생산성

품질

완료시간

직무만족

이용자만족

1인평균비용

ROI

5. 5년 평가 결과 분석

구분/년도

성과인식도

ROI

도서관성과평과

연계점수


1. 과정명: ________________________

성과인식도 설문

평균/항목

평균

- 334 -

심층면담 분석

평가항목

적용방법 및

시기

교육설계 및

적용내용

적용 환경

적용 성과

적용 사례

전반적 개선사항

ROI 성과평가 분석

평균/항목

평균

전국도서관 결과 연계 성과평가

구분과목(별)

A그룹 B그룹 C그룹 D그룹 E그룹 평균

교육참여도서관

교육비참여도서관

차이

IV. 개선방안

연구진

￭연 구 책 임 자 : 박옥남 (상명 학교 문헌정보학과 교수)

￭공 동 연 구 원 : 차성종 (숭의여자 학교 문헌정보학과 교수)

김신 (경일 학교 문헌정보학과 교수)

장경원 (경기 학교 교직학과 교수)

￭보 조 원 : 허다 (상명 학교 문헌정보학과 석사생)

황정선 (성균 학교 문헌정보학과 석사생)

2017 연구보고

｢사서교육훈련 효과성 입증을 위한 평가도구 개발｣ 연구

인 쇄 : 2017년 2월 13일

발 행 : 2017년 2월 15일

발행처 : 국립 앙도서

서울특별시 서 구 반포 로 201(반포동)

Tel. 02-535-4142 Fax. 02-590-0530

http://www.nl.go.kr

연구기 : 상명 학교 서울 산학 력단

ISBN 979-11-5687-335-8 [비매품]

인쇄 : 조은 터(02-2269-1481)

사서교육훈련 효과성 입증을 위한 평가도구 개발 연구제 출 문...

Documents