학습분석(learning analytics) 활용 가능성 및 전망

학습 분석(Learning Analytics) 활용 가능성 및 전망

한국교육학술정보원

조용상, Ph.D

[email protected]

FB: /zzosang Twitter: @zzosang

목차

Ⅰ. 빅데이터 기술 및 산업 동향

Ⅱ. 학습 분석 기술에 대한 이해

Ⅲ. 학습 분석 기술 표준화 동향

Ⅳ. 시사점

Ⅰ. 빅데이터 기술 및 산업 동향

<출처: http://www.google.org/flutrends/intl/ko/about/how.html >

http://www.google.org/flutrends/intl/ko/about/how.html

<출처: 빅데이터로 진화하는 세상 (Big Data 글로벌 선진 사례), NIA (2012)>

잘 알려진 빅데이터 활용 사례들

뉴욕주 시라큐스시, 데이터 분석을 기반으로 스마트 시티 추진

SNS를 활용한 할리우드 흥행 수익 예측

구글, 실시간 자동 번역 시스템을 통한 의사통의 불편해소

월마트 온라인몰, `슈퍼 스마트` 검색서비스 `폴라리스` 도입 (Social Genome)

넷플릭스, 데이터 분석으로 온라인 DVD 판매 제고 및 고객 서비스 향상

위키리크스, 데이터 분석을 통한 효과적인 전술 제공 서비스

서울시, 시민과 함께 만드는 실시간 폭우지도로 수해 예방 및 대책 마련

(미국)data.gov, 시민의 자발적인 참여와 창의성을 기반으로 정책 수립에 기여(?)

IBM 왓슨, 인공지능 슈퍼컴퓨터로 인류의 창조성과 혁신 촉진

BIG DATA

Volume

Variety

Velocity

Large Volume of Data Terabytes or petabytes Size, records, transactions, or tables

Number and type of data sources Structured Unstructured

Frequency of updates Real-time of streams Batch processing

<출처: TDWI Research, “Big Data Analytics Report (2011)>

빅데이터를 정의하는 3V

빅데이터 워크플로우 (1)

데이터 수집 (Data

Collection)

데이터 저장 및 처리

(Data Store &Processing)

데이터 분석 (Analyzing)

시각화 (Visualization)

• 정형: DB, 스프레드시트 등

• 반정형: XML, HTML 등 (스키마 기반) 마크업

• 비정형: 텍스트, 이미지, 동영상, 음성 데이터 등

• 분석 알고리즘

• 자연어 처리, 개체 명명 인식, 감성 분석 등

• 인포그래픽스

• 3D, 증강현실 등 표현 기술

• 고성능 분산 파일 처리 (Hadoop)

• 데이터 추출과 필터링

빅데이터 워크플로우 (2)

<출처: 데이터 시대 : 데이터 분석의 중요성, NIA(2013)>

<출처: 빅데이터 핵심 기술 및 표준화 동향, ETRI(2013)>

빅데이터 분야 오픈 소스 프로젝트 현황

<출처: Big Data, Big Impact: New Possibilities for International Development, WEF(2012)>

데이터 생태계에 대한 이해

세부시장

구분 빅데이터 관련 신규 성장 분야 사업자 예시

인

프

라

스토

리지

- 100TB 이상의 대용량 데이터를 저장하기 위해 외부 스토리지 시스템 구

매 증가(데이터 복제 ․ 보호 등 관리 SW도 포함)

Dell, HP, IBM,

Cisco, EMC,

Netapp 등

서버 - 내부 스토리지, 메모리, 네크워크 카드 등 서버 구매 증가

네트

워크

- 빅데이터 서버 및 스토리지 지원을 위한 Ethernet switches, Fibre Chan

nel switches, Infinite Band switches, application delivery 구매 증가

소프트웨어

- 데이터 조직화 및 관리 소프트웨어: 규모 및 구조 고도화, 파일 분배, 명

칭공간(name space), 관계DB, 그래프DB, 데이터 통합 등

- 분석SW: 빅데이터 전용 검색엔진, 데이터/텍스트 마이닝, 미디어 분석,

데이터 시각화 등

- 결정지원 및 자동화SW: 비즈니스 프로세스, 웹클릭스트림, 오류감지 등

Apache,

Pervasive,

Tableau

Software,

SAP 등

서비스 - 빅데이터 이행에 필요한 비즈니스 컨설팅, 비즈니스 프로세스 외주, IT

프로젝트 기반 서비스, IT 외주, IT지원, 교육훈련 서비스 등

Amazon Web

Service,

Accenture,

Cloudera 등

<출처: 빅데이터 동향 및 정책 시사점, KISDI(2013)>

빅데이터 시장 구분과 신규 성장 분야

2010 2011 2012 2013 2014 2015 2010–2015

CAGR (%)

인프라

서버 495.0 665.0 802.8 1,031.6 1,270.2 1,657.2 27.3

스토리지 317.5 560.3 1,224.1 1,968.1 2,719.1 3,479.2 61.4

네트워크 106.0 146.0 242.0 368.0 485.0 620.0 42.4

소프트웨어 1,062.3 1,415.4 1,851.0 2,476.8 3,367.9 4,625.9 34.2

서비스 1,236.3 1,979.0 2,721.8 3,883.3 5,098.5 6,537.8 39.5

합계 3,217.1 4,765.7 6,841.7 9,727.8 12,940.7 16,920.1 39.4

<출처: Worldwide Big Data Technology and Services 2012 – 2015 Forecast, IDC(2012)>

빅데이터 시장 규모 및 전망

(단위: 백만달러)

<출처: Worldwide Big Data Technology and Services 2012 – 2015 Forecast, IDC(2012)>

빅데이터 시장 규모 및 전망

<출처: 링크드 데이터 기술 기반의 공공 오픈 데이터 기술 동향, NIPA (2013)>

빅데이터 정책 동향


<출처: DATA.go.kr>


* 빅데이터 산업발전 전략 (관계부처 합동, 2013)

수요 측면

① 선도 시범사업 및 대형 Flagship Project 추진

② 6대 유망산업에 선도 활용 프로젝트 추진

③ 빅데이터 분석 활용센터 활성화

④ 빅데이터 경진대회 주기적 개최

⑤ 빅데이터 사업 수요 예보제

⑥ 빅데이터 도입 가이드및 개인정보 활용 가이드 마련

⑦ 7대 핵심 원천기술 개발

공급 측면

① 7대 핵심 원천기술 개발

② 주요 데이터 기술 국제 표준화

③ 수준별 데이터 전문인력 5천명 양성 및 일자리 연계

④ 지원법제 등 마련

⑤ 업계 상호협력을 위한 협의체 운영 지원

수요 측면

① DB 구축.개방 확대

② 데이터 중개.유통 활성화

③ 빅데이터 전문기업 창업 및 글로벌화 지원

④ 공정경쟁환경 조성

2017년까지 국내 빅데이터 시장의 2배 이상 확대

7개 분야에서 핵심 원천기술 개발을 통한 기술 경쟁력 제고

5천명 이상의 고급인력 확보

10개 이상의 글로벌 전문기업을 육성

Ⅱ. 학습 분석 기술에 대한 이해

<출처: Learning Analytics, UNESCO IITE (2012)>

분석 수준 간 융합 개념

학습 분석 기술 활용 가능성 (1)

* 학습 플랫폼 분석 대시보드 (LMS/VLE Analytics Dashboard)

개념 : 로그 데이터를 개인 사용자 또는 그룹에 시각화하여 제공하는 기능

- 로그 데이터 외에 헬프데스크에 요청된 로그, 전자문서 형태로 제출된 리포트, 사전에 설정된 변수 들 간의 상관관계 등

- 시험 성적, 포럼 기여도, 온/오프라인 세미나 참석/참여 정도 등에 대한 상대적 위치 파악

사례 : Blackboard, Cengage 등 플랫폼 기업과 데이터 마이닝 솔루션 기업들의 적극적인 시장 공략

애리조나 주립 대학은 개별 학생을 이해하기 위해 수집 가능한 모든 데이터를 통합 분석해서 기대 이상의 ROI 경험



* 예측 분석 (Predictive Analytics)

개념 : 정적인 데이터와 동적인 데이터의 패턴을 이용해서 사용자의 상태를 분석하는 방법

- 위험 단계 또는 우수 단계에 위치한 학습자들의 궤적을 그려서 개별적으로 필요한 시점에 처방적 조치를 제안하는 서비스

- 기존에 사용되는 사전 평가 방식은 정적이고 학습 패턴과 실시간 현황을 반영하지 못함

- 그러나 예측 모델 설계와 투입되는 변수에 대한 타당성 등에 대한 입증 필요

사례 : 퍼듀 대학의 코스 시그널 소프트웨어는 빨강, 노랑, 초록 등 세 단계로 구분해서 학습자의 진도에 맞춰 표시

코스 시그널 프로그램에 참여한 학습자는 다른 집단의 학습자들에 비해 우수한 성적과 수준 높은 자료들을 스스로 탐색



* 적응형 학습 분석 (Adaptive Learning Analytics)

개념 : 특정한 주제에 대한 학습자의 이해 정도를 측정해서 세부적인 피드백을 제공하고, 후속조치 로서 관련된 디지털 자원을 학습자에게 제공하는 모델

- 교과과정을 기반으로 한 시험을 통해 진단

- 학습자의 이해 수준에 맞게 난이도가 높은 자원은 생략되고, 동적으로 학습자 인지 또는 적응형 콘텐츠 전달 환경에 대한 모델링 필요

- 풍부한 자원을 바탕으로 운영 가능한 모델

사례 : 지능형 학습 시스템(ITS)이나 적응형 하이퍼미디어 분야에서 오랫동안 연구와 투자된 주제

최근 사용자 경험을 바탕으로 한 웹 플랫폼의 형태로 연구 진행 중 (예, 카네기 멜론 대학의 Open Learning Initiative의 코스)



* 소셜네트워크 분석 (Social Network Analytics)

개념 : 소셜네트워크 상의 관계망 분석 모델

- 사람들이 어떻게 관계망을 형성하고 유지하는 지에 대한 이해를 돕기 위해 주제어에 대한 빈도나 트렌드를 관계망과 연계해서 분석

- 직접적인 영향을 미치는 관계에서부터 간접적인 관계까지 관계 설정의 정도나 범위가 다양

- 학습자의 개인적 관계 설정이나 그룹의 구조가 효과적인 학습에 미치는 효과가 있는지에 대한 검증 필요

사례 : 소셜네트워크 관계망을 분석하고 시각적으로 표현하는 무료 소프트웨어

학습 네트워크를 분석하기 위해 특별히 고안된 SNAPP: 온라인 포럼 활동을 네트워크 다이어그램 으로 표현하여 그룹의 성장을 추적하는데 유용. 네트워크에 연결되지 않은 학생을 식별하고 교사 의 지원 정도도 표현 가능



* 담화 분석 (Discourse Analytics)

개념 : 활동의 내실을 판단하기 위해 문맥을 분석해서 이해 정도를 측정하는 모델

- 패턴 인식이나 구문 분석 기술 분야에서 오랫동안 연구되던 주제

- 교사들이 에세이나 토론 글에 어떻게 첨삭을 하는지, 쓰기와 말하기가 학습에 어떻게 영향을 주는지, 어떻게 컴퓨터가 우수한 논쟁 글을 인식하는지에 대한 분석이 한창 진행 중

사례 : 담화 분석 기술을 교육적 목적으로 활용하는 시도는 초기 수준

오픈 소스 프로젝트로 진행되는 중에는 자연어에 대한 말하기와 쓰기 기능을 컴퓨터 연산을 통해 지원하는 것을 주요 주제로 삼고 있는 것도 있음



* ICT를 활용한 평가 (Assessment using ICT)

평가대상 : 무엇을 평가할 것인가?

- 학습 경험에 대한 평가(assessing learning experience)와 개인에 대한 평가(assessing individual)

- 주요 쟁점: (일관된) 신뢰성, 평가 환경의 타당성, 부정행위 방지 등

- ICT를 활용한 평가는 적응형 학습 분석 모델과 밀접한 관련이 있으며, 전제 조건이라고 평가 되기도 함

평가방법 : ICT를 이용한 평가는 선택형과 진위형 이상의 평가 방식으로 활용 되어야 함

로그 데이터와 클릭스트림을 수집해서 분석하는 방법 -> 스텔스 평가에 활용 (평가하는 절차를 학습과정 중에 흐릿하게 녹여서 통합하는 방식으로 ‘World of War Craft’와 같은 온라인 게임에서 지속적으로 플레이어에게 현황과 피드백을 제공하는 것과 유사)

<출처: Assessment using ICT, UNESCO IITE (2012)>

<출처: Learning Measurement for Analytics Whitepaper, IMS Global (2013)>

교육 데이터 유형 분류

학습 활동 중심의 데이터 매트릭스 예


학습 분석 기대효과


* Micro-level benefits

위험 수준에 있는 학습자를 식별하고 교육과정을 완료할 수 있도록 동기 부여

학습 습관을 진단하여 개선방안 권고

개인화된 학습 환경(PLE)에서 최적화된 학습 경로 및 콘텐츠 제공

* Meso-level benefits

이질적인 분석의 조합을 통해서 복잡한 문제들에 대한 이해 정도 개선

다양한 변수들로 인한 영향을 잘 이해하고 의사결정 과정에 도움을 받음

최신 정보를 활용하여 도전이 되는 상황에 대한 즉각적인 대응책 마련

* Macro-level benefits

Micro와 Meso 수분의 이점이 국가나 지역의 교육 모델, 방법에 대한 개선이나 혁신으로 반영

거시적인 트렌드를 발견하여 Meso나 Micro 수준에서 트렌드를 바탕으로 한 개별 분석으로 환류

학습 분석 관련 쟁점


* 데이터의 중립성 이슈

객관성과 정확성에 대한 주장은 오해의 소지가 있다.

데이터가 많은 것이 항상 나은 것은 아니다.

모든 데이터가 등가를 지니는 것은 아니다.

누구나 데이터에 접근 가능했을 때 모두가 윤리적으로 행동하지는 않는다.

빅데이터에 제한된 접근은 또 다른 정보격차를 야기한다.

* 윤리 문제

개인정보 이용에 대한 제도적 장치와 투명한 이용결과 제공 여부

누가 로그 데이터의 가치를 판단할 것인가?

다른 데이터 세트와 결합 및 축적되면서 개인정보는 깨끗이 정리되었는가?

결합 및 축적된 데이터 세트는 객관적으로 비교 가능한 수준인가?

학습자들은 자신과 또래 그룹의 분석 결과를 조회할 수 있는가?

수집된 데이터는 충분히 익명성이 보장되는가? 그리고 데이터에는 합리적인 수준으로 접근할 수 있도록 허용될 것인가?

Ⅲ. 학습 분석 기술 표준화 동향

ISO/IEC JTC1 이해

JTC1의 빅데이터 스터디그룹 설립

<출처: JTC1 Plenary Meeting Resolution (2013, 11)>

Learning Content

Data

Learning Activity Data

Operational Data

Career Data

Learner, Educator Profile Data


Learning Objectives

Audio/Video

Lecture

Quiz

Collaboration

Assignments

Reading Background

Social

Education

Portfolio

Training

Connections

Jobs

Mentors Co-ops

Programs

Environments

Instructional data Degrees

Initial IMS measurement focus areas

IMS Global의 ‘Learning Graph’


IMS Global의 Caliper


IMS 학습 센서 API와 학습 이벤트


IMS LTI 표준 확장과 학습 분석

<출처: EDUPUB 2013 summary, IDPF & IMS Global (2013)>

EDUPUB과 학습 분석

<출처: EDUPUB 2013 summary, IDPF & IMS Global (2013)>

Ⅳ. 시사점

Gartner Hype Cycle for emerging tech.

<출처: 2013 Hype Cycle for Emerging Technologies, Gartner(2013)>

’14년도 학습 분석 기술 표준화 추진 필요 과제

감사합니다 !!!

Korea Education & Research Information Service

Yong-Sang CHO, Ph.D

[email protected]

FB: /zzosang Twitter: @zzosang