선형대수 실습 - linear regressionincpaper.snu.ac.kr/images/b/bc/ml_exercise_4_v2.pdf ·...

14
SCONE Lab. Seoul University National 선형대수학의 적용 2018.07.12 오영준, 강온유, 최지호 기계학습 기초수학 실습

Upload: others

Post on 04-Jan-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul

University

National

선형대수학의 적용2018.07.12오영준, 강온유, 최지호

기계학습 기초수학 실습

Page 2: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

선형 대수의 적용행렬의 적용

− 암호학에서의 행렬− 그래픽스에서 행렬− 마코프 체인 연산

● 수와 상태의 변화 - 인구, 생태계 (에너지의 흐름)

기계학습 (& 데이터 분석)에서의 선형 대수학− 추천 시스템과 SVD− 클러스터링, K-Means

● Spectral Clustering − Eigenvectors, Laplacian Matrix 의 개념이 필요

− 선형 회귀 (Linear Regression)● Mean Square Error, Loss Function

− 차원 축소 (Dimensionality Reduction)● 차원의 저주 (Curse of Dimensionality)

22018-07-17

Page 3: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul

University

National

선형 회귀 (내적)

Page 4: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

데이터 & 예측데이터 과학, 기계 학습의 목표

− 기존의 데이터를 사용하여 아직 알지 못하는 값을 예측

42018-07-17

키, 나이, 성별, 몸무게 데이터 키, 나이, 성별, 몸무게 그래프

Page 5: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

선형 회귀 (Linear Regression)선형 회귀

− 종속 변수 y와 한 개 이상의 독립 변수 X와의 선형 상관 관계를 모델링하는 회귀분석 기법

“적당한” 선 그리기− 주어진 데이터로부터 “적당한 선”을 찾아 값을 예측

52018-07-17

A B C

Page 6: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

평균 제곱 오차평균 제곱 오차 (Mean Squared Error)

− 특정 선이 Regression Line이 되기에 적합한지 판단 기준− 가설 ℎ 𝑥− 가설과 참값의 차이 (Error) ℎ 𝑥 𝑦− Error 제곱의 평균

손실 함수 (Loss Function, Cost Function)− 가설이 1차 식

− 실습: J(a, b)가 최소에 근접하는 a, b 구하기

62018-07-17

Page 7: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

실습 J(a, b)가 최소에 근접하는 a, b 구하기

C.f. 경사 하강법 (Gradient descent)

72018-07-17

Page 8: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

Related materials Logistic RegressionClassificationGradient descent

82018-07-17

Page 9: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul

University

National

암호학 (역행렬)

Page 10: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

암호학 (역행렬의 적용)암호학

− 정보를 보호하기 위한 언어학적, 수학적 방법론을 다루는 학문

기본 용어 정리− 평문 (Plaintext): 보호가 필요한 메시지− 암호문 (Chiphertext): 암호학적 방법으로 변환된 메시지− 암호화 (Encryption): 평문을 암호문으로 변환하는 과정− 복호화 (Decryption): 암호문을 평문으로 변환하는 과정 (해독)− Encryption Key, Decryption Key

102018-07-17

M

M^(-1)

Page 11: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

암호학에서의 행렬알파벳의 정수 표현

− E.g. ASCII−

− “H E L L O” 08 05 12 12 15− “H I” 08 09

112018-07-17

A B C D E F G H I J01 02 03 04 05 06 07 08 09 10K L M N O P Q R S T11 12 13 14 15 16 17 18 19 20U V W X Y Z _ . …21 22 23 24 25 26 27 28 …

Page 12: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

암호학에서의 행렬 “HI” ( 08 09) 암호화

− Key, M= [1, 2; 3, 4]−

− 암호문: [26, 60]

“26 60” 해독− M ∗

122018-07-17

Page 13: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

Exercises “H E L L O”를 아래 표와 Key를 사용하여 암호화해 보세요.

− M=[[1, 2], [6, 7]]로 암호화된 다음의 암호문을 해독하세요.

[심화] 암호문과 키(M)가 주어졌을 때 암호화된 메시지를 해독하는 함수를 만들어 보세요.

132018-07-17

A B C D E F G H I J01 02 03 04 05 06 07 08 09 10K L M N O P Q R S T11 12 13 14 15 16 17 18 19 20U V W X Y Z _ . …21 22 23 24 25 26 27 28 …

Page 14: 선형대수 실습 - Linear Regressionincpaper.snu.ac.kr/images/b/bc/Ml_exercise_4_v2.pdf · −클러스터링, K-Means Spectral Clustering − Eigenvectors, Laplacian Matrix 의개념이필요

SCONELab.

Seoul National University

참조공개 강의 / 프로젝트

− https://www.coursera.org/learn/machine-learning/home/welcome− http://www.prenhall.com/divisions/esm/app/ph-linear/leon/− https://github.com/philippbauch/simple-linear-regression-

notebook

142018-07-17