고학수 (서울대학교 법학전문대학원 교수)

정해빈 (서울대학교 법과대학 박사과정)

박도현 (서울대학교 법과대학 박사과정)

인공지능과 차별

2018 NAVER Privacy White Paper

요약문 ································································································································ 3

1. 논의의 출발점 ············································································································· 8

2. 인공지능의 개념과 특성 ···························································································· 11

가. 인공지능의 정의 ·································································································· 11

나. 인공지능 기술：딥러닝 ······················································································· 13

다. 머신러닝의 기술적 전개 ····················································································· 17

라. 소결 ······················································································································· 24

3. 법적 관점에서의 차별 ································································································ 25

가. 차별의 의미 ·········································································································· 25

나. 관련 법리 ············································································································· 27

다. 소결 ······················································································································· 38

4. 인공지능 그리고 차별 ································································································ 38

가. 차별의 사후적 사법판단에 관한 실체법적 문제 ············································· 39

나. 차별의 사후적 사법판단에 관한 절차법적 문제 ············································· 41

다. 차별의 사전적 행정규제에 관한 문제 ······························································ 49

라. 소결 ······················································································································· 63

5. 인공지능 차별의 사례검토：소비자대출 ·································································· 64

가. 사례의 개관 ·········································································································· 65

나. 관련 법리 ············································································································· 67

다. 사례의 검토 ·········································································································· 70

6. 결론을 대신하여 ·········································································································· 73

참고문헌 ···························································································································· 79

목 차

3

1. 논의의 출발점

ㅇ최근 머신러닝, 특히 딥러닝 기술의 발전에 힘입어 인공지능 연구의 새로운 지평이

열리면서, 인공지능(Artificial Intelligence, AI)에 관한 기술적 측면은 물론 사회적,

경제적 측면의 영향에 대한 관심이 크게 늘고 있음.

ㅇ이 글은 그중에서도 인공지능의 활용이 ‘차별’ 개념에 주는 시사점에 대해 살펴보고자 함.

ㅇ적어도 현재의 기술을 전제로 할 경우, 인공지능은 주어진 제약 하에서 최적의 해를

도출하는 통계적 분석도구에 가깝고, 그렇다면 종래 인간이 통계적 분석도구를 활용

하여 의사결정을 하는 경우와 마찬가지로, 인공지능을 활용한 의사결정 맥락에서도

그와 유사한 차별 논란이 발생할 수 있음.

- 그에 더해, 인공지능은 인간과 달리 중립적이고 공정한 의사결정을 할 것이라는 기

대가, 인공지능의 복잡성과 맞물려 오해를 낳는 면도 있음.

ㅇ이 글에서는 인공지능을 활용하는 과정에서 발생하는 차별은 종래 인공지능이 없던

시기의 차별행위와 비교하여 구체적으로 어떻게 다른가 하는 것을 문제의식의 출발점

으로 함.

ㅇ인공지능 기술의 활용과 관련하여 다양한 법익이나 법정책적 목표 사이의 충돌이 발

생할 수 있음. 그러한 충돌에 주목하고, 어떻게 조화와 균형을 이룰 수 있을 것인지

에 관해 상세한 분석과 논의가 필요함.

- 예를 들어, 인공지능의 활용은 훈련 데이터를 어떻게 구축할 것인지에 관한 문제와

쉽게 맞물리는데, 개인정보가 포함된 데이터의 경우에는 개인정보보호의 기본원칙과

충돌할 가능성도 있음. 모집단의 통계적 특징을 편향이 없이 그대로 보여주는, 대표

성을 띠는 상세한 훈련 데이터를 구축하는 것이 개인정보 최소수집의 원칙과 상충

되는 것일 수 있기 때문임.

요약문

4

2. 인공지능의 개념과 특성

ㅇ‘인공지능과 차별’을 논의하기 위해서는 먼저 ‘인공지능’이 무엇인지에 대한 개념을 규

정할 필요가 있음.

- 러셀 & 노빅(Stuart Russell & Peter Norvig)에 따르면, 인공지능 연구에 관한 구

분은 크게 ‘인간적 사고’, ‘인간적 행위’, ‘합리적 사고’, ‘합리적 행위’ 네 가지로 나누

어 볼 수 있고, 그 중 이 글의 논의 맥락에서는 ‘합리적 행위(합리적 에이전트)’로서

의 인공지능 접근법이 가장 적절함.

ㅇ오늘날 ‘합리적 에이전트’의 ‘합리성’을 구현하는 방법론 중, 가장 유망하고 널리 연구

되고 있는 것이 ‘딥러닝(Deep Learning)’임.

- 딥러닝은 과거의 지식 베이스 기반 전문가 시스템과 상반된, 데이터 학습 기반 방

법론인 ‘머신러닝(Machine Learning)’의 최신 형태임.

- 머신러닝의 학습 방법론은 지도학습(supervised learning), 비(非)지도학습

(unsupervised learning), 강화학습(reinforcement learning)의 세 가지 형태로 크

게 구분되고, 지도학습을 통한 알고리즘 구현 방법론에는 거리 모델, 선형 모델, 확

률 모델, 결정트리 모델, 인공신경망 모델, 컨볼루션 신경망 모델 등 다양한 모델들

이 있고, 비지도학습을 통한 방법론에는 거리 기반 군집분석, 딥빌리프네트워크 등

의 모델들이 있으며, 강화학습은 앞의 두 방식과는 달리, 고정된 훈련 데이터가 아

닌, 행동에 대한 보상을 통해 학습하는 방식임.

- 딥러닝은 개념적으로는 머신러닝의 한 가지 방법론인 인공신경망 모델 내 은닉층

개수를 다층으로 확장한 것이고, 세부 특징으로부터 계층을 쌓아올리는 방식을 통

해 복잡한 데이터를 표현해나가는 방법론을 통해 정확도를 극대화할 수 있게 되는

것임.

ㅇ머신러닝은 귀납적, 경험적 방법론을 사용하는 것이므로, 과거의 의사결정 패턴에 변

화가 필요한 상황에서는 이를 달성하기 어려울 수 있다는 한계가 있음. 이는 차별에

관한 논의에 있어서도 중요한 시사점을 주는 것임.

- 특히 학습의 자료인 ‘훈련 데이터’가 일반적으로 과거 의사결정에 기반을 둔 역사적

데이터라는 점에서 과거의 왜곡을 답습할 우려가 있고, 인공신경망 구조의 복잡성

및 인간의 사고체계와 가지는 차이점 때문에 불투명성(opacity)이 문제될 수 있음.

5

3. 법적 관점에서의 차별

ㅇ법적으로 금지되어야 할 ‘차별’은 일체의 ‘차등적 행위’가 아닌, ‘부당’한 ‘차등적

행위’라는 요건이 구비되어야 함.

- ‘부당성’을 판정하는 방법에는, 법에 명시된 ‘차별금지사유’를 근거로 한 차등적

대우(‘직접차별’), 그리고 외관상 중립적 요소를 기준으로 삼았지만 결과적으로

직접차별과 유사한 상황을 형성케 하는 차등적 대우(‘간접차별’)로 나누어 볼 수

있음.

- 다만, 그럼에도 불구하고 ‘객관적 정당화 사유’가 있다는 점이 증명될 경우 차별

에 해당하지 않는 것으로 판단하는 것이 보통임.

ㅇ직접차별의 경우, 미국에서는 ‘차별의도’의 증명이 어렵다는 것이 문제가 되고 있으

며, 간접차별의 경우, 차별이 추정되는 차등적 대우의 기준을 구체적으로 어떻게 설

정한 것인지를 둘러싸고 미국과 유럽 모두에서 논란이 나타나고 있음.

ㅇ차별에 대한 구제수단으로는 사전적 행정규제와 사후적 사법판단을 나누어 볼 수

있는데, 차별행위의 성질상 사전 예방이 어렵고, 사적자치의 원칙과 충돌할 가능

성 때문에 행정규제에 비하여 사법부의 판단이 보다 현실적인 구제수단으로 기능

하는 경향이 있음.

4. 인공지능 그리고 차별

ㅇ인공지능이 유발하는 차별 문제는 법적 규율에 있어 크게 세 가지 유형의 문제

를 유발하는데, 1) 차별의 사후적 사법판단에 관한 실체법적 문제, 2) 차별의 사

후적 사법판단에 관한 절차법적 문제, 3) 차별의 사전적 행정규제에 관한 문제로

나누어 볼 수 있음.

- ‘차별의 사후적 사법판단에 관한 실체법적 문제’란, 차별행위에 인공지능이 개입

함으로써 중간과정이 불투명해져 직접차별의 요건 중 하나인 ‘차별의도’를 규명

하기 어렵거나 은폐할 수 있다는 것을 의미.

6

- ‘차별의 사후적 사법판단에 관한 절차법적 문제’란, 인공지능을 활용한 의사결정

과정의 투명성을 저해하는 법제도적(예를 들어, 영업비밀), 본질적(인공지능의

불가해성), 현실적(비용요소) 등 각종 요인을 의미.

- ‘차별의 사전적 행정규제에 관한 문제’란, 왜곡된 데이터의 학습을 통해 차별을

강화하는 경로의존성이 심화될 수 있다는 등의 이유로, 사법절차보다 규제가 바

람직할 수도 있다는 문제의식을 의미.

ㅇ1) 실체법적 문제에 대해서는, 기본적으로 간접차별 법리를 동원할 경우 차별의

도 문제에서 자유로워질 수 있고, 귀책사유를 인정하는 해석 범위를 넓혀, 종래

의 사법판단을 통해 적절한 규율이 가능할 수 있다는 반론이 가능.

- 다만, 이에 대해서는 간접차별 법리의 불명확성 등에 대한 재반론이 있을 수 있음.

ㅇ2) 절차법적 문제에 대해서는, 법해석 또는 입법을 통해 사안의 특성별로 증명책

임을 적절히 조정함으로써 규율할 수 있다는 반론이 가능.

- 이에 대해서는 차별 피해자가 차별의 발생 여부 자체를 알기 어렵다거나, 증명

책임을 어떻게 적절히 분배할 것인지 등을 둘러싼 재반론이 있을 수 있음.

ㅇ3) 행정규제적 문제에 대해서는, 경로의존성(path-dependency)의 문제는 인공

지능이 유발하는 차별 문제에서만 특별히 부각되는 문제가 아닌데다가, 데이터나

알고리즘 공개, 이의권 보장 등의 행정규제적 대안이 지니는 비효율성 또는 실무

적 한계점이 더 크다는 반론이 가능하고, 보다 근본적으로 이러한 행정규제가 보

호하는 프라이버시 등 사적 자치적인 법익과, 차별금지법제가 보호하는 공적인

법익 사이의 상충으로 인해 차별 맥락에서 필요한 행정규제가 어떤 것인지에 대

해 대원칙을 세우는 것 자체가 쉽지 않을 수 있다는 지적.

ㅇ이처럼 기존의 법제도가 인공지능 활용과정에서 나타날 수 있는 차별의 문제에

대해 부분적인 해결책이 될 수 있지만, 동시에 만족스런 해결책을 제시하지 못하

는 한계 또한 존재함.

- 인공지능은, 과거에도 존재했던 차별과 관련된 문제를 더욱 증폭시켜 나타나게

하는 측면도 있고 또한 새로운 문제를 야기하는 측면도 있음.

7

5. 결론을 대신하여

ㅇ인공지능과 차별 문제에 관하여는 그밖에도 다음과 같은 과제가 존재하고 있음.

더 많은 분석과 논의가 필요함.

- 인공지능에 이용되는 훈련 데이터는 대부분 역사적 데이터(historic data)의 성

격을 띠게 되고, 과거의 의사결정 과정에서 통계적 편향(bias)이나 사회적 차별

(discrimination)이 존재한 경우, 훈련 데이터 자체에도 그러한 편향이나 차별

이 반영되는 문제가 있음. 이로 인해 인공지능의 의사결정에도 한계가 있을 수

있는데, 다른 한편 이를 바로잡기 위한 노력은 역차별 논란을 부를 수도 있음.

- 변수를 세분화(granular data)하여 분석할수록, 더 정확하고 엄밀한 분석이 가

능한 한편, 하위집단을 어떻게 구성하는지에 따라 차별 여부에 대한 판단이 달

라질 가능성이 있음. 어느 수준으로 세분화된 데이터를 수집, 분석할 수 있도록

법제도를 통해 허용할 것인지에 대해 엄밀한 분석이 필요함.

- 투명성 제고에 대한 사회적인 요구는 점차 높아지는 한편, 투명성을 높일 때 나

타나는 부작용 또한 고려할 필요가 있음. 프라이버시 영역이 대표적임. 적정한

수준의 투명성이 무엇인지, 또는 서로 상충되는 법정책적 목표 사이에서 균형을

이룰 수 있는 해결책이 존재할 수 있는지 따져봐야 할 필요성이 있음.

8

관한 연구

고학수 (서울대학교 법학전문대학원 교수)

정해빈 (서울대학교 법과대학 박사과정)

박도현 (서울대학교 법과대학 박사과정)

1. 논의의 출발점

최근 인공지능(artificial intelligence, AI) 기술이 급속도로 발전하면서 그와 관련된 사회, 경제적

측면에 대한 관심 또한 크게 늘고 있다. 머신러닝(machine learning), 특히 딥러닝(deep learning)

기술의 발전에 힘입어 인공지능 연구의 새로운 지평이 열리면서, 노동시장의 변화 가능성을 비롯한

인공지능의 사회적 파급력에 대한 분석과 우려의 시각도 나타나고 있다1). 이 글에서는 인공지능 기술의

활용이 ‘차별(discrimination)’이라는 중요한 사회적 쟁점에 주는 시사점에 대해 살펴보려 한다2).

인공지능에 관해서는, 인간과 달리 중립적이고 편향이나 편견으로부터 자유로울 것이라는

기대가 인공지능이 가지는 복잡성과 맞물려 오해를 낳기도 한다. 그러나 적어도 현재의 기술

수준을 전제할 경우, 인공지능은 독자적 판단주체라기보다 주어진 제약 하에서 가능한 최적의

해를 도출하는 통계적 분석도구에 가깝다. 따라서 인공지능이 아닌 인간 행위자가 의사결정의

과정에서 의식적 또는 무의식적으로 차별이라 여겨지는 판단을 행할 수 있듯이, 인공지능을

활용한 의사결정의 맥락에서도 그와 마찬가지로 차별에 관한 논란은 불가피하게 나타날 수

있다3).

1) 인공지능에 대한 우려와 그에 대한 반응을 다룬 논의로는 Economist, “Frankenstein’s paperclips” (2016. 6. 25.) 참조.

(https://www.economist.com/special-report/2016/06/25/frankensteins-paperclips)

2) 인공지능 내지 알고리즘이 유발한 차별에 관한 국내의 연구는 드문 편이다. 다만 고학수 외, 『데이터 이코노미』, 한스미디어

(2017) ; 양종모, “인공지능 알고리즘의 편향성, 불투명성이 법적 의사결정에 미치는 영향 및 규율 방안”, 법조 제66권 제3

호 (2017) ; 허유선, “인공지능에 의한 차별과 그 책임 논의를 위한 예비적 고찰 - 알고리즘의 편향성 학습과 인간 행위자

를 중심으로 -”, 한국여성철학 제29권 (2018) 등을 참조할 수 있을 것이다.

3) 캐시 오닐, 김정혜 역, 『대량살상 수학무기』, 흐름출판 (2017), p. 16은 이러한 문제점을 ‘대량살상무기(Weapons of Mass

Destruction)’에 빗대어 ‘대량살상 수학무기(Weapons of Math Destruction)’이라 부른다. 비슷한 취지로 Lilian Edwards･Michael Veale, “Slave to the Algorithm? Why a ‘Right to an Explanation’ Is Probably Not the Remedy You Are

Looking For” 16 Duke Law & Technology Review 18 (2017) p. 22는 “algorithmic war stories”라는 표현을 쓴다.

인공지능과 차별

9

이 글의 핵심적인 문제의식은, 과연 인간이 인공지능을 활용하는 과정에서 나타날 수 있는

차별이 종래 인공지능이 없던 시기에 나타날 수 있었던 차별과 비교할 때 구체적으로 무엇이

다른지에 초점을 맞추고 있다. 이와 관련하여 다양한 의문이 제기될 수 있다. 예를 들어, 인

공지능에 의한 차별은 기존의 실정법과 그에 대한 해석만으로는 대응할 수 없는 것인가? 대

응할 수 없는 상황이라면, 법해석의 변경이 필요한 것인가? 아니면 현행법 자체가 개정되어야

하는가? 혹은 차별 관련법을 어떻게 개정하더라도 새로운 문제에는 대응할 수 없으므로 논의

자체가 무의미한가? 이러한 의문에 대하여 이 글은 ‘인공지능과 차별’이라는 주제에서 무엇이

법적, 사회적으로 문제되는지를 체계적으로 정리하고, 이를 통해 향후 어떤 방향의 후속 연구

와 사회적 논의가 필요한지에 관한 시사점을 모색하는 것을 우선적인 목표로 삼으려 한다.

이러한 목표에 맞추어 논의를 전개하기에 앞서, 먼저 이 글이 정리하고자 하는 논의의 체

계에서 제외될 영역을 간략하게 짚어보도록 한다. 이 글의 문제의식은 다음과 같이 표현될 수

있다. “인간이 인공지능을 활용할 때 초래되는 차별행위를 법적으로 어떻게 취급해야 할까?”

이 표현을 통해 우리는 두 가지 영역을 논의에서 덜어낼 수 있다.

첫째, 이 글은 인공지능을 차별행위의 당사자로서 책임을 지는 주체로 여기지 않는다. 현재

의 인공지능은 알고리즘이 복잡화된 통계적 분석도구에 가까운 것이므로, 이 글은 인간이 통

계적 프로그램(인공지능)을 활용하여 결정을 내린 것으로 인하여 차별이 (또는 차별이 의심되

는 결과가) 발생한 경우, 프로그램 제공자나 이용자 등 당사자에게 어떤 책임을 어떻게 물을

수 있는지 등의 문제를 다룬다. 프로그램 그 자체가 법적 책임을 부담할 수 있는 주체가 될

수 있는지에 관한 질문은 이 글에서 다루지 않는다.

둘째, 이 글은 주로 법적 관점에서 차별 개념을 규정하고 논의한다. ‘차별’은 매우 모호한

개념으로, 보편적으로 수용되는 개념을 도출하는 것 자체가 쉽지 않다4). 일상적 용례, 사회적

관점, 법적 관점에서 바라보는 차별 개념에 대한 이해가 각기 다르고, 판단자의 주관이나 판

단기준 등에 따라서도 차별 여부에 대하여 다른 결론이 도출될 수 있으며5), 따라서 몇몇 사

람들에게 차별이라 느껴지기도 하는 현상이, 다른 시각에서는 차별이 아닐 수도 있다. 이 글

은 주로 법적 관점에서의 차별 개념에 집중하여, 논의의 일관성을 유지하고자 한다.

4) Andrew Altman, “Discrimination”, Stanford Encyclopedia of Philosophy (2015).

(https://plato.stanford.edu/entries/discrimination) (최종 접속일：2018. 11. 1.)

5) 송석윤, “차별의 개념과 법의 지배”, 『사회적 차별과 법의 지배』, 박영사 (2004), p. 3

10

이 글의 구성은 다음과 같다. 2장에서는 현재 논의되고 있는 인공지능의 특성을 정리하고,

3장에서는 차별 개념에 관한 다양한 논의를 살펴본다. 그리고 4장에서는 인공지능을 활용한

차별 여부가 문제되는 의사결정을 법적으로 어떻게 취급할 것인지에 관하여 검토한다. 기존의

연구들이 산발적으로 논의를 펼쳐온 인공지능 사용자의 의도(intention), 인공지능 알고리즘의

불투명성(opacity), 인공지능 훈련 데이터(training data)가 지닌 역사성(historical data)으로

인한 차별의 경로의존적 강화 등의 새로이 떠오르는 이슈들을, ‘사후적 구제수단으로서 재판’

과 ‘사전적 통제수단으로서 행정규제’라는 두 가지 차원으로 나누어 살펴볼 것이다.

그러나 이 글이 4장에서 제시하는 프레임워크가 차별이라는 문제를 개인정보보호의 영역과

근본적으로 유리시키려는 것은 아니다. 개인정보가 포함된 데이터 그 자체와 데이터의 취급에

대한 사법적, 행정적 통제는 개인정보보호와 차별금지의 요소들이 맞물리며 복잡한 쟁점들을

야기한다. 예를 들어, 개인정보보호의 관점에서는, 최소수집의 원칙하에 데이터의 처리 자체를

최대한 제한하려는 원칙을 세울 수 있다. 그러나 차별금지의 관점에서는 오히려 민감정보까지

도 적극적으로 수집함으로써 차별과 불평등을 시정할 바탕을 마련해야 할 수도 있다. 이처럼

서로 다른 정책적 방향 사이에서 해법을 찾기 위해서는, 그 근본이 되는 원칙이나 가치가 무

엇인지 그리고 그러한 원칙이나 가치를 달성하는 구체적인 과정에서 어떤 딜레마가 나타날

수 있는지에 대한 상세한 분석이 이루어져야 한다.

개인정보가 포함된 데이터에 관하여 어떤 규제원칙을 세워야 할지, 그리고 그 과정에서 나

타날 수 있는 다양한 가치의 충돌 사이에서 어떤 기준을 세워 판단할 것인지에 관해서는 아

직까지 많은 논의가 이루어지지 않은 상황이다. 이를 고려하여, 5장에서는 차별받지 않을 권

리가 개인정보보호의 원리 등과 복잡하게 얽혀있는 현실을 국내 개인신용평가 시스템의 예시

를 통해 검토함으로써, 데이터의 규제와 관련된 최상위 원칙들 사이에서의 충돌이 현실에서

어떻게 나타날 수 있는지 살펴볼 것이다. 마지막으로 6장에서는 제시된 쟁점들을 간단히 정리

하고, 앞으로의 과제를 제시함으로써 결론에 대신한다.

11

2. 인공지능의 개념과 특성

가. 인공지능의 정의

1) ‘합리적 에이전트(agent)’로서의 인공지능

이 글이 논의의 대상으로 삼는 ‘인공지능’은 무엇을 의미하는가? 오늘날 가장 널리 알려진

접근방식 중 하나로서 스튜어트 러셀(Stuart Russell) & 피터 노빅(Peter Norvig)의 4분론이

있다. 이들은 인공지능의 정의에 대한 접근방식을 ‘인간적 행위’, ‘인간적 사고’, ‘합리적 사고’,

‘합리적 행위’라는 4가지로 분류하며6), 그중 합리적 행위가 가장 타당한 것으로 보았다.

① 인간적 행위(acting humanly)：고전적 견해로, 앨런 튜링(Alan Turing)은 인간이 자신

의 대화 상대방이 인공지능인지 여부를 알 수 없는 상태로 대화를 할 때, 상대방을 사

람이라 느끼면 그 상대방 역할을 한 대상이 인공지능이라는 기준에 부합한다고 보았

다7). 그러나 이와 같은 접근방식은 인간을 흉내 내는 것과 지능 사이에는 필연적 연관

성이 없다는 근본적인 문제에 부딪힌다8). 예를 들어, 비행기는 새처럼 날지 않는데, 왜

인공지능은 굳이 인간처럼 행동해야만 하는가? 항공공학자들이 정확히 비둘기처럼 날아

다니는 새를 설계하기 위해, 또는 비둘기처럼 날아다니는 것이 무엇인지를 정의하기 위

해 노력하지는 않는다.

② 인간적 사고(thinking humanly)：이 접근방식은 인간의 사고방식을 모형화할 수 있고,

그 모형을 재현함으로써 인공지능을 구현할 수 있다고 보는 것이다. 인지과학(cognitive

science)이나 신경과학(neuroscience, 또는 뇌과학) 분야에서는 뇌영상 촬영기법을 비

롯한 양적 방법론이나, 내성법과 같은 질적 방법론을 동원하여 인간의 사고에 대한 심

성모형(mental model)을 연구해 왔으며, 이는 인공신경망(Artificial Neural Network,

ANN) 기술이 나타나는 데 도움을 주기도 했다. 그러나 인간 두뇌구조를 완벽히 관찰할

6) 스튜어트 러셀 · 피터 노빅, 류광 역, 『인공지능：현대적 접근방식』, 제이펍 (2016), pp. 2-6. 인공지능의 정의에 관련된 러셀

과 노빅의 4분론은 학계에서 널리 통용되고 있다. Gabriel Hallevy, 『Liability for Crimes Involving Artificial Intelligence

Systems』, Springer (2013), p. 7 ; 도용태 외, 『인공지능 개념 및 응용』, 사이텍미디어 (2013), pp. 4-8 등 참조.

7) A. M. Turing, “Computing Machinery and Intelligence”, Mind, New Series, Vol. 59, No. 236 (1950), p. 433.

8) 다르게 표현하면, 튜링 테스트는 ‘사고’ 또는 ‘지능’에 대한 엄밀한 논증을 회피한 채 ‘인간의 행위’가 곧 ‘지능’ 그 자체(또는

동치)라는 암묵적 전제를 깔고 있는 셈이다. 같은 논지로, 마이클 네그네빗스키, 김용혁 역, 『인공지능 개론』, 한빛아카데미

(2013), pp. 23-25. 이른바 ‘중국어 방(Chinese Room)’ 논변을 기초로 인공지능에 대한 튜링의 관점을 비판하는 John R.

Searle, “Minds, brains, and programs”, Behavioral and Brain Sciences, 3(3) (1980), pp. 417-457도 참조.

12

수 없다는 기술적 한계로 인해 신경과학의 발전에는 한계가 왔고9), 좋은 성과를 내는

인공지능과 인간 두뇌 사이의 필연적 관계를 인정하기도 어려운 탓에 이 접근방식에 대

한 관심은 점차 줄어들었다.

③ 합리적 사고(thinking rationally)：이는 ‘인간’적 특성에 얽매이지 않은 채, 논리적이고

합리적인 (연역적) 추론의 연속, 즉 “사고의 법칙(laws of thought)”이 곧 인공지능의

핵심이라는 입장을 말한다. 이 접근방식은 정형적(formal) 문제에 대해서는 만족스런

답을 줄 수 있지만, 비정형적 문제를 어떻게 정형적으로 표현할 수 있을지에 대하여 충

분한 해답을 제공하지 못한다는 점과, 설령 풀 수 있는 문제라 하더라도 계산 복잡도

(complexity)가 지나치게 높아질 경우 사실상 풀지 못하는 문제와 다름없다는 점을 고

려하기 어렵다는 한계를 지닌다.

④ 합리적 행위(acting rationally)：‘합리적 에이전트(rational agent)’라 불리는 입장으로, 행위

자(agent, 에이전트)가 최선의 결과를 - 불확실성이 있는 경우에는 기대할 수 있는 최선의

결과를 - 산출하도록 행동하는지(acts so as to achieve the best outcome or, when there

is uncertainty, the best expected outcome)를 기준으로 인공지능을 판단한다.

‘합리적 행위’ 접근방식은 다른 3가지 방식에 비해 두 가지 현실적인 장점이 있다. 첫째,

‘인간적’이라는 말이 무엇인지에 관한 사변적인 (또는 현재로서는 해결할 수 없는) 논쟁을 회

피할 수 있다. 반면, ‘합리적’이라는 표현은 수학적으로 정의될 수 있으며, 기술발전에 탄력적

으로 대응할 수 있다. 둘째, 이 접근방식은 ‘합리적 사고’에 비해 포괄하는 인공지능의 범위가

더 넓다. 합리적인 행동을 하는 인공지능 모델 중에는 합리적 사고를 하는 경우도, 그렇지 않

은 경우도 존재할 수 있다. 그러나 모든 상황에서 끝없이 완벽한 합리적(논리적) 사고를 하는

것은 현실적으로 불가능하고, 필요하지도 않다. 예를 들어, 손으로 뜨거운 것을 만졌을 때 손

을 급하게 떼는 척수반사보다, 손을 떼는 행위의 논리적인 이점을 끝까지 따져들어 고민 끝에

손을 떼는 것이 언제나 더 좋은 인공지능이라고는 할 수 없다. 따라서 이 접근방식은 모든 상

황에서 논리적으로 행동하는 주체만을 상정하기보다는, 불확실성 등 주어진 제약을 염두에 두

고 가능한 최상의 결과를 산출하도록 한다.

9) Ian Goodfellow · Yoshua Bengio · Aaron Courville, 『Deep Learning』, MIT Press (2016), pp. 15-16.

13

2) ‘합리적 에이전트’ 개념과 국내법상의 논의

러셀과 노빅의 4가지 분류방식을 살펴볼 때, ‘합리적 에이전트’로 인공지능을 정의하는 것

은 인공지능에 관한 논의의 범위를 현실적 수준으로 제한할 수 있게 해준다. 예를 들어 우리

나라의 현행법 문언을 살펴보자. 현재 국내 법령과 판례에서 인공지능에 관한 구체적 정의를

내리고 있는 것은 없지만, ｢지능형 로봇 개발 및 보급 촉진법｣ 제2조 제1호는 ‘지능형 로봇’

을 ‘외부환경을 스스로 인식하고 상황을 판단하여 자율적으로 동작하는 기계장치(기계장치의

작동에 필요한 소프트웨어를 포함한다)’라고 정의한다. 이 정의는 일견 무난한 것으로 보일 수

있으나, ‘스스로’와 같이 정의가 쉽지 않은 개념이 포함되어 있다는 점에서 현실적인 한계가

있다. 예컨대, 엘리베이터는 ‘입력된 층수’를 ‘스스로 인식하고’, 어느 층에 서야 하는지 ‘상황을

판단하여’, 일정한 층에 멈춰서 문을 여는 ‘동작을 자율적으로 하는’ 것이 아닌가? 지능형 로

봇에 관한 정의는 입력(input)과 산출(output) 사이의 간극을 ‘스스로’라는 표현으로 채우고

있는데, 정작 ‘스스로’라는 개념어는 매우 모호한 것으로, 적어도 인공지능 맥락에서는 그 정

확한 의미를 파악하거나 정하기 쉽지 않다.

우리는 인간을 기준으로 ‘스스로’, ‘자율적’ 같은 표현을 상정하고 이를 인공지능에 관한 논

의에 적용하는데 익숙하지만, 정작 인간이 ‘스스로’ 행동한다는 의지와 의식이 구체적으로 (특

히 물리적으로) 무엇을 뜻하는지는 여전히 베일에 가려져있다. 하지만 ‘스스로’라는 표현이 적

절하지 않다고 해서 입력과 산출 사이의 간극을 설명할 수 있는 다른 적절한 개념어가 있는

것도 아니다. ‘사고(thinking)’를 기준으로 인공지능을 정의하려는 접근방식을 취할 경우, 앞서

살펴본 것처럼 해명되지 않는 새로운 질문이 나타날 수 있다. 그러므로 무엇이 인공지능인지

를 법적으로 판단함에 있어서는 그 대상이 구체적으로 어떤 ‘사고(생각, 이해)’를 하는지, 또는

대상의 행동이 얼마나 ‘인간적’인지가 아니라, ‘(불확실한 상황에 대하여 설계 당시에) 기대된

결과’에 가장 가깝게 행동하는지 여부를 기준으로 판단할 필요가 있다. 이하의 논의에서 인공

지능이라는 용어를 사용할 때는 ‘합리적 에이전트’ 개념을 전제로 한다.

나. 인공지능 기술：딥러닝

인공지능을 합리적 에이전트로 정의하더라도, 상황에 따른 합리적 행위를 수행할 수 있는

인공지능의 형태는 다양하기 때문에, 합리적 에이전트 개념이 반드시 특정한 기술을 상정하는

것은 아니다. 그러나 인공지능의 행위가 얼마나 성공적인지에 대한 평가10)는 대체로 시장의

10) 예를 들어, 과학기술정보통신부에서 2017년부터 개최하고 있는 ‘인공지능 R&D 챌린지’ 평가방식 등 참고.http://airndchallenge.com/g5/service/mission.php (최종 접속일：2018. 11. 1.)

14

산업적 필요에 따라 수렴할 것이므로, 상용화된 인공지능은 당대의 가장 우수한 기술적 배경

을 공유하게 될 것이다. 그 배경 중 하나로 딥러닝(deep learning)에 관해 살펴보도록 한다.

1) 딥러닝의 정의

① 머신러닝

딥러닝은 머신러닝(machine learning, ML)의 최신 형태라고 할 수 있다. 머신러닝 이

전의 인공지능 개발은 각각의 상황에 대한 규칙(rule)을 사전적으로 부여하고 그에 따라

판단하도록 하는 광의의 지식 베이스(knowledge base) 접근방식11)이라고 부를 수 있

다. 그러나 가능한 미래 상황을 미리 상정하고 개별상황마다 그에 알맞은 지식(규칙)을

전부 정해놓는 것은 매우 커다란 한계가 있을 수밖에 없기 때문에, 상황에 따라 취득하

는 기초 데이터(raw data)로부터 패턴을 추출하여 스스로 지식을 터득해나가는 학습

기반 접근방식12)의 필요성이 대두되었다. 이것이 머신러닝이다. 따라서 머신러닝 인공지

능은 이미 옳다고 검증된 지식들을 연역적으로 이어나가는 것이 아니라, 특정한 문제

집합 내에서 확률적으로 옳을 것이라고 예상되는, 가장 넓은 범위를 포괄할 수 있는 지

식(규칙)을 훈련을 통해 터득하게 된다.

머신러닝의 아이디어를 구현하는 알고리즘(모델)은 매우 다양하지만, 이들의 공통적인

요소는 ‘문제 상황에서 취할 수 있는 데이터를 어떻게 표현(representation)하여 학습

알고리즘에 반영할 것인지’에 대한 문제의식이다. 이미 적절하게 표현된 데이터 간의 연

관관계를 학습하는 것은 그다지 어려운 문제가 아니다. 문제의 핵심은, 알고리즘이 받아

들일 수 있도록 데이터를 표현하는 각각의 특징(feature)을 어떻게 규정하느냐는 것이

다. 하나의 개념(concept)으로 표현될 수 있는 여러 기초 데이터 사이에는 편차를 발생

시키는 요소(factors of variation)가 존재하기 때문이다. 예를 들어, 사진에 자동차가

있는지 여부를 판별하는 인공지능을 개발하는 과정을 생각해보자. 자동차가 있는 사진

의 값을 1로, 그렇지 않은 사진의 값을 0으로 하는 라벨을 붙인 뒤, 사진들에서 공통적

으로 포착되는 특징들을 변수로 삼아, 라벨을 잘 설명할 수 있는, 즉 라벨에 대한 오차

11) 이러한 접근방식은 상황에 따라 미리 기반지식으로 주어진 IF-THEN의 구조로 판단을 내리는 일명 ‘전문가 시스템(expert

system)’을 중심으로 발전이 이루어져 왔다. 전문가 시스템은 기반지식과 추론과정이 분리되어 있으므로 기반지식의 변경

에 따른 업데이트가 용이하며, 판단과정의 해설이 쉽다는 장점이 있다. 그러나 전문가 시스템은 기반지식(규칙) 사이에 충

돌이 있을 경우에 이를 인공지능 시스템이 스스로 학습하여 해결하지 못하고 외부적으로 인간이 개입해서 기반지식을 업

데이트 함으로써 해결해야 한다는 근본적인 한계점이 있다. 전문가 시스템의 종류와 방법론에 관해서는 마이클 네그네빗

스키, 위의 책, 2장-5장 참조.

12) Ian Goodfellow · Yoshua Bengio · Aaron Courville, 위의 책, pp. 3-8.

15

의 총합이 가장 적은 함수를 만들면 되지 않을까? 여기서 인공지능은 판별의 대상인 사

진을 2차원 픽셀 데이터로 입력받으므로, ‘자동차’라는 시각적 개념을 일정한 픽셀값의

집합으로 정의내린 뒤 이를 입력변수로 삼아 라벨을 설명하는 함수를 생성해야 한다.

그러나 인간의 언어(‘자동차’)로 설명되는 특징을 컴퓨터에 입력가능한 변수로 표현하는

것은 매우 어렵고 오랜 시간이 걸리는 일이다.

설령 오랜 시간동안 데이터를 학습한 끝에, 인공지능이 효과적으로 작동하는 함수를 생

성했다고 하더라도, 인공지능이 ‘학습용으로 주어진 데이터’를 정확하게 설명해낼 수 있

다는 것과, ‘새로이 입력되는 데이터’에 대해 합리적 의사결정을 내릴 수 있다는 것은

전혀 다른 문제다. 머신러닝의 학습과 판단이란, 결국 과거의 데이터에 전제된 상황이

현재에도 비슷하게 유지되고 있을 것이라는 가정에 근거하고 있는 셈이기 때문이다. 데

이비드 흄(David Hume)의 경험론에서부터 현대 통계학의 시계열 분석(time series

analysis)에 이르기까지, 과거를 바탕으로 현재와 미래를 설명하려는 귀납적 시도들은,

과거가 꼭 반복되지는 않는다는 – 또는, 때로는 과거가 반복되지 말아야 한다는 – 근본

적 의문에 맞닥뜨린다. 딥러닝을 포함한 머신러닝은 고전적인 지식베이스 접근방식에

비해 스스로 지식(판단기준)을 늘려나간다는 점에서 우월하다고 볼 수 있겠지만, 여전히

‘한정된 숫자의 학습용 데이터에 대한 훈련으로부터 새로운 데이터에 적용할 일반화

(generalization)’를 도출한다는 근본적인 한계13)14)15)를 가지고 있다.

과거의 데이터에 기초하여 현재와 미래를 설명한다는 머신러닝의 한계점은 머신러닝의

근본적인 특징이므로 해결될 수 있는 성질의 문제가 아닐 가능성이 높다. 인공지능 연

구들은 이 문제를 우회하여, 인간도 과거의 경험을 통해 현재를 판단하고 미래를 예측

하는데, 머신러닝이 과거의 사례로 학습을 하는 것이 무슨 문제가 있냐는 태도를 취하

13) Ian GoodfellowㆍYoshua Bengio · Aaron Courville, 위의 책, pp.114-115.

14) 물론 과거의 훈련 데이터로 학습을 일단락한 이후에도, 새로이 판단대상으로 제공되는 입력값(데이터)들을 훈련 데이터로

활용함으로써 인공지능이 꾸준히 개선될 수도 있지만, 이것이 머신러닝 인공지능이 과거를 바탕으로 미래에 대해 판단하

는 구조를 근본적으로 바꾸는 것은 아니다.

15) 이 근본적 한계점은 울퍼트(David Wolpert)와 맥크레디(William Macready)가 1997년에 제시한 일명 ‘공짜점심은 없다

(No Free Lunch Theorem, NFL)’ 정리에서 또 다른 모습으로 포착된다. 이 정리는 ‘특정한 문제집합에서 특정한 알고리

즘이 보이는 좋은 성과는, 다른 종류의 문제집합에서 그 알고리즘이 보이는 나쁜 성과로 상쇄된다’는 것을 의미하는 두 가

지 증명으로 이뤄져 있다. 특정한 문제에 최적화됨으로써 다른 알고리즘에 비하여 높은 성과를 내는 알고리즘이 있다면,

그 알고리즘은 나머지 문제들에서는 다른 알고리즘에 비해 낮은 성과를 낼 수밖에 없다는 것이다. (David H. Wolpert ·

William G. Macready, “No Free Lunch Theorems for Optimization”, IEEE Transactions on Evolutionary

Computation 1 (1997), pp. 69-70) 따라서 이미 주어진 데이터를 아주 정확하게 설명하는 것조차 문제가 될 수도 있

다. 훈련용 데이터의 완벽한 설명에 집착할 경우, 훈련용 데이터만을 완벽하게 소화하는 과다학습(overfitting, 또는 과적

합)의 문제가 발생하여, 앞으로 주어질 새로운 데이터들을 제대로 설명하지 못할 수 있기 때문이다.

16

기도 한다. 합리적 에이전트로 인공지능의 개념을 정의하는 것도 유사한 맥락에서 머신

러닝의 한계점을 우회하려는 시도로 볼 수 있다. 합리적 에이전트라는 개념정의에 따르

면, 머신러닝 인공지능은 모든 종류의 지적인 문제해결에 적용할 수 있는 일반적 해결

책(General Problem Solver)을 추구하는 것이 아니며, ‘특정한 문제집합’에 있어 다른

알고리즘보다 나은 성과를 보이는 알고리즘을 찾아 최대의 제한된 합리성을 구현하기

위한 노력으로 파악할 수 있기 때문이다.

② 딥러닝

딥러닝은 인간의 뇌를 모방한, 여러 개의 개별 ‘뉴런(neuron)’을 연결한 집합적 구조인

인공신경망(Artificial Neural Network, ANN) 기반 머신러닝 모델로, 과거의 머신러닝

보다 전반적으로 매우 우수한 성과를 보여주고 있다. 다만 머신러닝이 지닌 근본적인

한계점, 즉 이미 주어진 데이터를 바탕으로 일반적인 설명을 도출한다는 한계는 마찬가

지로 가지고 있다16).

딥러닝의 특징에 대해 좀 더 구체적으로 알아보자.

간략히 일반화하면, 딥러닝은 데이터의 복잡한 표현을 ‘다른 간단한 표현들을 바탕으로

정의’함으로써 머신러닝이 아주 효율적으로 작동하도록 만든 것이다. 개별 모델에 이용

되는 각각의 개념은 더 간단한 개념에 기초하여 정의되며, 추상적인 표현은 덜 추상적

인 표현을 바탕으로 연산된다. 사진에 자동차가 있는지 여부를 판별하는 인공지능의 예

로 돌아가 보자. 고전적 머신러닝과 달리, 딥러닝은 사진이라는 픽셀데이터로부터 자동

차라는 표현을 곧장 짚어내는 것이 아니라, 둥글다 또는 뾰족하다는 등의 간단한 특성

들을 먼저 짚어내고, 그 특성들을 바탕으로 더 복잡한 특성을 반복적으로 쌓아올려 최

종적으로 자동차라는 특성(표현)이 데이터로부터 표현될 수 있도록 한다. 딥러닝은 세상

을 ‘개념들의 계층(hierarchy of concepts)’으로 표현하는 방식이라 볼 수 있다.

이러한 반복적 과정은 일반적으로 ‘둥글다’ 또는 ‘뾰족하다’와 같은 간단한 특성을 판단

하는 퍼셉트론(perceptron)이 층층이 쌓인 다층 퍼셉트론(Multi-Layer Perceptron,

MLP)에 의해 달성된다. 이때 최종적 표현을 도출하는 과정에 있는 퍼셉트론들은 숨겨

진 판단과정으로, 입력 레이어(input layer, 입력층)와 출력 레이어(output layer, 출력

층) 사이에 위치해 있다. 이를 ‘히든 레이어’(hidden layer, 은닉층)라 부른다. 딥러닝이

16) 현대 딥러닝 기술이 갖는 한계점에 대해서는 Gary Marcus, “Deep Learning：A Critical Appraisal”, arXiv：

1801.00631 (2018) 참조. Gary Marcus에 의하면 딥러닝 모델은 완전히 새로운 것이 아니므로 고전적인 머신러닝 모델

들이 갖는 근본적인 맹점, 예를 들어, 상관관계와 인과관계를 스스로 구분하지 못하는 문제 등을 여전히 갖고 있다.

17

여러 층을 다양하게 쌓을수록, 기초 데이터로부터 곧바로 표현을 짚어내는 단순한 구조

에 비하여 데이터의 다양한 측면을 더욱 다면적으로 파악할 수 있어서 데이터를 더욱

유용하게 분석하고 활용할 수 있다17). 이처럼 학습되는 특성들의 층이 여러 개라는 점

에 착안하여 오늘날의 머신러닝은 딥(deep)러닝이라 불리게 되었다18).

2) 딥러닝의 등장 배경

그렇다면 왜 과거의 머신러닝 연구자들은 딥러닝과 같은 해결방안을 강구하지 못했는가?

여기에는 크게 4가지 기술적･사회적 배경이 있다19). 첫째로, 위치 및 행태정보 등 가용한 자

료의 종류와 총량이 극적으로 늘어났다. 둘째로, 그런 자료들을 알고리즘에 반영할 수 있는

기초 데이터로 변환하는 데이터마이닝 기술이 크게 발전했다. 셋째로, 증가한 데이터를 전부

아우를 수 있을 정도로 컴퓨터의 연산능력이 크게 강화되었다. 마지막으로, 기업들이 이 영역

에서 커다란 상업적 가치가 창출될 수 있음을 인식하면서 투자가 늘어나게 되었다. 인공지능

발전은 상당 부분 기업의 투자에 의존하여 이루어졌다.

다. 머신러닝의 기술적 전개

기술적, 사회적 배경의 변화에 힘입어 딥러닝은 여러 새로운 기술적 방법론을 갖추게 되었

다. 아래에서는 머신러닝 기술의 다양한 방법론에 관해 살펴보고, 이를 통해 이 글에서 논의

하고자 하는 인공지능이 어떤 것인지 좀 더 명확히 하고자 한다.

머신러닝 기반 인공지능이 기초 데이터로부터 판단능력을 갖추게 되는 방법론은 지도학습

(supervised learning), 비(非)지도학습(unsupervised learning, 또는 관찰에 의한 학습이라

고도 함), 그리고 강화학습(reinforcement learning)이라는 3가지 형태로 대략적인 분류를 할

수 있다20). 다만, 이 분류가 엄밀한 것이라거나 그 경계가 명확한 것이라고 할 수는 없다. 예

를 들어, 비지도학습에서 주로 사용하는 모델(방법론)일지라도 필요에 의해 데이터의 특성에

17) 장병탁, 『장교수의 딥러닝』, 홍릉과학출판사 (2017), p. 49

18) 다만, 층이 많다고 해서 반드시 ‘깊은(deep)’ 인공지능은 아니다. 특성의 개수가 적더라도 서로 연결된 수준에 따라 상대

적 깊이가 얼마든지 달라질 수 있기 때문이다.

19) Ian GoodfellowㆍYoshua BengioㆍAaron Courville, 위의 책, pp. 12-26 ; 장병탁, 위의 책, p. 8

20) 양기철, 『인공지능 이론 및 실제』, 홍릉과학출판사 (2014), pp. 240-241 ; 도용태 외, 위의 책, pp. 205-209 ; Ian

GoodfellowㆍYoshua BengioㆍAaron Courville, 위의 책, pp. 102-104.

18

라벨(label)을 붙이거나 목표(target)를 설정해주면 지도학습과 유사하게 작동할 수 있다.

1) 지도학습

지도학습은 인공지능에게 인간이 직접 라벨(label)을 붙인 여러 특성이 담긴 기초 데이터를

제시하는 방식이다. 인공지능이 데이터만 가지고 스스로 파악하기 어려운 특성이 있는 경우에

주로 사용된다. 따라서 지도학습을 거친 인공지능은 어떠한 특성 𝑥와 그 특성에 붙여진 라벨

𝑦의 관계를 살펴봄으로써 임의의 𝑥값으로부터 𝑦의 값을 추론하는 작업이라 할 수 있다.

① 거리 모델(distance based model)

거리모델은, 훈련 데이터 내의 일정한 특성(또는 라벨이 붙은 산출값)을 축으로 삼는 평

면상에 데이터를 위치시켰을 때 각각의 데이터 포인트 사이의 거리에 주목하는 모델이

다. 이 모델에서는 주어진 입력값으로부터 가장 가까운 데이터 값을 일정 개수만큼 지

정하고 그 거리의 평균, 무게중심 등을 근사하여 출력값으로 삼는다. 가까운 데이터 값

을 몇 개나 지정할 것인지에 따라 좋은 분석값을 낼 수도 있으나, 모형 구조가 매우 단

순하고 노이즈의 영향을 쉽게 받을 수 있다는 한계도 있다.21) 데이터의 크기가 커질수

록 연산해야 하는 양이 급격히 늘어난다는 문제도 있다. 그래서 현실에서는 활용도가

제한적이다. 𝑘-NN(𝑘-Nearest Neighbour22))이 이 모형의 대표적 예이다.

② 선형 모델(linear model)

선형 모델은 훈련 데이터의 특징을 입력값으로 하여 라벨이 붙은 출력값에 대한 설명력

이 높은 선형 함수를 학습을 통해 생성해내는 모델이다. 즉, 인간 연구자들이 회귀분석으

로 적절한 함수를 그려서 상관관계(또는 인과관계)를 찾아내는 것처럼, 선형 모델은 훈련

데이터를 설명하는 함수 중에서 측정 오차가 가장 적은 함수를 학습하여 새로운 입력값

에 대한 출력값 판단에 사용하는 셈이다. 로지스틱 회귀분석(logistic regression23))이 가

장 널리 쓰인다. 데이터의 분포가 단순한 선형함수로 설명되기 어려운 비선형적인 경우

에 대하여는, 거리 모델이 응용된 이른바 서포트 벡터 머신(kernel Support Vector

Machine, SVM)이라 불리는 방법이 적용되고 있다. 이 방법은 훈련용 데이터 포인트들

의 클래스를 분류하는 결정선이 일단 도출되었을 때, 그 도출된 결정선 주변에 가까운

21) 마쓰오 유타카, 박기원 역, 『인공지능과 딥러닝』, 동아엠앤비 (2015), p. 126

22) Peter Flach, 『Machine Learning, The Art and Science of Algorithms that Make Sense of Data』, Cambridge

University Press (2016), pp. 242-244.

23) Ian GoodfellowㆍYoshua BengioㆍAaron Courville, 위의 책, p. 138, Peter Flach, 위의 책, pp. 196-206.

19

데이터 포인트들을 서포트 벡터로 삼아 클래스 간의 거리를 극대화하는 또 다른 결정선

을 도출하여 새로운 입력값에 대한 판단을 최적화하는 것이다24). 서포트 벡터 머신은 최

종 판단구조를 적절히 연마하여 연산 성능을 개선하는 기법이므로, 평면상에 표현될 수

있는 데이터의 분석에 널리 응용가능하다25). 선형 모델은, 일반적인 통계적 회귀분석이

그러하듯이, 함수를 구성하는 변수들과 그 계수를 살펴봄으로써 인공지능의 판단구조에

대한 이해가 쉽다는 것이 큰 장점이다. 그러나 데이터의 크기가 커지고 복잡해질수록, 효

율적인 연산이 어려워 제대로 된 판단을 내리기 어려워진다는 한계가 있다.

③ 확률 모델(probability model)

훈련용 데이터에서 라벨 𝑦가 특성 𝑥를 기준으로 할 때 확률적으로 어떻게 분포되어 있

는지 학습하여, 그 학습된 확률분포를 기준으로 삼아, 입력값에 대해 가장 확률이 높은

출력값을 제시하는 모델이다26). 베이즈의 정리를 응용한 나이브 베이즈(Naive Bayes)

모델이 널리 활용되며, 카테고리가 있는 데이터(categorical data)의 분류에 주로 사용

되고 있다.

④ 결정트리 모델(decision tree model)

일정한 입력에 대해 정해진 산출에 이르는 판단과정을 수형도(樹型圖)로 그린 것이 결

정트리다. 결정트리 모델은 범용적이고, 인간이 이해하기 쉽다는 장점이 있다. 그러나

데이터를 분류하기 위해 무한히 크고 복잡한 결정트리를 만드는 것은 비효율적이며 컴

퓨터의 제한된 연산능력으로 뒷받침될 수 없다. 따라서 결정트리 모델이 유용해지기 위

한 현실적인 관건은, 훈련 데이터를 수형도를 통해 최대한 간략하게 분류하고 결론에

이르는 과정을 단축시키는 것이다27). 그러나 기존의 학습용 데이터를 한 가지의 트리로

분류하려 할 경우, 새로운 상황에서 제시된 데이터를 적절히 판단하는 데에 한계가 있

을 수 있다. 이를 고려하여, 하나의 훈련 데이터에 대해 여러 개의 트리를 생성하고, 새

로운 입력값이 들어올 경우 그것들을 종합적으로 참고하여 산출값에 대한 결정을 내리

는 앙상블(ensemble) 기법28)이 대안으로 제시되기도 한다.

24) Peter Flach, 위의 책, pp. 216-219, 마쓰오 유타카, 위의 책, pp. 128-129

25) Ian Goodfellow · Yoshua Bengio · Aaron Courville, 위의 책, pp. 139-140.

26) Peter Flach, 위의 책, pp. 262-263, 마쓰오 유타카, 위의 책, pp. 126-127

27) Peter Flach, 위의 책, pp. 148-153.

28) Peter Flach, 위의 책, pp. 330-331. 앙상블 기법은 결정트리에 대해서만 활용되는 기법이 아니라, 여러 가지 모델을 동

시에 사용하여 산출값의 예측 정확도를 높이는 일반적인 기법을 일컫는다.

20

⑤ 인공신경망 모델(ANN, Artificial Neural Network)

인공신경망 모델은 입력에 대하여 학습에 따라 변화하는 가중치를 기준으로 삼아 출력

값을 산출하는 ‘뉴런’을 대량으로 서로 연결하여 입력값에 대한 판단을 내리는 방법으

로29), 인간의 두뇌가 지닌 신경망 모델을 흉내 내려는 시도에서 출발했다30). 인공망이

입력값에 대해 어떻게 출력값을 결정할 것인지는 뉴런 내부의 활성화 함수(activation

function)에 의해 조절되며, 뉴런의 출력이 목표와 어긋나서 오차가 생하는 경우에 오

차를 줄이는 방향으로 활성화 함수의 가중치를 조정함으로써 개별 뉴런의 학습이 이뤄

진다. 다만, 모델이 막 학습을 시작한 초기에는 뉴런 내부의 함수가 데이터를 학습할

여지가 없었으므로, 초기 가중치는 인간에 의해 지정되는 것이 일반적이다31).

이러한 개별 뉴런 모델 중 가장 널리 알려진 것이 퍼셉트론(perceptron)으로, 입력의

총합이 가중치에 따른 일정한 값을 넘으면 1을 출력하고, 그렇지 않으면 0을 출력함으

로써 0과 1이라는 두 개의 값으로만 출력을 결정하는 뉴런이다. 입력값을 두 개의 클래

스로 분류하여 어디에 속하느냐에 따라 0 또는 1을 출력하는 구분하는 모델인 셈이다.

이렇게 본다면 개별 퍼셉트론 자체는 일종의 선형 모델이라 할 수 있다. 따라서 신경망

모델은 각각의 뉴런 그 자체가 아니라, 뉴런들이 서로 얽혀있는 구조가 중요하다32).

입력값에 대해 퍼셉트론을 한 개의 층으로만 엮는 단층 퍼셉트론 구조는 선형 분리가

가능한 데이터만 분류해낼 수 있다는 근본적인 한계33)가 있으므로, 이를 극복하고 복잡

한 형태의 데이터를 처리할 수 있도록 퍼셉트론을 다층으로 쌓은 것이 현재 딥러닝 기

술의 기반을 이루고 있는 다층 퍼셉트론(Multi Layer Perceptron, MLP) 구조다. 그런

데 다층 신경망 모델에서 수많은 개별 뉴런들이 어떻게 서로 작동하는지를 일일이 파악

하고 통제하는 것은 불가능에 가까우므로, 개발자에게는 다층 신경망의 초기 가중치를

설정하고 이를 순차적으로 훈련시켜나가는 노하우가 중요해 진다. 또한 층을 늘린다고

29) Daniel Graupe, 『Deep Learning Neural Networks』, World Scientific (2016), pp. 14-16.

30) 장병탁, 위의 책, pp. 24-25

31) 마이클 네그네빗스키, 위의 책, pp. 220-225

32) 신경망 모델은 모든 뉴런이 함께 힘을 합쳐서 출력에 관여하는 구조가 아님에 유의할 필요가 있다. 이는 이 글의 뒷부분

에서 살펴볼 인공지능의 불투명성(opacity) 문제와도 관련이 있다. 예를 들어, 최신의 신경망 모델인 AlexNet은 정규화과

정에서 은닉층에 있는 각 뉴런의 출력을 50%의 확률로 그냥 0으로 만들어 제거하고, 그 제거된 뉴런은 전방으로의 출력

과 오류역전파에 모두 참여하지 않게 만든다. 이른바 “드랍아웃(Dropout)”이라 불리는 이 기법은 뉴런 간 연결이 특정한

뉴런에 의존하지 못하도록 만듦으로써 뉴런 사이의 공적응(co-adaptation)을 줄이는 효과가 있다. (장병탁, 위의 책,

pp.81-82, Daniel Graupe, 위의 책, pp. 50-51 등 참조)

33) 마이클 네그네빗스키, 위의 p. 229

21

성능이 무조건 향상되지는 않으므로, 과다학습을 방지하는 적절한 모델 복잡도를 찾는

것(model selection problem)은 인공신경망 모델의 중요한 문제가 되었다34).

머신러닝 연구자들은 이미 21세기 이전에 여러 층을 적절히 쌓는다면 더 나은 결과가

나올 수 있음을 알고 다층 신경망 모델의 개선을 추구해왔다. 그러나 예를 들어 신경망

을 다층으로 구성할 경우, 최종 출력에 관여하는 출력층은 목표로 삼고자 하는 오차의

최소화 정도가 분명하지만 그 아래의 층은 목표가 분명하지 않다는 문제가 있었다. 연구

자들은 출력층에 목표출력치가 설정되면 아래의 은닉층이 재귀적으로 계산하는 오류역

전파(error back-propagation) 알고리즘을 1986년에 개발하여 이 문제를 해결하려고

하였다. 그러나 오류역전파 알고리즘은 계산이 요구되는 분량이 많아서 학습속도가 느리

고, 출력층으로부터 먼 층일수록 오차신호가 희석되는(vanishing gradient) 문제가 있었

다. 딥러닝이 이룬 기술적 도약 중 하나는 각각의 층을 미리 훈련시키는 층별 선훈련

(layerwise pre-training) 방법으로 오류역전파 알고리즘의 오차신호 희석 문제를 극복

한 것이다35).

또 다른 발전 방향은 개별 뉴런을 이루는 활성화 함수의 개선이다. 앞서 살펴보았듯이

개별 퍼셉트론은 일종의 선형 모델이므로, 선형 분리가 가능하지 않은 복잡한 패턴의 데

이터에 대해서는 비선형 결정 경계를 갖출 필요가 있다. 이를 개선하고자 뉴런의 입력의

총합에 대해 시그모이드(sigmoid) 함수로의 처리를 거치는 방법이 개발되었다. 그런데

시그모이드 함수만으로 여러 층을 구성하여 오류역전파 알고리즘을 적용할 경우, 학습을

통해 형성된 경사도(가중치)가 사라지는 새로운 문제가 발생했다. 이 문제에 대응하기

위해서 비선형 구조를 지니는 정류선형유닛(Rectified Linear Units, ReLU)이라는 활성

화함수를 추가적으로 도입하여 오류역전파 과정에서 경사도가 사라지지 않도록 하는 방

법이 제시되었다36).

⑥ 컨볼루션 신경망 모델(CNN, Convolutional Neural Network)

딥러닝 기술은 개념상 인공신경망 머신러닝 모델의 연장에 불과하지만, 다양한 기술적 발전이

지속적으로 이루어지면서 종래의 단점들을 극복하고 우수한 성과를 내고 있는데, 그 방법론

중의 하나가 컨볼루션 신경망 모델이다. 이 모델은 영상 이미지 처리에 있어 기초 데이터

중 처리해야 할 유용한 학습 데이터를 추려내는 컨볼루션 커널(convolution kernels, 또는

34) 장병탁, 위의 책, p. 60

35) 장병탁, 위의 책, p. 52

36) 장병탁, 위의 책, pp. 34-36, p. 54

22

합성곱 커널)을 도입하여 과다학습을 방지하면서도 유용한 특징만을 학습할 수 있게 하였다.

즉 컨볼루션 신경망 모델은, 인공지능이 배워야 할 데이터를 알맞게 가공하여, 판단에 유용한

데이터를 위주로 더 많이 배울 수 있도록 함으로써 처리능력의 개선을 꾀하는 것에 혁신의

초점이 맞춰져 있다.

컨볼루션 모델은 크게 컨볼루션층(convolution layer 또는 convolutional layer)과 서브샘플

링층(subsampling layer 또는 pooling layer)으로 이루어져 있다. 컨볼루션 층에서는, 예를

들어 영상의 움직임에 따라, 입력되는 이미지의 위치가 변화하더라도 이를 동일한 매개변수로

처리할 수 있도록(parameter sharing), 특징맵(feature map)을 생성하여 모델이 학습하여

야 할 전체적인 매개변수의 수를 줄인다. 한편 서브샘플링층은 이미 만들어진 특징맵의 해상

도를 압축하여 문제의 복잡도를 줄이는 기능을 담당하고 있다37). 불필요한 연산량을 줄이는

한편(sparse interaction), 동등한 수준의 표현이 도출되도록 하여(equivariant

representation), 학습효율의 개선이 이루어지도록 하고 있는 셈이다. 이처럼 컨볼루션 신경

망 모델의 특성은 ① 뉴런간 상호작용의 감축(sparse interaction), ② 매개변수의 공유

(parameter sharing), ③ 동등한 표현(equivariant representation 또는 등변 표현)의 3가

지로 요약될 수 있다38).

컨볼루션 신경망 모델은 영상 데이터의 처리를 염두에 두고 발전해 왔으나, 기초 데이터의

특징들이 평면상의 특징맵으로 표현될 수 있기만 하면 컨볼루션 신경망의 적용이 가능하다는

점에서 상당한 범용성을 가지고 있다39). 서포트 벡터 머신이 함수의 일부를 교정하는 커널

(kernel)로 사용됨으로써 여러 인공지능 모델에 적용될 수 있었듯이, 컨볼루션 커널도 현대의

여러 딥러닝 기술에 널리 적용될 수 있는 것이다. 이에 따라 컨볼루션 신경망 모델은 오늘날

딥러닝의 발전 과정에서 가장 널리 쓰이는 모델이 되었다.

2) 비지도학습

비지도학습에 따른 인공지능은 데이터의 특성들을 자체적으로 분류하여 특성간의 관계를

분석하므로, 데이터 내 어떠한 특성 𝑥의 분포를 나타내는 함수 𝑓(𝑥)를 추론해내는 작업이라

할 수 있다. 지도학습은 인간이 인식한 특성을 학습하는 방식이나, 비지도학습은 인공지능이

37) 장병탁, 위의 책, pp. 72-75

38) Ian Goodfellow · Yoshua Bengio · Aaron Courville, 위의 책, pp. 329-330.

39) Daniel Graupe, 위의 책, pp. 41-43.

23

자체적으로 특성을 추출하므로 데이터의 좀 더 다양한 측면을 살펴볼 수 있다는 특징이 있다.

다만, 비지도학습은 달성해야 할 목표값이 𝑦로 한정되지 않은 것뿐이며, 훈련 데이터를 설명

할 함수를 제시하고 오차를 최소화하는 학습과정을 이용한다는 점은 마찬가지이다. 따라서 비

지도학습에서도 인공신경망 모델들이 활용되고 있으며, 훈련과정에서 과적합의 문제를 수정하

기 위해 외부의 개입이 이루어진다.

① 거리 기반 군집분석(distance based clustering)

데이터를 평면에 투사하였을 때, 포함된 데이터 포인트 사이의 거리를 최소화하는 군집

(cluster)을 찾아내고 이를 바탕으로 데이터를 분류하여 새로운 의미 있는 특성을 발견

해내는 것이다40). 대표적으로 K-means 알고리즘이 사용된다.

② 딥빌리프네트워크(DBN, Deep Belief Network)

이 모델은 인공신경망 모델의 일종으로, 개별 뉴런을 결정적 모델인 퍼셉트론 대신 확

률적 모델인 제한 볼츠만 머신(Restricted Boltzmann Machine)으로 대체한 것이다41).

이 모델은 지도학습처럼 라벨이 붙은 데이터를 예측하는 오차 값의 최소화 문제를 학습

할 목표로 다루는 대신, 자신이 관측한 데이터를 재생성할 확률을 최대화하는 것을 목

표(이처럼 입력값과 출력값을 동일하게 삼는 것을 목표로 하는 아이디이어는 제한 볼츠

만 머신 개발 이전에 이른바 ‘오토인코더(autoencoder)’라는 모델로 이미 제시된 바 있

다42))로 추구한다. 딥빌리프네트워크는 데이터에 내재된 특성과 추상적인 정보를 학습

과정에서 잘 표현하는 장점이 있다43).

3) 강화학습

지도학습과 비지도학습이 고정된(fixed) 훈련용 데이터의 분석을 다룬다면, 강화학습은 데

이터의 관측 순서가 학습결과에 영향을 미치는 특별한 훈련 방법이다. 모든 종류의 강화학습

은 주어진 상태(state)에서 행동(action)을 선택하는 정책함수(policy function)를 지니고 있

으며, 정책의 가치는 정책에 따라 취한 행동이 미래에 가져다주는 보상(reward)에 의해 평가

된다. 강화학습의 목표는 가치를 최대화하는 정책을 찾아내는 것이다44).

40) Peter Flach, 위의 책, pp. 242-249.

41) Daniel Graupe, 위의 책, p. 102.

42) 마쓰오 유타카, 위의 책, pp. 153-155

43) 장병탁, 위의 책, pp. 96-98, p. 104

44) 장병탁, 위의 책, pp. 168-169

24

행동에 따라 주어지는 상태가 바뀐다는 점에서, 강화학습은 ① 고정된 훈련용 데이터의 분

석이 아니라 행동에 따른 시행착오(trial and error)로 학습을 진행한다는 특징이 있다. 또한

강화학습은 행동에 따라 즉각적 보상을 받으면서도, ② 행동에 의해 주어진 상태 자체가 바뀌

어 이후의 모든 보상에 궁극적인 영향을 미친다는 점에서 지연 보상(delayed reward)이라는

특징이 있다. 한편 강화학습에 따른 인공지능은, ③ 기존의 효율적 행동을 계속(exploitation)

할 필요도 있지만, 더 많은 보상을 얻기 위해서는 새로운 선택을 할(exploration) 필요도 나

타난다. 이 3가지 특징은 지도학습과 구분하여 강화학습을 특징짓는 중요한 차이다45).

따라서 강화학습은 이번 단계의 행동에 따라 다음 단계의 상태가 결정되는 종류의 문제,

예를 들어, 바둑과 같은 게임에서 판단을 내리는 작업에 탁월하다46). 근래에 딥러닝의 사례로

일반대중에 널리 알려진 알파고(AlphaGo)가 바로 강화학습이 적용된 대표적 사례이다. 알파

고는 정책망(policy network), 가치망(value network), 몬테카를로 트리 탐색(Monte Carlo

tree search)이라는 세 부분으로 이루어져 있는데, 앞의 두 망은 앞서 살펴본 컨볼루션 신경

망으로 구성되어 있다. 이처럼 강화학습은 인공지능 고유의 모델을 분류하는 기준이라기보다,

인공지능의 여러 모델들을 어떻게 학습시킬 것인지에 관한 전략이라 할 수 있다.

라. 소결

근래 딥러닝이 이루어내고 있는 새로운 성과들을 보면 매우 인상적이지만, 그 근본원리 자

체가 새로운 것은 아니다. 딥러닝은 한정된 분량의 훈련 데이터에 기초한 학습과정을 통해,

새로운 입력값에 적용할 수 있는 일반화를 가능하게 하는 통계적 분석작업이라 할 수 있다.

다만 인공신경망 구조를 활용하게 되면서 그 과정이 과거에 비해 매우 고도화된 것이다. 그런

점에서 인공지능에 관한 법적 문제들은, 고도화된 통계적 분석도구의 활용을 법적으로 어떻게

다뤄야 할 것인지에 관한 현실적 문제인 경우가 많다.

그렇다면 딥러닝이 유발하는 현실적 문제는 무엇인가? 첫째, 딥러닝 인공지능은 훈련 데이

터를 필요로 하는데, 데이터는 과거의 현실에 기반을 둔 역사적(historical) 자료인 것이 보통

이다. 따라서 딥러닝 인공지능은 과거의 데이터를 바탕으로 현실을 일반화하여 현재와 미래를

설명하려는 머신러닝의 근본적 한계를 벗어나지 못할 뿐만 아니라, 과거의 데이터에 왜곡이

있다면, 그 왜곡을 체계적으로 일반화함으로써 과거의 왜곡을 현재와 미래에 재생산하거나 증

45) 장병탁, 위의 책, 170, pp. 187-191

46) Peter Flach, 위의 책, pp. 360-361.

25

폭할 우려까지도 있다. 이러한 왜곡의 재생산이나 증폭은, 인공지능의 사용자가 악의적 차별

의도를 전혀 가지고 있지 않더라도, 데이터 자체에 왜곡이 있는 것으로 인해 발생할 수 있다.

둘째, 딥러닝의 인공신경망 구조는 입력된 값에 대해, 연역적 논증을 거쳐 자명한 답을 찾아내는

것이 아니라, 과거의 의사결정에 기반을 둔 학습용 데이터를 학습하여 가중치가 정해진 여러 개별

뉴런들의 (확률적) 함수를 집합하여 가장 적합한 답을 찾는 방식으로 작동한다. 따라서 문제(입력

값)로부터 답(출력값)에 이르는 과정이 부분적으로 불투명(opaque)할 수밖에 없는 것이 일반적이

며, 그로 인해 ‘왜’ 특정한 답에 이르렀는지 설명하는데 어려움을 겪게 되는 것이 보통이다. 그러므

로 질문(입력)에 대한 인공지능의 답(결론)에 대한 ‘설명’의 개념을 어떻게 규정하느냐에 따라,47)

인공지능 함수(알고리즘) 자체에 대한 분석뿐만 아니라, 인공지능이 어떤 데이터로 학습했는지를

함께 살펴보아야 할 필요성도 있을 수 있다. 딥러닝의 이러한 문제는 차별에 대한 고려에 있어

매우 중대한 영향을 미칠 수 있는데, 이에 관해서는 4장에서 상세하게 살펴보기로 한다. 그에 앞서,

차별은 무엇인지, 이를 법의 울타리에서는 어떻게 고려하는지 살펴보기로 한다.

3. 법적 관점에서의 차별

가. 차별의 의미

차별이란 무엇일까? 모든 사람에게 똑같은 대우를 해야 평등하다는 이른바 ‘절대적 평등’의

입장에서는, ‘차별’이란 ‘상대방을 불리하도록 하는 모든 차등적 대우(different treatment)’를

의미한다고 생각할 수 있다. 그러나 현실적으로 모든 사람이 완전히 동일한 대우를 누릴 수는

없기에, 국내의 현행 법체계를 포함한 근대 입헌주의 이후의 법질서는 모든 개인에게 똑같은

대우를 보장하는 대신, ‘동등한 인간존엄성’을 최고의 헌법적 가치로 상정한다48). 이러한 시각

에서는 절대적 측면에서 차등적 대우에 해당하는 경우라도, 그러한 차등적 대우가 오히려 구

성원들의 동등한 인간존엄성을 실현하는 데 기여한다면, 바람직한 것으로 평가될 수 있다49).

47) 머신러닝 인공지능의 결정을 ‘설명’한다는 것은 한 가지로 정의내리기 어렵다. Lilian Edwards ･ Michael Veale, 위의 논문,

pp. 54-63은 인공지능의 결정에 대한 설명을 “인공지능이 어떠한 기술적 과정을 거쳐 결론에 이르렀는지, 예를 들어, 학

습 데이터는 어떻게 수집되었고 그것으로 어떻게 훈련했는지에 관한 모델중심 설명(Mode-Centric Explanation)” 방식과,

“입력과 출력의 관계가 어떠한지, 예를 들어, 나는 A라는 결과를 받았으나 나와 비슷한 연령 또는 인종적 배경을 지닌 친

구는 B라는 결과를 받았는데 그렇다면 나와 친구의 차이는 무엇에서 기인하는지, 또는 내가 받은 결과 A와 비슷한 결과

를 받은 사람들은 누구인지에 관한 주제중심 설명(Subject-Centric Explanation)” 방식으로 구분할 수 있다고 본다.

48) 윤영미, “평등규범의 사인에 대한 적용”, 헌법학연구 제19권 제3호 (2013), p. 42

49) 김도균ㆍ이상영, 『법철학』, 한국방송통신대학교 (2011), pp. 346-347. 또한 독일 ‘일반평등대우법’과 판례의 태도도 이와

같다고 한다(윤영미, 위의 논문, pp. 43-44).

26

이에 따라 오늘날 금지되어야하는 ‘차별’의 개념은 “같은 것은 같게, 다른 것은 다르게”라는

오랜 격언에서처럼 ‘상대적 평등’의 관점에서 이해되고 있다50). 그렇기 때문에, 차별에 관한

논의에서는, 차등적 대우가 존재하였다는 사실뿐 아니라, 차등적 대우가 발생하게 된 구체적

‘맥락(context)’ 또한 고려되어야 할 필요가 있다51). ‘상대적 평등’ 관점에서의 ‘차별’이란, ①

사실적 차원에서 ‘특정한 영역에서 동일하거나 유사한 지위에 위치하는 개인 또는 집단의 구

성원이 차등적 대우를 받았는지52)’ 여부, 그리고 그와 같은 차등적 대우가 ② 규범적 차원에

서 ‘정당화될 수 없는 부당한 것(wrongfulness, 또는 부당성53))인지’ 여부를 판단하는 두 단

계로 이뤄진 개념이라고 간략히 정리할 수 있다54)55). 인간에 대한 모든 차등적 대우가 법적으

50) 최승철, 『차별금지법의 이해』, 한울아카데미 (2011), p. 15. 다만, ‘불법의 평등’은 보통 인정되지 않는다.

51) 이준일, 『차별 없는 세상과 법』, 홍문사 (2012), pp. 14-15 참조.

52) ‘차등적 대우’와 유사한 용어로는 ‘구별(distinction)’, ‘차이(difference)’ 등을 생각해볼 수 있다.

53) ‘부당성’이 인정되더라도 차별은 아니라고 볼 수 있는 특수한 유형의 예외가 있을 수 있다. 그 대표적 유형으로는, ① 소위 ‘적극적

우대조치(affirmative action)’라고 일컬어지는, 소수자 집단에 대한 역사적 부정의를 시정하기 위한 목적의 잠정적 우대조치,

② 임신이나 출산의 과정에 있는 여성에게 부여되는 ‘모성보호조치’, ③ 자격증을 비롯하여 일정한 직업 수행에 있어 필수적인

조건을 뜻하는 소위 ‘진정직업요건(bona fide occupational qualification)’ 등이 있다(이준일, “차별금지법의 제정필요성과 입법적

고려사항”, 의정연구 제20권 제1호 (2014), p. 254). 그밖에도 독일 ‘일반평등대우법’ 제19조 제4항은 ‘친족 및 상속관계’가

존재한 경우, 동조 제5항은 친족이나 신뢰관계가 형성된 자에 대한 경우, 제20조는 종교, 장애, 연령, 성적정체성 또는 성별을

근거로 한 사법상 거래에서 차등적 대우를 하는 ‘객관적 이유’가 있는 경우 차등적 대우가 정당화될 수 있음을 명시하고 있다(박신욱,

“차별금지에 관한 일반법 도입을 위한 허용되는 차별대우 연구”, 비교사법 제22권 제3호 (2015), p. 1171 참조).

54) 이준일, 위의 책, pp. 26-27 참조. 철학적으로는 ‘비도덕적(non-moralized) 차별’은 의미 ①만을 포함하는 개념으로, ‘도

덕적(moralized) 차별’은 의미 ① 및 ②의 혼합개념으로 구분하기도 한다. Andrew Altman, “Discrimination”, Stanford

Encyclopedia of Philosophy (2015). (https://plato.stanford.edu/entries/discrimination) (최종 접속일：2018. 11. 1.)

55) 차별의 성립조건으로 부당성을 감안함으로써, 일반적으로 차별이라고 이름이 붙여지지만 부당하지는 않은 요소들을 차별의

논의로부터 덜어낼 수 있다. 예컨대, 경제학에서 말하는 ‘가격차별(price discrimination)’은 경제적 이윤극대화를 도모하는

과정에서 공급자가 개별 수요자에게 판매하는 재화의 거래가격을 달리 하는 것으로, 가격차별이 보다 정교하게 작동할수

록 거래로 인해 발생한 당사자들의 경제적 잉여는 수요자에게서 공급자에게로 이전된다. 가격차별은 공급자가 손해 보지

않고 판매하는 수준을 넘어선, 수요자가 기꺼이 지불하려는 값으로 판매가격을 수렴시키기 때문이다. 이러한 가격차별 역

시 인공지능에 의해 가속화될 수 있으며, 가격차별이 극단적인 수준에 이를 경우 개별 수요자들이 스스로 지불하려는 가

격이 공급자에게 전부 파악됨으로써 사회적 잉여가 공급자에게 전부 이전되는 상황에 직면하게 될 수도 있다. 가격차별에

따라 사회적 잉여의 총량이 줄어드는 것은 아니지만, 사회적 잉여의 분배가 공급자에게 기울어지는 것이 과연 정당한 것

인지에 관해서는 논란의 여지가 있다.

그러나 가격차별은 경제적 이윤극대화라는 객관적 목적을 추구하는 점에서, 단지 ‘가격’을 달리 정하여 판매하는 것만으로

그 행위가 인종, 성별, 장애 등의 차별금지사유에 의한 차별에 준하는 정도로 ‘부당’한 것이라 보기에는 어려운 측면이 있

다. ｢독점규제 및 공정거래에 관한 법률｣ 제23조 제1항 제1호 및 동법 시행령 제36조 제1항 [별표 1] 제2호 (가)목은

‘가격차별’을 ‘불공정거래행위’의 일종으로 규제하는데, 이는 가격차별을 법률 규범적인 개념으로써 ‘차별’의 한 형태로 파악

한 것이라기보다, 시장에서의 공정한 거래를 도모하기 위한 목적을 반영한 것이라고 보아야 할 것이다. 같은 맥락에서 대

법원의 다음 판결이 참고가 될 수 있다. “불공정거래행위의 한 유형으로 규정하고 있는 ‘가격차별’은 “부당하게 거래지역

또는 거래상대방에 따라 현저하게 유리하거나 불리한 가격으로 거래하는 행위”를 의미하므로, 가격의 차별적 취급에 해당

하는 모든 경우가 공정거래법 위반이 되는 것이 아니고, 거래지역이나 거래상대방에 따라 현저한 가격의 차이가 존재하고

그러한 가격의 차이가 부당하여 시장에서의 공정한 거래를 저해할 우려가 있는 경우에 성립한다. … [중략] … 가격차별이

부당성을 갖는지 여부를 판단함에 있어서는 가격차별의 정도, 가격차별이 경쟁사업자나 거래상대방의 사업활동 및 시장에

미치는 경쟁제한의 정도, 가격차별에 이른 경영정책상의 필요성, 가격차별의 경위 등 여러 사정을 종합적으로 고려하여 그

와 같은 가격차별로 인하여 공정한 거래가 저해될 우려가 있는지 여부에 따라 판단하여야 한다(대법원 2012. 6. 14. 선

고 2010다26035 판결)”.

27

로 금지되는 차별인 것은 아니고, 동등한 대우를 받아 마땅한 사람(또는 집단)에 대한, 규범적

으로 부당한 차등적 대우만이 금지되어야 하는 셈이다. 그렇다면 법적인 관점에서는 무엇이

‘차등적’ 대우이고, 무엇이 ‘부당’한가?

나. 관련 법리

차등적 대우가 금지되는 부당성을 판별하는 기준을 법의 테두리에서 표현하는 방식은 여러

가지가 있을 수 있다. 차별 피해자를 적극적으로 보호하려는 입장에서는 법령상의 차별금지사

유를 가급적 넓게 규정하거나 해석하려고 하는 경우가 많겠지만, 그러한 접근방식은 경우에

따라서는 정작 보호가 필요한 피해자에 대한 보호를 충분히 제공하지 못하거나 법적 안정성

을 해치는 결과로 나타날 수도 있다. 그와 대비되는 방식으로, 특정 차별금지사유를 법령에

한정적으로 열거하는 방식을 고려해 볼 수도 있다56).

1) 해외의 논의

① 차별의 분류

고용 등 사적 영역 일부까지 아우르고 있는 차별금지법제57)가 발달된 미국과 유럽에서

는, 법령에 명시된 차별금지사유를 직접적 원인으로 삼아58), 동등하게 대우받았어야 마

땅할 상대방을 차등적으로 대우하는 경우를 ‘직접차별(direct discrimination)’이라 부르

고 있다. 다른 한편, 법적으로는 차별금지사유로 금지되지 않은, 외관상 중립적 요소를

다만, 가격차별이 사회집단의 불평등을 고착하거나 강화하는 방향으로 나아갈 경우 결국 경제적 차별과 사회적 차별이 한

데 수렴한다는 점에서, 양자가 뚜렷이 구분될 수 없다는 지적도 있다. 예를 들어, Christopher Townley et al., “Big

Data and Personalised Price Discrimination in EU Competition Law”, King's College London Law School

Research Paper No. 2017-38 (2017), p. 44는 가격차별을 효율성과 공정성에 대한 평가가 상호작용하는 사례로 본다.

56) 다만, 법령에 열거되지 않은 기준이 차별금지사유에 해당된다는 점에 대한 증명책임 문제 때문에 차별금지사유를 명시하는 것이

피해자 보호에 유리하다는 주장으로, 김명수, “소수자보호와 차별금지법”, 홍익법학 제15권 제3호 (2014), p. 192.

57) 예컨대 독일 ‘일반평등대우법’에는 대량거래, 성질상 거래당사자가 큰 의미를 갖지 않는 거래, 보험(제19조), 공적인 성격이

강한 재화 및 서비스(제20조)에는 차별을 금지하고 있다(박신욱, 위의 논문, p. 1171). 한편, 유럽 공통참조기준초안(Draft

Common Frame of Reference, DCFR)도 재화나 서비스에 대한 차별금지를 규정한다(김진우, “민사계약에서의 차별금지 -

DCFR과 그것의 우리 사법(私法) 및 차별금지기본법의 입법에의 시사점 -”, 비교사법 제22권 제1호 (2015), p. 211 이하).

58) 차등적 대우는 규범적으로 부당한 것으로 평가된 차별사유에 의하여 유발된 것이어야 한다는 ‘인과관계’를 요구하는 경우도

있다. 미국과 영국의 법원은 인과관계를 판단하기 위한 기준으로 ‘조건설(but-for causation)’을 차용한다. 조건설에 의하면

규범적으로 부당한 것으로 평가된 차별사유가 없었더라도 같은 결정을 내렸을 것임이 증명되는 경우, 어떠한 판단을 내려야

할지가 문제될 수 있다(소위 ‘복합동기(mixed motive)’ 문제). 같은 맥락에서 미국 민권법 제7편은 차별사유가 없었더라도 동일한

결정을 내렸을 것임이 증명되는 경우에는 손해배상 책임을 경감하도록 하고 있다(최승철, 위의 책, pp. 49-50).

28

차등적 대우의 기준으로 삼았지만, 그 결과가 부당한 것으로 금지된 사유에 따른 차등적

대우, 즉, 직접차별과 유사한 상황을 낳는 경우를 ‘간접차별(indirect discrimination)’이

라 부르고 있다59). 그밖에 성희롱을 비롯한 ‘괴롭힘(harassment)’이나, 제3자에게 차별

을 ‘지시’하는 행위, 차별 신고에 대한 ‘보복(retaliation)’까지도 ‘차별’의 법적 개념에 포

함되기도 한다60). 다만, 괴롭힘, 보복 등의 차별 개념은 인공지능 맥락에서의 차별의 문

제와는 관련성이 높지 않아서, 이하의 논의에서는 ‘직접차별’과 ‘간접차별’ 개념에 주목하

여 논의를 전개하도록 한다.

② 차별의 심사기준

직접차별과 간접차별은 재판상 증명방식에 차이가 있다. 직접차별은 법률이 금지한 사

유로 차별을 한 것이므로, 어떤 차등적 대우가 직접차별에 해당한다고 주장하는 원고는

그 행위가 ① 본질적으로 동일하거나 유사한 지위에 있는 경우와 비교할 때 동등하게

대우받아야 할 사람(또는 집단)에 대한 차등적 대우이며, ② 차등적 대우의 사유가 법으

로 금지된 차별사유에 해당함을 증명함으로써 차별의 존재를 증명할 수 있다. 즉, 문제

되는 차등적 대우의 부당성은 그것이 차별금지사유에 의해 이뤄졌다는 점만 증명되면

곧바로 존재가 추정된다. 이에 대해 피고는 위 ①, ② 요건의 성립을 부인하거나, 요건

의 성립을 인정하면서도 문제되는 차등적 대우를 객관적으로 정당하게 만드는 또 다른

사유(일명 ‘객관적 정당화 사유’)를 제시함으로써 부당한 차별이 아니라고 항변

(defense)할 수 있다. 유럽연합(European Union, EU)은 유럽연합 차별금지법에서 각

차별금지사유에 대응되는 객관적 정당화 사유를 따로 두면서도61), 평등대우에 관한 지

침을 통해 ‘공공안정, 범죄예방, 보건, 타인의 권리와 자유의 보호 등 필요한 경우’라는

59) 이준일, 위의 책, p. 30. ‘간접차별’이라는 표현은 유럽의 용어로서, 본래 미국의 노동법에서 개발된 ‘차등적 영향

(disparate impact 또는 결과적 차별)’ 법리가 유럽에 수용되면서 직접차별에 대비되어 등장한 용어이다. 간접차별은 유럽

이 미국의 법리를 수용하여 개발한 것이므로 기본적인 구조가 유사하나, 구체적 적용에서는 다른 모습을 보인다. 예를 들

어, 미국의 차등적 영향 법리는 의도적 차별행위에 대비되는 개념으로 차별의 의도성을 고려하지 않도록 기획되었지만, 유

럽의 간접차별 법리는 의도적 차별행위(예를 들어, 은폐된 직접차별)와 분명히 구분하여 운용되지 않는다는 주장으로 최윤

희, “현행 남녀고용평등법의 간접차별 규정에 대한 비교법적 고찰”, 비교사법 제13권 제1호 (2006), pp. 655-657을, 또

는 성별임금차이에 대해서 미국은 공민권법(Civil Rights Act)과 다른 별도의 동일임금법(Equal Pay Act)을 두고 있으므

로 판단기준에 차이가 있지만, 유럽은 일반적인 차별금지법리가 적용되므로 차이가 없다는 지적으로는 심재진, “미국의 차

별적 영향 이론과 유럽연합의 간접차별 법리”, 노동법연구 제27호 (2009), p. 53 참조. 다만 이 글에서는 국내 법리와의

대비에 초점을 맞추기 위해, 미국과 유럽 법리 간의 구체적인 차이를 세밀하게 검토하기보다는, 두 법리가 공유하는 공통

적인 기본구조를 중심으로 논의를 전개할 것이다.

60) 이준일, 위의 논문, p. 253.

61) 예를 들어, 2006/54, 제14(2)조는 고용영역에서의 성차별에 대한 객관적 정당화사유로 ‘진정직업자격(a genuine and

occupational requirement’을 제시하고 있다. (헌법재판소 헌법재판연구원, 『간접차별법리에 관한 비교법적 연구 – 유럽인

권재판소와 EU사법재판소의 판례를 중심으로』, 비교헌법연구 2017-B-1 (2017), p. 45에서 재인용)

29

일반적인 객관적 정당화 사유도 비례원칙에 의한 검토를 거쳐 인정하고 있다62).

반면, 간접차별은 법령상 금지되지 않은, 일견 중립적인 사유에 의한 차별이므로, 어떠

한 차등적 대우가 간접차별이라고 주장하는 원고는 그 행위가 ① 본질적으로 동일하거

나 유사한 지위에 있는 경우와 비교할 때 동등하게 대우받아야 할 사람(또는 집단)에 대

한 차등적 대우이며, ② 법령상 차별금지사유로 보호받는 집단(protected group)에 특

정한 차별적 영향(particular disadvantage) 또는 차등적 효과(disparate impact)를 끼

침을 증명함으로써 간접차별임을 주장할 수 있다63). 직접차별에서는 차등적 대우의 ‘원

인’이 차별금지사유라는 점을 증명하면 차별의 존재가 추정되나, 간접차별에서는 차등적

대우의 ‘결과’가 차별적 영향에 이른다는 점을 입증하면64) 차별의 존재가 증명되는 셈이

다. 이에 대해 피고는 직접차별과 마찬가지로 ①, ② 요건의 성립을 부인하거나, 객관적

정당화 사유를 들어 항변할 수 있다. 객관적 정당화 사유의 검토는, 직접차별의 경우와

유사하게, 차별금지사유에 따른 개별적인 사유별로 이뤄지거나, 일반적인 객관적 정당화

사유로서 비례원칙의 검토를 받는다.

객관적 정당화 사유의 구체적인 사례를 살펴보면, 미국의 경우, 공민권법에 해당하지 않

는 분야에서는 법에 따라 개별적인 예외인정 사유65)를 규정하고 있어서 일반적인 객관

적 정당화 사유를 논하기는 어렵다66). 반면에, 유럽연합, 특히 EU사법재판소(CJEU)는

모든 종류의 차별에 대한 객관적 정당화 사유의 일반적 심사기준으로 비례의 원칙

(proportionality)67)을 제시하고 있다68). 비례의 원칙에 따를 경우, 목적은 정당

62) 2000/78/EC 제2조 제5항. (헌법재판소 헌법재판연구원, 위의 책, p. 46에서 재인용)

63) 최근 EU사법재판소(Court of Justice of the European Union, CJEU) 등의 판례가 직접차별과 간접차별의 구분을 ‘차별

적 영향(particular disadvantage)’을 끼쳤는지의 여부로 판단하는 것이 형식적인 기준이 아닌 실질적인 기준에 의한 구분

으로 변화하고 있다는 지적으로 헌법재판소 헌법재판연구원, 위의 책, pp. 63-64 참조.

64) 현실적으로 차별적 영향이 있었다는 사실을 피해자인 개인이 입증하기는 매우 어려운 경우가 많은데, 예를 들어 고용맥락

을 생각해 보면, 피해자인 개인(원고)은 가해자인 회사(피고)의 인사관리에 관한 전체적 정보를 얻을 수 없기 때문이다.

65) 예를 들어, 미국 고용상 연령차별금지법(The Age Discrimination in Employment Act)은 연령상의 차별에 대해 그러한

차별이 진정직업자격(bona fide occupational qualification)에 해당하면 차별의 예외를 인정하고 있다. (이준일, “연령차

별금지의 법제와 법적문제”, 미국헌법연구 제19권 제1호 (2008), pp. 113-114)

66) 공민권법상의 객관적 정당화사유마저도 상충하는 개념들을 병행하여 사용함으로써 일관된 기준을 보여주지 못하고 있다는

지적으로 심재진, 위의 논문, pp. 65-67 참조.

67) 비례의 원칙은 뚜렷한 사전적 기준이 아니며 판단에 있어 법관의 재량이 매우 넓기 때문에 재판의 결과를 사전적으로 예

측하는 것이 매우 어렵다. 비례의 원칙이 지닌 근본적인 문제로 과도한 재량과 모호성에 대한 비판으로는 Aharon Barak,

『Proportionality – Constitutional Rights and their Limitations』, Cambridge (2012), pp. 482-488 등 참고.

68) 채형복, “EU법에 있어 간접차별금지법리의 형성과 전개”, 법학논고 제56집 (2016), pp. 288-292 ; 헌법재판소 헌법재판

연구원, 위의 책, pp. 45-55

30

(legitimate)해야 하고, 수단은 적절(appropriate)하며, 필요(necessary)한 수준이어야만

한다. 경우에 따라서는 협의의 비례의 원칙(proportionality stricto sensu)으로 법익간의

형량이 요구될 수도 있다. 유럽인권재판소(European Court of Human Rights, ECHR)

또한 마찬가지로 ‘정당한 목적을 추구하지 않거나, 사용한 수단과 추구하는 목적 사이에

비례성이 성립하지 않으면’ 차별이라는 입장이다.

③ 차별의 심사기준에 관한 쟁점

차별금지 법리는 오랜 시간을 두고 발달해왔지만, 여러 측면에서 한계가 나타나기도 한

다. 이러한 한계는 인공지능 기술의 도입 맥락에서 중요한 이슈로 부각될 수도 있다.

이하에서는 (i) 차등적 효과 또는 차별적 영향 요건의 모호성과, (ii) 차별심사에서 의도

(intention)가 고려되어야 하는지 여부를 중점적으로 논의하도록 한다.

첫째, 간접차별의 성립요건으로서 미국 차별법리상의 ‘차등적 효과’와 유럽 차별법리상의

‘차별적 영향’의 판단에 관한 구체적이고 일관된 기준이 있는지가 문제될 수 있다. 일관

된 기준이 제시되지 못하고 있다면, 인공지능은 물론 인간 행위자조차 자신의 행위가

차별에 해당하는지를 사전적으로 판단하기 어려울 수 있어서 문제가 된다. 그 경우, 특

히 인공지능 맥락에서는, 인공지능 모형의 설정 과정에서 무엇을 어떻게 고려해야 할지

에 대한 근본적인 질문을 야기할 수 있다. 이에 관하여 널리 알려진 기준으로 미국의

평등고용기회위원회(Equal Employment Opportunity Commission, EEOC)에 의하여

제시된 ‘5분의 4 규칙(four-fifth rule, 또는 80% 규칙)’이 있다. 고용에서의 성적 간접

차별에 관하여 성별 간 격차가 20% 이상인 경우 차별이 있는 것으로 보는 것이다69).

그러나 왜 ‘5분의 4’인가? 예를 들어 독일에서는 고용에서의 차등적 대우로 인한 중대

한 불이익이 75%이상 여성에게 적용된다면 여성에 대한 간접적 차별이 존재한다는 견

해가 제시되고 있는데70), ‘5분의 4’와 ‘75%’가 각각 미국과 독일의 특수성이 반영된 의

미 있는 수치인지는 불분명하다. 미국 연방대법원도 5분의 4 규칙을 일종의 경험칙에

따른 일응증명(rule of thumb)인 것으로만 간주하고 있다. 그렇다고 하여 간접차별이

추정되는 차등적 효과가 어느 정도의 통계적 수치를 의미하는 것인지에 대하여 미국 연

방대법원이 명확한 기준을 제시하는 것도 아니다71). EU사법재판소(CJEU) 또한 간접차

69) 한지영, “차별금지법 제정을 둘러싼 쟁점의 비판적 검토：차별의 개념 및 구제조치를 중심으로”, 이화젠더법학 제3권 제1

호 (2011), pp. 102-105

70) 홍강훈, “평등권의 심사원칙 및 강도에 관한 연구”, 공법연구 제41권 제1호 (2012), p. 265 ; 황수옥, “독일 일반평등대

우법상 고용에서의 간접차별과 시사점”, 산업관계연구 제26권 제4호 (2016), p. 45

71) 심재진, 위의 논문, p. 56

31

별의 ‘차별적 영향’이 어느 정도여야 성립하는지의 명확한 기준을 제시하지 못한다는 비

판을 받고 있다72). 이처럼 모호한 심사기준은 무엇이 간접차별인지를 예측하기 어렵게

만든다73). 따라서 사회적 합의에 따라 구체화되어 명확히 금지되는 유형의 차별(예를

들어, 인종을 기준으로 대중교통 탑승을 차별하면 안된다)로 명시적으로 제한된 직접차

별과 달리, 간접차별의 경우에는 사전적인 기준을 명확히 하여 행정규제를 하는 것이

현실적으로 매우 어렵다는 문제가 있다.

둘째, 직접차별 또는 간접차별을 인정하기 위해 ‘차별하려는 의도(차별의도)’가 요건으로

증명되어야 하는지가 문제된다. 미국 연방대법원은 1970년대 이래 직접차별의 성립요

건으로 차별효과(discriminatory effect)는 물론, ‘정책결정권자가 특정한 집단에게 불이

익을 주기 위해 특정한 정책을 선택한 경우로서 차별효과를 단순히 예견했다는 것 이상

의 개념’으로 차별의도(discriminatory intent)가 모두 요구된다는 입장을 견지해오고

있다74). 그러나 원고가 소송에서 행위자인 피고의 차별의도를 증명하는 것은 일반적으

로 매우 어려운 일이기 때문에, 이후 연방대법원은 차별의도를 고려하지 않음으로써 증

명책임의 부담을 완화하는 법리인 간접차별, 즉, ‘차등적 효과(disparate impact)’ 법리

를 개발하게 되었다. 그러나 이러한 구분은, 행위자가 외견상 중립적인 기준을 택했을

때, 원고가 ‘의도가 은폐된 직접차별(masked discrimination)’인지 혹은 ‘의도하지 않은

간접차별’인지를 구분하여 소송전략을 달리 구성하여야 한다는 현실적인 부담을 주는

결과를 초래한다75). 다른 한편 유럽연합은 직접차별과 간접차별 모두에서 차별의도를

불법적인 차별의 요건으로 요구하지 않고 있다76).

④ 차별의 구제수단

법원이 특정한 행위를 차별금지법제상의 ‘차별’이라 인정하는 것은 어떠한 의미가 있는

가? 이 질문에 대답하려면 차별이라는 문제를 사회가 어떻게 다뤄야 할 것인지에 관한

정책적인 원칙을 생각할 필요가 있다. 공적 영역에서의 차별행위는 투표할 권리, 부당한

형사처벌을 받지 않을 권리 등 ‘국가에 대하여 개인 또는 집단의 헌법상 권리를 보호하

72) 헌법재판소 헌법재판연구원, 위의 책, p. 57

73) 예를 들어, 오늘날 유럽인권재판소(ECHR)가 시간제 노동에 대한 불이익에 대해 사안별로 상이한 입장을 취하고 있다는

지적으로 채형복, 위의 논문, pp. 289-290 참조.

74) 강승식, “미국 연방대법원의 평등심사에 대한 비판적 고찰”, 원광법학 제28권 제2호 (2012), pp. 185-187

75) 애초에 ‘차별의 의도’ 자체가 모호하고 불분명한 개념으로 차별의 부당성과 무관한 개념이라는 비판으로는 데버러 헬먼, 김

대근 역, 『차별이란 무엇인가』, 서해문집 (2016), p. 246 이하를 참조.

76) 헌법재판소 헌법재판연구원, 위의 책, p. 38, 42, 80

32

는 문제’로 귀결된다. 따라서 여기서는 국가의 이익과 개인의 권리라는 관계에서 차별의

부당성을 판단하고 적정한 구제수단을 모색하여야 하며, 개인에 대한 국가의 권리침해

를 방지하기 위해 여러 사전적인 행정조치, 또는 사법적인 임시조치가 적극적으로 활용

될 수 있다. 그러나 사적 영역에서의 차별행위는 ‘개인과 개인 사이의 권리를 조율하는

문제’로 귀결되며, 따라서 사적 당사자 사이의 자율성이 존중되어야 한다77).

이러한 맥락에서, 사적 영역에 적용되는 차별금지법제들은 사전적이고 일괄적인 행정규

제에 비해 사후적인 사법판단을 현실적인 구제수단으로 고려하는 경향이 있다. 예를 들

어, 미국의 공민권법은 법원의 사후적 판단에 따라 차별이 인정되는 경우 이를 구제하

기 위해 ① 차별행위의 금지, ② 복직 등 적극적 시정조치, ③ 그 밖에 법원이 적절하다

고 보는 구제수단이나 징벌적 손해배상 등을 인정한다78). 유럽의 경우, 유럽연합의 차별

금지에 관한 지침들은 개별 회원국들이 차별금지를 관철시킬 수 있는 제재수단 및 구제

수단을 입법하도록 요청하고 있으며79), 이에 따라 독일 등 개별 회원국은 손해배상과

원상회복 등 시정조치를 적절히 선택하여 구제수단으로 입법하고 있다. 이 때 차별 자

체의 성립여부에 관해서는 차별의도가 논해지지 않는 것과 달리, 손해배상책임의 성립여

부를 판단하기 위해서는 일반적인 불법행위의 법리에 따라 고의 및 과실이 요청된다80).

반면, 행정부의 사전적이고 구체적인 규제는 흔하지 않은 편인데, 법적으로 차별금지사

유를 곧장 적용하는 직접차별이라도 객관적 정당화 사유라는 항변이 존재하는 등, 차별

개념은 법령상 규정을 두더라도 모호한 영역이 남아있어서 사전적 판단에 한계가 있을

수밖에 없기 때문이다. 따라서 미국과 유럽에서 차별금지 문제를 다루는 정부기관들은

강력한 행정규제 수단을 발휘하기보다, 재판을 통한 피해자의 사후적 권리구제가 효과적

으로 이뤄질 수 있도록, 차별에 관한 사적 영역의 분쟁사건에서 사실관계를 체계적이고

공평하게 규명할 수 있도록 강력한 조사권을 가지고 재판부에 체계적으로 정보를 전달하

거나81) 사전에 중재를 유도하여 분쟁해결을 지원하는 기관82)으로 운영되는 경우가 많다.

77) 예를 들어, 유럽연합의 차별관련 지침을 법제화하기 위해 독일이 제정한 일반평등대우법의 제정과정에서, 제정에 반대하는

세력은 ‘불분명한 법 개념들의 적용으로 인하여 특히 중간 규모나 작은 규모의 기업들에게 불확실성을 가져올 것이며 또한

계약 당사자들 사이에 불확실성과 다툼을 유발시켜 계약자유의 원칙을 저해’할 수 있음을 주장한 바 있다. 이와 관련하여

서는 황수옥, “독일 일반평등대우법의 제정과정과 시사점”, 노동법학 제57권 (2016), pp. 79-80 참조.

78) 이승길, “미국의 고용차별금지법 개관”, 한국법제연구원 최신외국법제정보 (2015), pp. 10-14.

79) 신옥주, “유럽연합의 반차별지침 고찰”, 공법학연구 제9권 제2호 (2008), p. 216 등.

80) 예를 들어, 독일의 사례로는 황수옥, “간접차별금지 실효성 강화를 위한 구제방법과 절차 - 독일 판례분석을 중심으로”, 산

업관계연구 제27권 제2호 (2017), pp. 121-127 참고. 독일은 고용상 차별에 대한 구제수단에서 원상회복의무를 두지 않

고 있는데, 이는 제3자에게 피해를 주지 않기 위함이다.

33

2) 국내의 논의

① 개관

우리나라의 차별금지법리가 미국 및 유럽의 차별금지 법리와 다른 특징은 크게 두

가지다.

ㅇ우리나라는 별도의 포괄적인 차별금지법이 없고, 헌법상으로도 차별금지사유를 열거하

지 않고 있으므로 특별법에서 별도의 규정을 두는 경우를 제외하고는 일반적으로 직

접차별과 간접차별을 구분하지 않으며, 모든 종류의 차별에 대하여 차별의도를 별도로

심사하지 않는다.

ㅇ우리나라의 차별금지 법리는 원칙적으로 공적 영역에만 적용되며, 사적 영역에는 제한

된 형태의 차별만이 금지되고 있다.

② 헌법상 평등권에 대한 침해로서의 차별

우리나라에서는 차별금지에 관한 별도의 일반법을 두고 있지 않으므로, 헌법의 원칙이

차별금지에 관한 법리의 일반적인 근거가 되고 있다. 따라서 장애라는 특정 차별사유에

대한 기본법으로서 「장애인차별금지 및 권리구제 등에 관한 법률(이하 ‘장애인차별금지

법’)83)」과 같은 일부 특별법을 제외하면, “…정치·경제·사회·문화의 모든 영역에 있어서

각인의 기회를 균등히 하고…”라는 헌법 전문과, “모든 국민은 법 앞에 평등하고, 성별·

종교 또는 사회적 신분에 의하여 정치, 경제, 사회, 문화적 생활의 모든 영역에 있어서

차별을 받지 않는다”는 헌법 제11조 제1항이 차별금지의 일반적인 근거가 된다. 헌법

제11조 제1항은 ‘성별, 종교, 사회적 신분’만을 차별사유로 열거하고 있지만, 이것은 열

거적･한정적인 표현이 아니라 예시적･개방적인 규정으로 해석하는 것이 통설과 판례의

입장이다84). 그밖에 헌법 제31조, 제32조, 제36조 등에서 구체적 영역들에 관한 차별

81) 예를 들어, 프랑스의 차별철폐청(HALDE, Haute Autorite de lutte contre les discriminations et pour l'egalite)이 이

와 같은 강력한 조사권한을 갖고 있다. 이에 관하여는 김도승, “프랑스 차별금지 법제도에 관한 소고”, 법학논총 제19권

제1호 (2012), pp. 132-138을 참조.

82) 예를 들어, 미국의 평등고용기회위원회(EEOC)가 사전적인 중재권한을 중점적으로 행사하고 있다. 이에 관하여는 이주희,

“미국의 차별시정기구”, 국제노동브리프 제3권 제1호 (2005), pp. 69-72 참조.

83) 이와 같은 특별법들은 직접차별과 간접차별을 차별행위의 정의에 포함하는 것이 특징이다. 일례로 장애인차별금지법 제4조

제1항 제1호는 ‘장애인을 장애를 사유로 정당한 사유 없이 제한ㆍ배제ㆍ분리ㆍ거부 등에 의하여 불리하게 대하는 경우’라

하여 직접차별을, 동항 제2호는 ‘장애인에 대하여 형식상으로는 제한ㆍ배제ㆍ분리ㆍ거부 등에 의하여 불리하게 대하지 아니

하지만 정당한 사유 없이 장애를 고려하지 아니하는 기준을 적용함으로써 장애인에게 불리한 결과를 초래하는 경우’라 하여

간접차별에 가까운 규정을 두고 있다. 이처럼 장애인차별금지법 상 정의규정에 간접차별 개념이 포함되어 있다고 보는 견해

로는 최윤희, “장애인차별금지 및 권리구제 등에 관한 법률에 대한 소고”, 일감법학 제35호 (2016), pp. 371-373 참조.

84) 헌법재판소 2014. 2. 27. 선고 2011헌마825 결정 등 참조.

34

금지 내지 평등 관련 규정이 마련되어 있다. 그러나 ‘차별’ 내지 ‘평등’의 의미가 구체적

으로 무엇인지에 대하여는 헌법은 이를 직접 규정하지 않고 해석에 위임하고 있다85).

법률의 위헌 여부를 심판86)하는 우리나라 헌법재판소는 어떤 법률이 헌법상 평등원칙에

위배되는지를 판단함에 있어 해외에서와 마찬가지로 ‘상대적 평등’의 관점을 따르고 있

다. 다만, 그 적용범위에 대하여, 헌법 제11조 제1항이 직접 적용되는 것은 차별 주체

가 공권력인 경우로 한정된다고 바라보는 것이 전통적 견해이다87). 따라서 사적 영역에

서 사인(私人)간 차별이 발생했을 때 헌법상 기본권으로서 평등권(또는 평등원칙)이 무

력화되는 것이 아니냐는 문제제기가 있어왔다88).

이 문제에 대한 해결방안으로, 헌법상 기본권도 사인 간의 관계에 적용될 수 있다고 보

아 별도의 차별금지법 제정 없이도 법원이 사인 간의 분쟁에 대한 재판에서 헌법상 기

본권인 평등권을 근거로 하는 판결을 내릴 수 있다는 일명 ‘기본권의 대(對)사인적 효

력’이라는 이론이 제시되었다. 기본권의 대사인적 효력을 긍정할지에 대하여는 견해가

나뉘었는데, 긍정설 내에서도 기본권을 재판에 직접 근거규정으로 원용할 수 있는지 여

부를 두고 헌법상 기본권도 곧바로 재판에 적용된다는 ‘직접적용설’과 헌법상 기본권은

개별 법률의 규정을 매개로 재판에 적용된다는 ‘간접적용설’이 대립해 왔다89).

기본권의 대사인적 효력에 대하여, 대법원은 서울기독교청년회(YMCA)가 여성 회원을

총회원자격심사에서 원천적으로 배제한 것이 여성 회원의 인격적 법익을 침해하여 손해

배상책임에 이르는지 문제된 사건에서 간접적용설에 가까운 입장을 보였다90). 대법원은

이 사건에서 헌법상 기본권은 성질상 사법(私法)관계에 직접 적용 가능한 경우를 제외

하면, 사법상 일반원칙을 형성하고 그 해석기준으로써 간접적으로 사법관계에 효력을

85) 송석윤, 위의 논문, pp. 10-11

86) ｢헌법재판소법｣ 제2조 제1호 등 참조

87) ‘행정소송법’상 항고소송, ‘헌법재판소법’상 위헌법률심판, 헌법소원심판 등을 통해 권리를 구제받을 수 있다(홍관표, “차별

금지법 제정 추진상 쟁점 및 과제”, 저스티스 통권 제139호 (2013), p. 316).

88) 사적 영역에서의 차별금지와 관련하여 국내에서는 민사법상의 대원칙인 ‘사적자치의 원칙(계약을 체결하지 않을 자유, 계

약 상대방을 결정할 자유 등)’을 근거로 부정하는 입장과, 사적자치의 원칙의 폐해를 시정할 필요, 사회통합 효과, 차별구

조의 악순환 등을 이유로 예외적으로 긍정하는 입장이 대립 중이다. 전자의 견해는 박신욱, 위의 논문, p. 1185을, 후자

의 견해는 김명수, 위의 논문, pp. 190-191 ; 김진우, 위의 논문, p. 235 ; 박신욱, 위의 논문, pp. 1177-1178 ; 윤영미,

위의 논문, p. 50 이하 ; 이재희, “사적 자치와 차별금지법”, 저스티스 통권 제165호 (2018), pp. 48-50 등 참조.

89) 윤영미, 위의 논문, p. 65

90) 대법원 2011. 1. 27. 선고 2009다19864 판결. 이 판례는 평등원칙에 의한 사인간의 차별금지 규율 문제는 ‘사적자치의

원칙’ 내지 사인이 단체일 경우 ‘결사의 자유’를 제한하는 것이기 때문에, 차별적 처우가 사회공동체의 건전한 상식과 법감

정에 비추어 볼 때 도저히 용인될 수 있는 한계를 벗어난 경우 비로소 사회질서에 위반되는 행위로서 위법한 것으로 평가

할 수 있다는 것으로 제한적으로 해석한다.

35

미친다고 보았다. 헌법상 평등권의 침해도 민법상 일반조항을 매개하여 인격적 법익침

해에 대한 손해배상의 형태로 구체화되어 논할 수 있으므로, 평등권의 침해에 의한 손

해배상책임을 인정하기 위하여 반드시 사인간의 평등권 보호에 관한 별개의 입법이 필

요하지는 않다는 것이다. 이 판결은 우리나라에서도 사인간 차별에 대해 손해배상이라

는 구제수단을 인정할 수 있는 가능성을 열어준 것이다.

③ 평등권의 심사기준

헌법재판소는 평등권 침해 여부의 심사기준을, (i) 본질적으로 동일한 집단 사이의 차별

적 취급과 (ii) 차별적 취급의 합리성 여부라는 두 단계로 나누어 보고 있다.

첫째, 본질적으로 동일한 비교 대상임에도 차등적으로 대우되고 있으면 차별적 취급(‘차

등적 대우’의 판례상 용어)이 성립한다. 즉, 본질적으로 동일하지 않은 집단(또는 개인)을

서로 다르게 취급하는 것은 차등적 취급이 아니기 때문에 평등권 침해를 논할 여지가 없

다. 그렇다면 어떤 집단이 본질적으로 동일한가? 이에 대하여 명확하게 제시된 요건은

없다. 헌법재판소는 일반적으로 관련된 헌법규정 및 위헌 여부가 문제되는 당해 법률규

정의 의미와 목적을 종합적으로 판단하여 집단 간의 본질적 동일성 여부를 판단한다고

하고 있으나91), 이는 결국 재판부가 다양한 요소들을 감안하여 재량적으로 판단하는 것

에 지나지 않으므로 유사한 선례가 없는 당사자들은 자신의 행위가 차별에 해당될지 여

부를 사전에 예측하기 어렵다.

둘째, 만약 차별적 취급이 존재하는 경우, 그것이 합리적이었는지 여부에 대한 심사기준

은 다시 한 번 두 가지로 나뉜다. 헌법재판소는, ① 헌법에서 특별히 평등을 요구하거나,

차별적 대우로 인하여 관련 기본권에 대한 중대한 제한을 초래하게 되는 경우는 합리적

이유의 유무 심사에 그치지 않고 차별취급의 목적과 수단 사이에 엄격한 비례관계가 성

립하는지를 기준으로 하는 소위 ‘비례의 원칙92)’을 활용하며, ② 그렇지 않을 경우 완화

된 심사척도인 소위 ‘자의금지 원칙’을 활용하고 있다(헌법재판소 2011. 10. 25. 선고

2010헌마661 결정 등 참조)93). 합리성 심사기준을 통과하지 못한 차별적 취급은, 비로

91) 헌법재판소 2006. 1. 17. 선고 2005헌마1214 결정 등 참조.

92) 차별취급의 목적과 수단 간에 엄격한 비례관계가 성립하는지를 기준으로 하는 심사로(헌법재판소 2003. 1. 30. 선고

2001헌바64 결정 등 참조), 일반적으로 차별적 취급 목적의 정당성, 차별적 취급의 적합성, 차별적 취급의 필요성, 법익

의 균형성의 4가지 단계로 나누어 판단된다.

93) 여기에 더하여, 헌법재판소는 동일 사안에서 엄격한 심사기준과 완화된 심사기준을 함께 적용하여야 하는 사안에서 일종

의 ‘완화된 비례심사’를 채택하고 있다(최승철, 위의 책, pp. 296-297). 이 경우 4단계 비례심사를 모두 거치되, 심사강도

를 다소 완화하는 방식을 취한다(헌법재판소 2001. 2. 22. 선고 2000헌마25 결정 등 참조).

36

소 헌법 제11조 제1항이 금지하는 ‘차별’에 해당하게 된다94). 다만, 비례의 원칙은 물론,

자의금지 원칙 역시 어디까지나 ‘자의적’인 불평등을 제한하는 것이므로 차별의도와는 관

련이 없다고 생각된다95).

우리나라는 사적 영역의 차별에 관한 일반적 요건을 정립할 기회 자체가 많지 않았으므

로, 앞서 살펴본 YMCA 사건에서 대법원이 손해배상책임이 인정되는 ‘위법한 차별’의 기

준에 대해 설시한 요건을 통해 법리를 검토해 볼 필요가 있다. 대법원은 차별적 처우가

사회공동체의 건전한 상식과 법감정에 비추어 볼 때 도저히 용인될 수 있는 한계를 벗어

난 경우로서, 사회질서에 어긋난 것인지 여부를 판단함에 있어 ① 사적 단체의 성격이나

목적, ② 차별처우의 필요성, ③ 차별처우에 의한 법익침해의 양상 및 정도 등을 종합적

으로 고려하여야 한다고 보았다.

각각의 요건을 좀 더 구체적으로 살펴보면, 대법원은 ① 사적 단체의 성격이나 목적과

관련하여서는, 대외적으로 그 단체가 사회공동체 내에서 순수하게 사적인 영역에서만 활

동하는지 아니면 일정 부분 공공적 영역에서 활동하며 공익적 기능도 수행하는지와 대내

적으로 그 단체의 구성원에게 제공되는 구체적인 역무의 내용과 성격 등을, ② 차별처우

의 필요성과 관련해서는 그러한 차별처우가 단체의 정체성을 유지하기 위하여 불가피한

것으로서 필요한 한도 내의 조치였는지 여부를, ③ 차별처우에 의한 법익 침해의 양상

및 정도와 관련하여서는 해당 구성원의 단체가입 목적, 이를 위한 단체 내 활동에서의

제약 정도와 기간, 가입목적 달성을 위한 대체적 단체의 가입 가능성 유무, 가입시 단체

내 차별처우 존재에 대한 인식 여부, 차별처우에 대한 문제제기 기간과 이에 대한 그 단

체의 대응방식 등을 우리 사회의 건전한 상식과 법감정에 비추어 합리적으로 고려하여야

한다고 판단기준을 구체적으로 설시하고 있다96).

④ 차별에 대한 구제수단

차별행위에 대한 구제수단으로는 손해배상, 원상회복, 재발방지조치 등이 흔히 거론된

다. 이러한 구제수단들은 차별금지에 관한 각각의 특별법마다 약간씩 다르게 규정되어

있으나, 손해배상의 일반원칙에서 크게 벗어나지 않고 있다. 고용영역의 경우, 차별행위

94) 결과적으로 ‘합리적이지 않은 차별취급’이 ‘차별’에 해당한다는 의미가 되므로, 맥락상 판례가 언급하는 ‘차별’이라는 표현은

‘차등’이 적절하다는 지적이 있다(김해원, “‘평등권’인가 ‘평등원칙’인가?”, 헌법학연구 제19권 제1호 (2013), p. 232 참조).

95) 제대군인지원에 관한 헌법재판소 결정(일명 ‘군가산점 사건’)이 차별의도에 대한 고려 없이 차별효과만을 고려한 것으로 해

석하는 입장에 관하여는 강승식, 위의 논문, pp. 193-194 참조.

96) 다만 해당 사안의 차별주체가 사인이 아닌, 사적 단체이기 때문에 판단기준은 사적 단체를 전제하고 있다. 하급심 판례로

는 대전지방법원 천안지원 2006. 7. 20. 선고 2005가합5440 판결 등 참조.

37

가 급여 차별이나 해고로 이어진 경우에는 「근로기준법」 제6조, 제23조 및 「남녀고용평

등과 일ㆍ가정 양립 지원에 관한 법률(이하 ‘남녀고용평등법’)」 위반으로 위법성이 인정

된다. 위법한 해고에 대하여는 무효를 다툴 수 있으며97), 고의 또는 과실이 있는 위법

한 행위의 존재, 그리고 그로 인하여 손해가 발생하였다는 인과관계와, 손해의 존재가

인정되면 손해배상98)도 성립할 수 있다99). ｢고용상 연령차별금지 및 고령자고용촉진에

관한 법률｣은 제4조의7에서 시정명령 제도를 통해 차별행위의 중지, 원상회복 등의 구

제수단을 갖추고 있다. 장애인이라는 인적 속성에 대한 차별의 경우, 「장애인차별금지

법」은 제46조에서 손해배상을, 제48조에서 적극적 조치를 인정하고 있으며, 제49조를

통해 형사처벌까지 가능하도록 규정하고 있다. 다만 동법 제46조 제1항은 고의나 과실

이 인정되지 않는 경우에는 손해배상책임을 인정하지 않고 있는데, 이는 일반적인 손해

배상책임 법리의 연장선이라 할 수 있다.

이러한 별도의 개별법이 없는 사적 영역에서의 차별이라도, 위에서 살펴본 것과 같이

대법원은 헌법상 평등권 규정의 간접적용설에 따라 손해배상을 인정하고 있다. 따라서

국내에 차별금지법이 없더라도, 차별행위에 대해 사후적으로 법원이 손해배상을 인정함

으로써 차별로 인한 피해를 구제하고 장래에 발생할 수 있는 차별을 억제하는 효과를

기대할 수는 있다100).

한편 차별을 방지하기 위한 사전적 행정규제의 주무부처로서 국가인권위원회가 존재하

고는 있으나, 「국가인권위원회법」은 기관을 설치 및 조직하는 법률에 불과하여 많은 한

계가 있다. 국가인권위원회법에 관해서는, 적어도 문언상으로는 간접차별을 포괄하고 있

지 않은 점101), 권고조치만 할 수 있어 차별구제의 실효성이 낮은 점, 차별의 규명에

관한 증명책임의 전환을 명시한 규정이 없는 점 등에 대한 한계가 지적되고 있다102).

97) 대법원 1992. 8. 14. 선고 91다29811 판결 등 참조.

98) 대법원 2006. 7. 28. 선고 2006다17355 판결 등 참조.

99) 국내의 노동법상 차별에 대한 사법적 구제수단으로는 서혜진, “차별적 처우 금지 위반의 효과 및 구제의 내용”, 노동연구

제19호 (2009), pp. 67-73 참조.

100) 불법행위법의 예방적 기능을 법경제학적으로 분석한 문헌으로는 권영준, “불법행위법의 사상적 기초와 그 시사점 - 예방과

회복의 패러다임을 중심으로”, 저스티스 통권 제109호 (2009), p. 77 이하 참조.

101) 그러나 국가인권위원회는 ‘국가인권위원회법’상 ‘차별’ 개념에 ‘간접차별’도 포함된다고 해석(국가인권위원회 상임위원회,

2005. 5. 18.자 ‘인천광역시 일부 자치법규에 대한 국가인권위원회의 의견’ p. 15 참조)하였고, 이에 대해서는 논란이 있다.

102) 홍관표, 위의 논문, pp. 325-326.

38

다. 소결

법적인 의미에서의 차별이란 본질적으로 동일한 두 사람 또는 집단을 부당하게 차등적으로

대우하는 것이다. 차등적 대우가 차별에 해당하는지 여부는 어떻게 판단되는가? 첫째, 다르게

대우한 기준이 차별금지법상 금지되는 사유라면 직접차별이 성립한다. 둘째, 다르게 대우한

기준이 차별금지법상 금지되지 않는 사유라도, 당사자들이 본질적으로 동일하여 같은 대우를

받아야 함에도 불구하고, 차별적 취급을 받은 경우에는 위법성이 인정될 수 있다. 다만, 두

경우 모두 차별적 취급(차등적 대우)을 합리화할 수 있는 (또는 객관적으로 정당화할 수 있

는) 사유가 없는 경우에 비로소 최종적으로 차별이 성립한다.

어떤 행위가 법적인 차별에 해당할 경우, 이에 대한 대응은 각국의 법제마다 다양한 형태

로 나타나고 있으나, 이를 크게 사전적 행정규제와 사후적 사법판단으로 구분해볼 때 일반적

으로 후자의 중요성이 강조된다. 공적 영역에서의 차별과 달리, 사적 영역에서의 차별은 사적

자치의 원칙을 존중하여 해결될 필요가 있기 때문이다. 또한 법적인 차별 개념은 부당성에 관

한 서술을 포함하고 있는데다, 특히 간접차별의 성립요건들은 대부분 모호하고 판단이 어려운

탓에 사전적 행정규제를 적용하기 어렵다는 한계도 있다. 따라서 사후적 사법판단이 차별 문

제에서 보다 중요한 역할을 하며, 구제수단으로 손해배상, 원상회복, 형사처벌 등이 다양하게

활용되고 있다.

4. 인공지능 그리고 차별

이 글의 1장에서 제기한 질문으로 돌아가 보자. “인간이 인공지능을 활용하여 행하는 차별

행위를 법적으로 어떻게 취급하여야 하는가?” 우리는 2장에서 오늘날의 인공지능인 딥러닝이

고도화된 통계적 분석도구에 지나지 않음을 살펴보았다. 그렇다면 회사 채용담당자가 과거의

인사자료를 바탕으로 훈련된 인공지능에 신규지원자들의 정보를 입력해서 차별적인 채용에 이

르는 것과, 채용담당자가 직접 과거의 인사자료와 신규지원자들의 정보를 읽고 나름대로 과거

채용전례에 맞게 차별적인 채용을 하는 것과 어떤 차이가 있을까? 결론부터 말하자면, 구조적

차이는 없다. 인간이 인공지능을 활용할 때 나타나는 차별은 결국 인간이 직접 의사결정을 하

는 상황에서 나타나는 차별의 연장선에 있는 것으로 파악할 수 있고, 그런 점에서 그에 대한

규율의 근본원리는 3장에서 살펴본 것과 크게 다르지 않다.

39

하지만 문제의 근본적인 구조는 같다고 해도, 인공지능을 활용했다는 사실로 인해, 사실관

계를 차별의 성립요건에 포섭하거나, 또는 사실관계를 밝혀내는 것에 커다란 어려움이 나타날

수 있다. 오늘날 점점 더 활용도가 높아지고 있는 인공지능인 딥러닝은 대부분 과거의 역사적

데이터를 훈련에 사용하므로 아무런 의도 없이도 왜곡(특히 차별)을 재생산할 수 있으며, 인

공신경망 구조라서 그 의사결정 과정은 불투명하다. 이러한 특징은, 인공지능과 차별에 관한

선행 연구들에 비춰볼 때, 차별에 대해 적용되는 법적 통제로서 사후적 구제수단과 사전적 행

정규제에 대해 다음과 같은 우려를 야기할 수 있다.

① 차별의 사후적 사법판단에 관한 실체법적 문제：인공지능을 활용한 차별행위는 차별성

립에 관한 기존의 판단요건들을 회피할 수 있다. 특히 인공지능을 활용한 차별행위자들

은, 차별적 영향이 발생한 상황에서도 자신은 인공지능을 사용했을 뿐 차별의도

(intention)는 없었다고 주장하거나 의도를 은폐(masking)함으로써 법적 책임을 회피할

우려가 있다.

② 차별의 사후적 사법판단에 관한 절차법적 문제：인공지능은 인공신경망 구조의 복잡성

으로 인해 작동과정이 근본적으로 불투명(opaque)한데다, 상업적으로 개발된 탓에 영

업비밀로 보호받고 있어 재판절차에서 차별의 사실규명이 난해해질 우려가 있다.

③ 차별의 사전적 행정규제에 관한 문제：현재 활용되는 인공지능이 지능을 갖추기 위해

필요로 하는 훈련 데이터가 많은 경우 이미 차별이 발생한 과거의 현실에 기반을 둔

역사적 데이터(historical data)라는 점에서 이미 발생한 차별을 경로의존적

(path-dependent)으로 강화할 우려가 있는데, 규제의 시각에서는 훈련 데이터의 관리

와 알고리즘의 구성에 관하여 매우 어려운 문제를 야기한다. 아래에서는 이러한 문제들

에 관하여 상세히 살펴보도록 한다.

가. 차별의 사후적 사법판단에 관한 실체법적 문제

위에서 논의한 것과 같이, 법적으로 차별이란, ① 동등한 대우를 받아야 마땅한 당사자들

을, ② 정당화할 수 없는 사유로, ③ 차별적으로 취급하는 것을 의미한다. 이들 요건 중 무엇

이 인공지능의 도입으로 인해 해석상의 어려움에 직면하는가? 이론적으로는 이들 중에서 무

엇도 별도의 추가적인 어려움을 야기하지 않는다. 실제로 인공지능과 차별의 법적 담론에서,

차별의 요건에 대해 가지는 선행연구들의 문제의식은 차별의 성립요건이 아닌, ‘차별의도

(intention)’에 집중되어 있다103). 인공지능을 사용함으로써 차별의도가 은폐되어 문제가 된다

40

는 선행연구들의 주장은 크게 두 가지의 서로 다른 맥락에서 전개되고 있으므로 이를 각각

검토해본다.

첫째, 인공지능을 사용하여 겉으로는 중립적인 것처럼 보이는 대체변수(proxy)를 추출함으

로써 자신의 차별의도를 ‘은폐(masking)’하는 것이 문제라는 우려다104). 그러나 외관상 중립적

기준에 의한 차등적 대우라도, 차별적 영향이나 차등적 효과를 유발함에도 이를 합리화하거나

객관적으로 정당화할 수 없다면 간접차별 법리에 포섭될 수 있다. 그리고 앞서 보았듯 간접차

별에는 차별의도가 문제되지 않는다는 것이 중론이다. 그러므로 인공지능을 활용한 차별의도

의 은폐가 문제될 수 있다는 지적은 적어도 국내의 차별금지 법리를 적용하고, 실제 사안을

해결하는 데 있어서는 중대한 걸림돌이 되지 않을 것이다.

설령 직접차별의 성립요건으로 차별의도를 요구하는 미국의 법리에 따르더라도, 인공지능

을 활용한 차별의도의 은폐가 반드시 문제되는 것은 아니다. 우선, 인공지능은 데이터 수집

및 학습에 이르는 모든 과정에서 지속적으로 인간의 영향을 받는다. 따라서 인공지능이 인간

대신 주체로서 판단하였으므로 인공지능을 활용한 인간에게는 최종적인 차별결과에 대한 ‘의

도’가 없었다는 주장(‘주체성의 논변’)은 타당하지 않다. 또한, 인공지능은 끊임없이 학습을 통

해 변화하기 때문에, 인공지능을 활용한 인간이라도 그 인공지능이 차별적인 선택을 할 것이

라고는 예측하기 어려웠다는 주장(‘예측가능성의 논변’)도 타당하지 않다. 물론, 예를 들어, 인

공신경망 구조의 각 뉴런의 형성과 판단에의 기여를 일일이 계측하고 추적하는 것이 극도로

어렵다는 점은 사실이다. 그러므로 인공지능의 알고리즘과 훈련용 데이터를 전부 파악한다고

하더라도, 인공지능이 학습과정에서 지속적인 변화함에 따라 생겨나는 모든 종류의 양상을 예

측하기란 불가능에 가까울 것이다. 그러나 소프트웨어로서의 인공지능의 의사결정에 대한 예

측이 어렵다는 것과, 인간에 대한 최종적 행동에 이르는 하드웨어적 로봇 또는 소프트웨어의

작동 메커니즘105) 자체에 대한 예측이 어렵다는 것은 구분되는 개념이다.

103) 양종모, 위의 논문, p. 91.

104) Solon Barocas, “Data Mining and the Discourse on Discrimination”, Data Ethics Workshop, Conference on

Knowledge Discovery and Data Mining (2014), p. 1.

105) 예를 들어, 증권시장에서 (외견상) 자율적으로 매수도 주문을 내는 인공지능 투자프로그램을 상상해보자. 이 투자프로그램

이 컴퓨터 내에서 그냥 프로그램으로만 머무른다면 아무런 문제가 발생하지 않는다. 문제는 이 투자프로그램이 증권시장

에 직접 연결되어 매수도 주문을 낼 수 있을 때 발생한다. 이때 인공지능 소프트웨어가 인간을 포함한 외부세계에 대하여

직접 ‘최종적 행동’을 할 수 있도록 연결하고 설정하는 것은 결국 그 인공지능 프로그램의 사용자인 인간이다.

41

유사한 맥락에서 차별행위로 인한 손해배상 책임을 판단할 때, 불법행위에 기한 배상책

임106)의 일반적 요건 중 불법행위(차별행위)에의 고의ㆍ과실도 구체적인 상황에 따라서는 인

정될 수도 있다. 인공지능이 충분히 통제되지 않을 수 있으며, 사고를 낼 수 있다는 점을 인

지하고서도, 그럼에도 불구하고 그 인공지능이 인간을 대상으로 하는 최종적 행위를 인간에

의한 감독이나 개입 없이 단독으로 곧장 행할 수 있도록 설정을 해놓는다면 불법행위(차별행

위)에의 고의ㆍ과실을 인정할 수도 있는 것이다107).

다른 한편, 인공지능을 사용해 차별을 하면서도 일부러 코드를 복잡하게 만들어 난독화를

유도(obfuscation)하는 등으로 차별의도를 은폐할 수 있다는 우려가 있다108). 이것은 엄밀하

게는 차별의 성립요건으로서 ‘의도’ 또는 손해배상책임의 성립요건으로서 ‘고의ㆍ과실’에 대한

문제제기가 아니라, 인공지능의 사용자가 의도 또는 고의ㆍ과실 요건의 소송상 증명을 방해할

수 있다는 절차법적, 소송법적 우려다. 이에 관하여는 절을 달리하여 논의한다.

나. 차별의 사후적 사법판단에 관한 절차법적 문제

이론적으로 인공지능의 차별행위가 실체법적으로 ‘차별’ 개념에 포섭될 수 있다고 하더라도,

실제 재판에서 차별 및 손해배상 책임의 각 요건을 증명할 수 있는지 여부는 또 다른 문제다.

인공지능을 활용한 차별행위의 피해자들은 인공지능을 활용한 행위자에 대하여 구제수단으로

대체로 민사적 손해배상이나 원상회복조치 등을 청구할 것인데, 이때 소송상 청구를 제기하는

원고가 되는 피해자는, 일반적인 절차법적 원칙(증명책임)에 따르면, 자신에게 이익이 되는 청

구를 인정받으려는 것이므로 청구권의 각 성립요건을 스스로 증명하여야 한다. 그러나 이것이

106) 다만, 인공지능 프로그램이 차별적 효과를 낼 수 있는 가능성에 대하여 프로그램의 사용자가 인공지능 제조업자에게 아무

런 고지를 받지 못한 경우 내부적으로 배상책임 및 구상의 문제가 생길 수 있는데, 이는 사용자와 제조업자 사이의 구상

문제에 불과하므로 차별 피해자에 대한 구제에 직접적 영향을 끼치지는 않는다. 민법상 공동불법행위는 객관적으로 관련

공동성이 있는 수인의 행위로 타인에게 손해를 가하면 성립하고, 행위자 상호 간에 공모는 물론 의사의 공통이나 공동의

인식을 필요로 하는 것이 아니기 때문이다(대법원 2016. 4. 12. 선고 2013다31137 판결).

107) 같은 취지로 자율주행자동차 이용자가 지켜야 할 주의의무(duty of care)에는 ‘자동차를 사용한다는 결정 그 자체를 합리

적 주의를 기울여서 내려야 하는 의무’가 포함되어 있다는 주장으로 Chris Reed et al., “Responsibility, Autonomy and

Accountability：legal liability for machine learning”, Queen Mary School of Law Legal Studies Research Paper

No. 243/2016 (2016), pp. 10-11. 다만, Chris Reed et al., 위의 글, pp. 26-31은 영국법상 불법행위의 법리에 의하

면 충분히 검증된 인공지능은 정확성이 높기 때문에 그것을 신뢰하여 행동한 행위자는 주의의무의 위반이 인정되지 않으

므로, 인공지능 프로그램 사용자는 과실(negligence)에 기한 불법행위 손해배상 책임을 부담하지 않을 가능성이 있다고

주장한다. 그러나 그러한 주장은 ‘충분히 검증’하는 주체가 누구인지, 어떤 기준에 따라 검증하는지 등에 대한 추가적 문제

를 남긴다.

108) 대표적으로, 프랭크 파스콸레, 이시은 역, 『블랙박스 사회』, 안티고네 (2016), pp. 15-16.

42

실제로 가능한 일인가? 인공지능은 그 자체로, 또는 사용자의 의도적인 방해로 인해 불투명하

여 구체적인 작동과정을 파악하기 힘들기 때문에, 손해배상 책임의 성립요건 중 하나인 ‘불법

행위(차별행위)와 발생한 손해 간의 인과관계’를 증명하기 어렵게 만드는 것이 아닌가?

이것이 이른바 인공지능의 불투명성(opacity)에 대한 우려로서, 이 맥락에서는 인공지능과

차별의 문제는 인공지능 자체의 고유한 속성인 ‘불투명성’으로 인해 재판으로 해결될 수 없다

거나 또는 소송비용이 너무 과다하기 때문에 재판이 적절한 구제수단이 될 수 없다는 주장이

제기될 수 있다. 일부 학자들은 알고리즘적 차별의 문제를 적극적으로 다룰 수 있도록, (인공

지능) 알고리즘과 그 훈련용 데이터에 대한 감사(audit) 제도 또는 강제적 조사권 등을 도입

해서라도 불투명성의 문제를 해결해야 한다는 적극적 입장을 드러내고 있다109).

이와 같은 주장들은 인공지능의 판단과정이 불투명하므로 ‘검증(verification)’ 내지는 ‘설명

가능성(explainability)’이 확보되지 않는 것에 대한 문제의식에 터 잡고 있다110). 예를 들어,

인공지능이 작동 중에 어떠한 잘못을 저지른 경우, 잘못의 원인이 인공지능의 근본적 한계,

인간의 설계 또는 훈련 상의 실수로 인한 결함, 사용자의 잘못된 조작이나 운용 중 무엇에 해

당하는지에 따라서 배상책임의 분배가 달라질 수 있다. 따라서 인공지능 사용에 있어 책임성

(accountability)을 확보함에 있어 인공지능의 작동과정을 사후적으로 들여다볼 필요가 있는

데, 이때 불투명성은 사후적 검증 및 설명에 심각한 방해요소로 작용한다는 것이다111). 이 같

은 불투명성의 원인은 대략 3가지로 정리된다.

첫째, 지적 재산권 등의 “제도적(institutional)” 측면에서 불투명성이 형성된다. 인공지능,

특히 딥러닝은 수많은 뉴런과 레이어로 이루어져 있어 기본적으로 구조 자체가 복잡한데112),

인공신경망 구조는 판단과정에서 그 구조를 이루는 모든 레이어가 함께 기여하여 출력에 관

여하는 구조가 아니므로113)114), 입력 데이터와 출력 데이터만을 놓고서는 어느 뉴런(레이어)이

109) Brent Mittelstadt, “Automation, Algorithms, and Politics：Auditing for Transparency in Content Personalization

Systems.” International Journal of Communication, v. 10 (2016), pp. 4996, 4998.

110) 고학수 외, 위의 책, p. 36.

111) Jenna Burrell, “How the machine ‘thinks’：Understanding opacity in machine learning algorithms”, Big Data &

Society (2016), p. 4.

112) Jatinder Singh et al., “Responsibility & Machine Learning：Part of a Process”, SSRN (2016), p. 2 ; Executive

Office of the President, “Preparing for the Future of Artificial Intelligence” (2016), p. 9.

113) 모델마다 각기 다른 특성을 가지고 있어, 모델 구현기법에 따라 검증가능성의 정도는 달라질 수 있다. 예컨대, ‘결정트리

(Decision Tree)’는 다른 구현방식보다 검증가능성이 높은 편이다(Jatinder Singh et al., 위의 논문, pp 4-7). 궁극적으로

검증가능성이 가장 높은 인공지능은 머신러닝이 아닌 지식베이스 기반의 규칙의 집합으로 설계된 전문가 시스템일 것이다.

반면에, 오늘날 활용도가 높은 딥러닝 방식은 검증가능성이 매우 낮은 편이다.

43

최종출력에 어떻게 기여한 것인지를 밝혀내기가 쉽지 않다. 결국 인공지능이 입력에서부터 출

력에 이르는 과정을 세밀히 해부하기 위해서는 인공지능 프로그램의 소프트웨어적 설계도인

이른바 소스코드(source code)가 필요한데, 우리 시대의 인공지능은 상업적 이익에 의해 촉

발되어 기업들에 의해 개발 및 상용화가 이루어지는 탓에 소스코드들은 영업비밀(trade

secret)로 보호받고 있으므로 법원 등 외부주체가 공개를 강제하기가 어렵다.

둘째, 인공지능 자체의 “본질적(fundamental)” 측면에서도 불투명성이 형성된다. 예를 들

어 인공지능의 소스코드를 얻어 그 의사결정 과정을 추적한다고 해도, 인간의 입장에서 인공

지능의 구체적 판단 과정을 이해하기 어렵다는 문제가 있다. 왜냐하면 우리 시대의 인공지능

은 애초에 인간적 또는 합리적 사고과정에 초점을 두고 개발된 것이 아니라, 합리적 에이전트

로서 얼마나 효과적으로 행동하는지에 초점을 두고 개발된 것이기 때문이다. 따라서 인간은

높은 수준의 복잡도(complexity)를 가진 인공지능의 작동방식을 이해하기 어렵다. 이러한 특

성은 프로그래밍 언어로 이루어진 소스코드 자체의 기술적 가독성(technical literacy)의 문

제115)와는 구분되는, 인공지능 판단과정 자체에 대한 ‘불가해성(inscrutability)’의 문제라 불린

다116). 복잡도가 일정 수준을 넘어선 알고리즘에 대한 사후검증 및 설명은 해당 알고리즘을

설계한 개발자에게도 불가능할 수 있다117).

셋째, 비용 등 “현실적(practical)” 측면에서도 불투명성이 형성될 수 있다. 예를 들어, 인공

지능의 판단과정을 이해할 수 있는 상황이라고 하더라도, 현실적인 비용 문제를 고려할 때 모

든 재판과정에서 판단과정을 사후적으로 검증하는 것은 불가능하다118). 특히 인공지능의 입력

과 출력에 대한 전수조사가 아니라 표본조사를 시행할 경우 검증작업에 오류가 수반될 가능

성이 높은데, 조사에 드는 비용과 시간을 고려한다면 모든 종류의 재판이나 규제 과정에서 전

수조사를 요구할 수도 없다119). 아무리 비용과 시간을 많이 들이더라도 전수조사 자체가 사후

적으로 불가능할 수도 있다. 예를 들어, 새로운 데이터를 학습하여 지속적으로 업데이트 되는

114) Ian Goodfellow · Yoshua Bengio · Aaron Courville, 위의 책, p. 7.

115) Andrew D. Selbst · Solon Barocas, “The Intuitive Appeal of Explainable Machines”, Fordham Law Review,

Forthcoming (2018), pp. 11-12 ; Jenna Burrell, 위의 논문, p. 4.

116) Andrew D. Selbst · Solon Barocas, 위의 논문, p. 12.

117) Chris Reed et al., 위의 논문, p. 4 ; Jenna Burrell, 위의 논문, p. 9.

118) Danielle Keats Citron･Frank Pasquale, “The Scored Society：Due Process for Automated Predictions”,

Washington Law Review Vol. 89：1 (2014), pp. 15-16.

119) Deven R. Desai · Joshua A. Kroll, “Trust But Verify：A Guide to Algorithms and the Law”, Harvard Journal of

Law and Technology, Vol 31, Issue 1 (2018), p. 37.

44

동적(dynamic) 시스템의 경우 각각의 입력에 따라 출력에 이르는 판단과정이 학습에 따라 계

속 변화하기 때문에, 어떠한 출력이 왜 그렇게 산출되었는지에 관하여 사후적으로 검증을 하

려고 해도 학습에 따른 개별 뉴런 및 레이어의 변화가 정기적으로 기록되지 않았다면 검증이

불가능한 것이나 다름없다120).

그러나 “재판”에서 차별의 성립을 인정하고 그에 따른 손해배상책임(또는 형사처벌)을 확정

하기 위해 모든 사실이 완전히 전부 투명하게 밝혀져야만 하는가? 인공지능 및 알고리즘의

불투명성에 대한 경고는 분명히 타당한 지적이지만, 우리 사회는 이미 인간행동의 불투명성에

관한 문제를 재판에서 증명책임(burden of proof) 법리에 따라서 해결해왔음을 간과해서는

안된다121). 증명책임이란, 재판에서 증명되어야 할 사실의 진위불명에 빠진 경우에 재판부가

마치 그 사실이 존재하지 않는 것처럼 취급하여 법적 판단을 내림으로써 소송당사자가 받게

되는 불이익을 말한다122). 따라서 재판상 중요한 사실을 알고 있음에도 그것을 재판에서 밝히

지 않고 불투명하게 유지하려는 자는, 자신이 그것을 밝히지 않음으로써 얻는 이익과 (예를

들어, 영업비밀의 보호) 증명책임을 이행하지 못하여 받게 될 불이익을 (예를 들어, 차별로 인

한 손해배상 소송에서 패소하여 부담하는 배상액) 비교하여, 불이익이 이익보다 더 크다면 증

거를 제출할 것이다. 따라서 모든 불투명성에 대해 투명성을 무제한적으로 강요하는 것은 적

절하지 않으며, 사안에 따라 법령 및 법원의 판단에 따라 재판상 증명책임을 적절히 분배함으

로써 사회적으로 적정한 수준의 투명성을 확보할 수 있다123).

각각의 사실에 대한 증명책임을 소송당사자 중 누구에게 분배해야 할 것인지의 기준에 관

하여, 우리나라 민사재판의 경우 주장되는 권리가 법에 어떤 구조로 규정되어 있는지에 따라

결정된다는 ‘법률요건 분류설’을 따르고 있으며124), 형사재판의 경우 ‘진위가 의심스러울 때는

피고인의 이익이 우선한다는 원칙(in dubio pro reo)’에 따라 검사가 모든 증명책임을 부담한

다125). 행정재판은 민사재판과 같이 법률요건 분류설에 따라, 행정청의 처분이 적법하였는지

는 원칙적으로 행정청이 증명하되, 개인이 특정한 권리를 주장하는 경우에는 그 개인이 권리

120) Deven R. Desai · Joshua A. Kroll, 위의 논문, pp. 39-41.

121) Lilian Edwards · Michael Veale, 위의 논문, p. 43.

122) 이시윤, 『신민사소송법』, 박영사 (2016), pp. 541-543.

123) Steven Shavell, 『Foundations of Economic Analysis of Law』, The Belknap Press of Harvard University Press

(2004), pp. 425-428.

124) 이시윤, 위의 책, pp. 543-545.

125) 노명선 · 이완규, 『형사소송법』, 성균관대학교출판부 (2015), pp. 436-437.

45

의 존재를 증명하도록 책임을 지우고 있다126). 따라서 우선적으로는 법령에 권리가 어떻게 규

정되어 있는지에 관한 입법구조가 중요하다127).

다만 법령에 의한 분배방식에만 의존할 경우, 적절하게 입법이 되지 못한 경우에는, 정보를

확보하기 어려운 개인의 민사상 권리구제를 저해할 수 있으므로, 우리나라는 물론 외국 법원

에서도 산업재해 소송 등에서 증명책임의 전환(res ipsa loquitur)을 판례상 법리로 인정하고

있다128). 증명책임의 전환 법리에 의하면 손해배상 등 권리를 주장하는 원고는 그 권리의 성

립요건에 관한 모든 사실을 처음부터 증명할 필요가 없으며, 대신 법원이 정한 몇몇 기초사실

만을 증명함으로써 권리의 존재를 ‘추정(presumption)’받을 수 있다. 이렇게 권리의 존재가

일단 추정되면, 소송 상대방이 그와 반대되는 사실을 증명하지 못하는 이상 권리가 인정되어

권리를 주장한 원고가 승소한다.

그렇다면 차별에 관련된 재판에서의 증명책임은 어떠한가? 차별행위를 형사적으로 처벌하

려는 경우, 범죄사실은 검사에 의하여 증명되어야 하므로, 차별행위를 저지른 것으로 의심되

는 피고인은 자신의 차별행위에 관련된 사실, 예를 들어, 자신이 사용한 인공지능 프로그램에

관련된 사실을 불투명하게 유지하려고 노력할 것이다. 여기서 검사는 민사재판의 당사자인 개

인과 달리 범죄에 관한 구체적인 정보들을 강제적으로 밝혀낼 수 있는 압수ㆍ수색 등 다양한

수단이 있으므로, 영업비밀 등의 제도에 의해 정보수집 자체가 가로막히지 않는다129). 한편,

정부에 의해 차별행위가 행정적으로 이뤄진 경우에는 차별이 의심되는 행정처분이 적법하다는

126) 법원행정처, 『법원실무제요 행정』, 법원행정처 (2016), pp. 277-278.

127) 예를 들어, 법률요건 분류설에 따르면, 민사재판에서 「민법」 제750조에 따라 불법행위에 기한 손해배상을 주장하는 자는

원칙적으로 당해 규정에 따른 모든 요건사실을 증명해야 한다. 따라서 소비자가 구매한 어떤 물건이 오작동을 일으켜 신체

나 재산에 손해를 발생시킨 경우, 소비자가 그 물건의 제조업자에 대해 불법행위에 기한 손해배상을 청구하려 한다면, 민

법 및 법률요건 분류설의 원칙에 따라 소비자 자신의 손해가 제조업자의 잘못으로 인해 발생했다는 ‘인과관계’를 재판에서

증명해야 한다. 그러나 전자장치와 같은 복잡한 물건에 대한 전문적 지식이 없는 소비자로서는 그런 사실을 증명하기 매우

어렵다. 이를 해결하기 위해 법원이 적절한 판례상 논리를 세울 수도 있지만(예를 들어, 제조물책임법 시행 전의 대법원

2000. 2. 24. 선고 84다15934 판결 등 참조), 입법부가 증명책임을 완화하는 입법을 할 수도 있다. 이러한 맥락에서

2002년부터 시행되고 있는 「제조물책임법」 제3조의2는, 소비자가 제조물의 결함으로 인해 입은 손해배상을 제조업자에게

청구하려는 경우에 특정한 사실만을 증명하면 제조물의 결함 및 결함과 손해의 인과관계를 모두 추정해주고 있다. 이에 관

한 더 자세한 설명은 지원림, 『민법강의』, 홍문사 (2017), pp. 1742-1746 참고.

128) 이시윤, 위의 책, pp. 554-557 ; Chris Reed et al., 위의 논문, pp. 13-14.

129) 다만 수사기관의 강제적 처분으로서 압수 및 수색은 불투명성의 원인 중 하나인 지적재산권 제도를 우회할 수 있을 뿐,

인공지능 알고리즘의 근본적인 불가해성에 대한 해결책은 될 수 없을 것이다. 그러나 형사재판의 대원칙인 무죄추정원칙

을 포기할 수는 없으므로, 이 근본적인 불가해성에 대한 해결은 인공지능을 활용한 범죄행위에 대해서는 ① 해석론적으로

구성요건을 넓게 해석하거나, ② 입법론적으로 구성요건 자체를 포괄적으로 규정하는 방향으로 해결되어야 할 것이다.

46

점은 행정소송법상 정부에게 증명책임이 있으므로130), 정부가 인공지능을 활용하여 그와 같은

처분에 이른 상황에서 스스로 불투명성을 유지하려 할 경우, 법원은 그 처분이 차별적으로 이

뤄짐으로써 부적법한 것임을 인정하여 당해 처분을 취소할 수도 있을 것이다.

민사상 손해배상 소송의 경우, 관련법에 명문화된 증명책임의 전환 규정을 활용한다면131),

인공지능을 활용한 차별 문제의 절차법적 불투명성 문제는 적어도 부분적으로는 해결할 수

있다. 예를 들어, 「장애인차별금지법」상 증명책임의 전환 규정이 도입되기 전인 2004년에, 서

울중앙지방법원은 장애인에 대한 보험가입을 거절한 행위가 「장애인복지법(차별금지에 관한

내용이 현행 장애인차별금지법으로 분리)」상의 차별에 해당되어 손해배상 책임을 부과하는지

여부가 문제된 사안에서, ‘장애를 이유로 차별을 받은 사실’에 대한 증명책임은 차별을 받은

원고가 부담한다고 판시하였다132). 그러나 2008년에 「장애인차별금지법」이 제정되어 증명책임

전환이 명시화되자, 그 후인 2017년 서울중앙지방법원은 장애인에 대한 아무런 배려 없이 이

뤄진 면접이 「장애인차별금지법」상의 차별에 해당하여 손해배상 책임을 부과하는지 여부가 문

제된 사안에서, 원고는 ‘불리한 대우를 받은 사실’에 대한 증명책임만을 부담할 뿐, 그것이 ‘장

애로 인한 차별’이라는 점에 관한 증명책임은 부담하지 않는다고 판결하였다133).

130) 이때 무효확인소송에서는 차별의 피해자인 원고에게 증명책임이 있다(대법원 2010. 5. 13. 선고 2009두3460 판결)는 지

적이 제기될 수 있지만, 통설·판례상 처분의 당연무효를 판단하는 기준인 이른바 ‘중대 · 명백설(대법원 2018. 7. 19. 선고

2017다242409 전원합의체 판결)’의 취지를 감안하면 애초에 취소소송 대신 무효확인소송을 제기한 경우는 대부분 원고가

차별의 하자가 객관적으로 명백하다고 판단한 경우이거나, 제소기간을 도과한 경우일 것이라는 점을 감안할 필요가 있다.

131) 예를 들어, 「장애인차별금지법」 제46조, 제47조, 「남녀고용평등법」 제30조 등을 참조.

132) 서울중앙지방법원 2004. 2. 12. 선고 2003가단150990 판결.

“…결국 보험회사가 보험승낙 여부를 결정함에 있어 장애를 이유로 부당한 차별을 한 것이라면 이는 장애인복지법 제8조

에 위반한 것으로 위법한 행위에 해당한다 할 것이고, 위에서 본 관계 법령의 취지와 손해배상책임의 성립 구조에 비추어

그 위법성의 판단에 있어, 원고로서는 위 보호영역 내에서 장애를 이유로 차별을 받은 사실에 관한 증명책임을 부담한다

할 것이고, 그 차별이 합리적인 이유가 있어 자의적인 차별에 해당하지 않는다는 점에 관한 증명책임은 피고에게 있다고

봄이 상당하다.”

133) 서울중앙지방법원 2017. 4. 26. 선고 2015가합519728 판결.

“… 가) 증명책임의 분배

다음과 같은 장애인차별금지법의 규정 및 취지를 종합하여 보면, 장애인차별 금지법 제4조 제1항 제1호에 따른 차별행위

에 있어서 ‘장애인을 제한ㆍ배제ㆍ분리ㆍ거부 등에 의하여 불리하게 대한 사실’에 관한 증명책임은 차별행위를 당하였다고

주장하는 자가 증명책임을 부담하고, 그와 같은 제한ㆍ배제ㆍ분리ㆍ거부 등에 의하여 불리하게 대하는 경우가 ‘장애로 인

한 차별’이 아니라거나 ‘정당한 사유가 있다’는 점에 관하여는 차별행위를 당하였다고 주장하는 자의 상대방이 증명하여야

하는 것으로 봄이 타당하다.

(1) 장애인차별금지법 제4조 제1항 제1호는 ‘장애인을 장애를 사유로 정당한 사유 없이 제한·배제·분리·거부 등에 의하여

불리하게 대하는 경우’를 차별행위로 규정하고 있고, 같은 법 제47조에서 위 차별행위에 관한 증명책임에 관하여 차

별행위가 ‘장애를 이유로 한 차별’이 아니라거나 ‘정당한 사유가 있었다는 점’은 차별행위를 당하였다고 주장하는 자의

상대방의 증명하는 것으로 정하고 있는 점을 고려할 때, 차별행위를 당하였다고 주장하는 자가 ‘장애로 인한 차별’이

라거나 ‘정당한 사유가 없다’는 점에 관하여는 증명책임을 부담하지 않는다는 것이 위 각 규정의 체계적 해석에 부합

한다.

47

이러한 변화는 차별에 대한 유럽의 법리와 유사한 방향을 취한다. 앞서 살펴보았듯 유럽은

차별을 받은 원고가 ① 자신은 동등한 대우를 받아야 하는 대상인데, ② 차별금지사유에 따른

차등적 대우의 존재(직접차별) 또는 외관상 중립적인 기준에 의한 차별적 영향(간접차별)이

존재했다는 사실만 증명하면 곧바로 차별이 추정되는 증명책임의 전환을 인정하고 있다134).

같은 맥락에서 EU사법재판소는 차등적 대우의 기준이 불명확한 경우, 차별을 받은 원고가 그

기준이 차별적이라는 점을 증명해야 하는 것이 아니라, 차등적 대우를 한 행위자가 자신의 행

위가 차별적이지 않다는 것을 증명해야 한다는 증명책임의 전환을 인정하고 있다. 예를 들어,

부가 급여(pay supplements)가 차별적인지 여부가 문제된 Danfoss 사건에서는 회사의 급여

가 기동성(mobility), 훈련(training), 근속기간(seniority) 등에 의해 산정되었음은 알려졌으나

구체적인 급여산정체계는 알려져 있지 않았다. 이에 대하여 EU사법재판소는 급여체계에 대한

정보가 투명하게 공개되지 않을 때에는 증명책임이 고용주에게 전환되어, 고용주가 급여체계

가 차별적이지 않음을 증명하여야 한다고 판시하였다135). 마찬가지로 개인적 성과(individual

output)에 근거하였다고 알려진 성과급 체계가, 남성이 주로 종사하는 직군에 비하여 여성이

주로 종사하는 직군에 상대적으로 낮은 급여를 지급한 것이 문제된 Royal Copenhagen 사건

에서도, 성과급 지급 기준이 투명하지 못한 경우에는 사용자가 성과급의 차이가 차별에 근거

하고 있지 않다는 것을 증명해야 한다고 판시하였다136).

이처럼 차별에 관한 증명책임의 법리는 차별적 영향 또는 차등적 효과라는 ‘행위의 효과’가 증

명된다면 차별의 존재를 추정하게 되므로, 차별행위에 이르는 과정이 불투명하다는 사실은, 행위

자인 피고에게 재판상 별다른 도움이 되지 않는다. 나아가 민사소송법 제374조에 의하여 준용되

는 서증 관련 규정에 의해 피고는 자료를 법정에 제출할 의무가 있고(동법 제344조), 자료를 훼손

하는 경우 법원은 원고의 주장을 진실한 것으로 인정할 수 있다(동법 제350조). 때문에 오히려

증명책임의 전환으로 피고는 자신의 행위가 차별적이지 않았음을 증명해야 할 따름이다. 앞서 가.

(2) 장애인에 대한 제한ㆍ배제ㆍ분리ㆍ거부의 행위자는 차별행위를 당하였다고 주장하는 자의 상대방이므로, 그와 같은

차별행위가 장애를 이유로 한 것이라는 점에 관한 증거는 위 상대방에게 편재되어 있는 것이 일반적이다. 따라서 그

와 같은 차별행위가 장애를 이유로 한 것이라는 점을 차별행위를 당하였다고 주장하는 자에게 증명하게 하는 것은 증

거에 대한 접근의 어려움, 장애인의 특수성 등을 고려할 때 지나치게 가혹하여 모든 생활영역에서 장애를 이유로 한

차별을 금지하고 장애를 이유로 차별받은 사람의 권익을 효과적으로 구제함으로써 장애인의 완전한 사회참여와 평등

권 실현을 통하여 인간으로서의 존엄과 가치를 구현함을 목적으로 장애인차별금지법의 입법목적에 부합하지 않는다.”

134) 헌법재판소 헌법재판연구원, 위의 책, pp. 55-57.

135) 헌법재판소 헌법재판연구원, 위의 책, p. 58, pp. 87-89. (Handels-og Kontorfunktionaerernes Forbund I Danmark v

Dansk Arbejdsgiverforening, acting on behalf of Danfoss (1989) C-109/88)

136) 이주희, “간접차별의 개념과 판단기준”, 청주법학 제32권 제2호 (2010), pp. 204-205. (Specialarbejderforbundet I Danmark

v Dansk Industri, formerly Industriens Arbejdsgivere, acting for Royal Copenhagen A/S (1995) C-400/93)

48

절에서 살펴본 난독화(obfuscation) 문제도 마찬가지다. 차별의 행위자가 스스로 증명책임을 부

담하는 상황임에도 불구하고, 자신의 행위가 차별적인 결과에 이르는 과정을 일부러 불투명하게

만들었다면 이는 민사소송법에 따른 각종 불이익을 부담하는 결과로 이어질 뿐이기 때문이다.

결론적으로, 인공지능이 불투명하다고 하여, 인공지능과 차별의 문제를 사후적인 재판으로

구제하는 것 자체를 불가능하게 할 정도로 근본적 장애라고 하기는 어렵다. 인공지능 알고리

즘의 불투명성이라는 특징을 강조하는 선행연구137)들은, 사후적 사법판단, 특히 재판이라는

구제수단에 대해 가볍게 여긴 경향이 있다. 그러나 사법제도는 매우 불투명한 존재인 인간을

대상으로 분쟁을 해결하고 책임을 분배하는 작업을 오랜 기간 수행해 온 경험이 있다. 그것은

인간이 스스로를 온전히 설명할 수(explainable) 있기 때문보다는, 모호하고 애매한 – 즉, 불

투명한 영역의 사실에 대한 증명이 충분하지 않은 경우, 그에 대한 불이익을 누구에게 지울

것인지에 관한 ‘증명책임의 법리’를 적절히 운용해왔기 때문이다138).

다만 인공지능에 의한 (잠재적으로 차별적인) 의사결정과 관련하여 사법제도가 원활하게

작동하기 위한 몇 가지 한계와 전제가 있다. 위에서의 논의에 기초하여, 이에 관해 간략히 정

리해 보기로 한다. 그리고 사전적인 행정규제가 어떤 역할을 할 수 있을지에 관해 좀 더 상세

히 살펴보기로 한다.

첫째, 이 절에서 강조한 것과 같이, 증명책임의 전환 등 증명책임의 법리가 적절히 조정될

필요가 있다. 위에서 본 것과 같이, 일부 개별법에는 증명책임의 전환이 도입되어 있지만, 인

공지능 맥락에서 증명책임의 법리를 어떻게 조정할 것인지에 대한 좀 더 일반적인 논의가 필

요하다. 어떤 행위가 인공지능을 사용하여 이뤄졌다는 이유만으로 증명책임의 완화나 전환을

인정할 수 있을 것인가? 그렇지 않다면 어떤 제한조건들을 부가할 수 있을 것인가? 차별이

아닌 타 영역에서는 이러한 증명책임의 법리를 응용할 수 없는 것인가? 구체적인 제도의 설

137) 예를 들어, Jenna Burrell, 위의 논문, p. 10은 인공지능이 데이터를 학습하고 처리하는 패턴 자체가 인간에 의해 이해되

기 어렵다는, 불가해성으로서의 인공지능의 불투명성에 주목하여, 규제(regulation)나 알고리즘 코드 또는 작동방식에 대한

감사(audit), 오픈소스(open source) 활용, 알고리즘의 위험성을 일반대중에게 교육하는 것 등을 중요한 해결책으로 제시

하고 있다. 그러나 이는 법원의 사후적 재판이라는 구제수단을 논의에서 완전히 배제한 채 펼친 논의가 자연스럽게 맞닥뜨

리는 지점에 불과하다. 거듭 강조하지만, 사후적 사법판단이라는 구제수단은 제도의 설계 자체에서 완벽한 투명성을 예정

하지 않고 있으므로, 근본적으로 불투명하여 이해할 수 없는 대상에 대해서도 (사실인정이 불분명한 경우에 누가 책임을

져야할 것인지에 관한 정책적 분석 또는 사회적 합의가 있다는 것을 전제로) 얼마든지 효과적으로 작동할 수 있다.

138) 물론 궁극적으로 가장 좋은 해결책은 인공지능의 불투명성을 둘러싸고 사회적 책임을 어떻게 분배해야 할 것인지에 관해

실체적 배상책임과 절차적 증명책임을 법제화하는 것이다. 그러나 현재는 그러한 차별금지법이 구체적으로 어떤 내용을 담

아야 하는지조차 충분한 사회적 논의가 이뤄지지 않았으므로, 이 글은 잠정적인 해결책으로 증명책임의 전환을 (또는 증명

책임의 분배 자체의 변화를) 고려해 볼 수 있다는 점을 제시하고자 한다.

49

계 과정에서 그 제도가 사회적으로 창출한 유인(incentive) 구조에 대한 고민도 필요하다. 인

공지능의 제작자 내지 사용자에게 증명책임을 보다 과중하게 부과할 경우, 그에 따른 사회적

영향은 어떠한가? 인공지능 기술의 발전에 불필요한 냉각효과(chilling effect)를 가져오는 것

은 아닌가? 그렇다면 투명성을 확보한 경우에는 일정 수준의 면책을 제공하는 방안은 어떠한

가? 이러한 쟁점들은 현대 소송에서 언급되는 증명책임의 전환 또는 완화에 관한 일반론을

인공지능 맥락에서 응용할 때 어떤 점을 고려해야 할 것인지에 관해 시사점을 제공한다.

둘째, 인공지능에 의한 의사결정, 특히 차별적 결정이 있을 때, 차별행위의 피해를 받는 피

해자로서의 당사자는 그러한 차별적인 의사결정의 존재 자체를 파악하지 못할 가능성이 있다.

당사자에 의한 문제해결이 이루어지려면, 당사자가 문제의 존재를 파악하고 해결하고자 하는

능력이 있을 것을 당연한 전제로 한다. 차별적 의사결정이 있을 때, 당사자가 그에 관해 파악

할 수 있는 메커니즘에 관하여는 추가적인 고민이 필요하다.

셋째, 인공지능의 도래와 더불어 간접차별의 법리가 보완될 필요가 있다. 간접차별은 당사

자들의 구제를 널리 도모하기 위해 ‘차별적 영향’ 또는 ‘차등적 효과’만 있으면 차별의 존재 자

체를 추정하는 논리구조를 취한다. 그러나 어느 정도로 차별적 영향이 있어야 하는가? 이에

대한 기준을 사전적으로 선언할 경우, 차별행위자들은 그 기준을 우회하는 방식으로 차별을

행할 우려가 있다. 그러나 기준이 사전적으로 밝혀지지 않는다면, 예측가능성이 떨어지게 되

고 당사자들은 향후 법정에서 무엇을 증명해야 하는지 판단을 하기 어려울 수 있다. 이 같은

애매한 기준의 문제는 법이 가지는 본질적인 문제일수도 있지만, 인공지능을 활용한 의사결정

의 맥락에서는 매우 중대한 것으로 부각될 가능성이 높다.

넷째, 형사법적 측면에서는, 압수 등 대물적 강제처분을 통해 인공지능의 제도적인 (영업비

밀) 또는 현실적인 (비용) 불투명성은 어느 정도 극복할 수 있으나, 인공지능의 본질적인 불

가해성은 여전히 극복하기 어렵다는 한계가 있다. 민사법적 측면에서는 법개정은 물론 판례상

법리형성 등을 통해 증명책임을 전환하거나 완화하여 문제를 부분적으로라도 해결할 수 있지

만, 형사법은 피고인의 절차적 기본권 보장이라는 대원칙으로 인해 증명책임을 전환하거나 완

화하기가 무척 어렵기 때문에 불가해성의 극복에 어려움이 남게 된다.

다. 차별의 사전적 행정규제에 관한 문제

인공지능을 활용한 차별의 위험성을 강조하는 일부 선행연구는, 인공지능을 활용한 차별행

50

위를 해소함에 있어 재판을 통한 사후적 구제에는 한계가 있다는 주장을 한다. 이는 주로 두

가지 유형의 주장으로 나눌 수 있다. 첫째, 인공지능을 활용한 차별행위는 개인적, 사회적 차

원에서 파급효과가 매우 중대하므로, 사후적 구제만으로는 불충분하다. 둘째, 각각의 사안마다

일일이 사후적으로 구제를 하는 것보다는, 사전적으로 일괄적인 기준 하에 규제를 하는 것이

효율적이다139). 그러나 위에서 살펴보았듯이, 재판을 통한 구제수단이 인공지능과 차별의 문제

를 제대로 다룰 수 없다고 단정할 수 있는 것은 아니므로, 사전적 행정규제를 강조하는 선행

연구들의 견해는 비판적으로 검토될 필요가 있다. 이 같은 주장을 하나씩 나누어 검토해본다.

1) 인공지능을 활용한 차별행위는 무엇이 특별한가?

우선 인간에 대한 최종적인 판단이나 행위(예컨대 행정처분)가 인간의 개입 없이 자동적으로

(automated) 처리되는 것 자체가 금지되어야 한다는 주장이 있을 수 있다. 이 주장은 종종 다

음과 같은 생각을 전제로 한다. 즉, 인공지능을 활용할 경우에 인간이 직접 최종적인 행위를 할

때보다 (통계적인 정확도는 더 높을지 몰라도) 오히려 덜 신중한 판단으로써, 경로의존적

(path-dependently)으로 더 심각한 폐해(즉 차별)를 유발 또는 강화할 수 있다는 것이다. 여기

서 인공지능이 ‘덜 신중하다’는 속성과 ‘차별을 경로의존적으로 강화한다’는 속성은 결국 하나의

원인으로 귀결된다. 빅데이터를 이용하는 현대의 인공지능은, 규칙에 따라 연역적인 판단을 내

리는 것이 아니라, 과거의 데이터를 학습하여 재창출하는 방식으로 작동한다는 점이다.

여기서 경로의존성은 우연한 이유로 일단 하나의 선택이 이루어진 경우, 그것이 관성적으

로 이후 선택에 영향을 미쳐 점차 고착화되는 성향을 뜻한다140). 이를 차별 맥락에 적용해보

면, 경로의존성은 한 번 시작된 차별이 지속 및 강화되는 과정을 설명하는 원리 중 하나가 될

수 있다. 차별이 시작된 원인에 관계없이, 경로의존성은 차별의 피해자141)와 가해자142) 양측

139) Danielle Keats CitronㆍFrank Pasquale, 위의 논문, pp. 18-24 ; 양종모, 위의 논문, p.83 ; 허유선, 위의 논문, pp.

198-199.

140) Paul Pierson, “Increasing Returns, Path Dependence, and the Study of Politics”, The American Political Science

Review, Vol. 94, No. 2 (2000), p. 251 참조.

141) Betsy Anne WilliamsㆍCatherine F. BrooksㆍTotam Shmargad, “How Algorithms Discriminate Based on Data

They Lack”, Journal of Information Policy Vol. 8 (2018), pp. 91-96에 따르면 피해자의 입장에서 경로의존성이 작동

하는 이유는 여러 가지가 있다. 이에 대한 설명 중 하나는 경제학에서의 ‘신호이론(signal theory)’이다. 고용주는 노동자의

실제능력을 알지 못하므로 노동자가 발송하는 신호에 의존하게 되는데, 노동자가 신호를 발송하는 데는 비용이 든다. 그러

므로 낮은 대우를 받는 집단에 속한 우수한 노동자는, 자신의 능력을 고용주에게 드러낼 수 있는 새로운 신호를 발송함으

로써 더 나은 대우를 받을 수 있더라도, 새로운 신호에 드는 비용이 자신이 얻게 될 수 있는 더 나은 대우에 미치지 못한

다면 새로운 신호를 발송하지 않고 그냥 낮은 대우를 받는 것을 선택할 것이다. 이런 경우에는 노동자 개인의 합리적인 선

택이 집단 전체의 차별을 지속시키는데 기여하게 된다.

51

모두에서 작동하여 이미 시작된 차별을 지속 및 강화시킨다. 따라서 차별이 일어나고 있는 현

실의 영향을 받은 훈련 데이터, 즉 과거의 역사적 데이터(historical data)를 활용하여 학습된

인공지능 알고리즘은 차별의 경로의존성을 심화할 것이다143). 그런 점에서 인공지능이 차별을

경로의존적으로 악화시킬 것이라는 우려에 관해서는 진지한 고민이 필요하다. 현실에서의 인

공지능은 통계적 분류 또는 순위설정 프로그램인 경우가 많으며144), 어떤 데이터로 훈련하는

지에 따른 영향 또는 훈련과정에서 인간의 개입에 따른 영향을 많이 받게 되는 것이 보통이

다145). 그러므로 인공지능의 사용은, 어떤 경우에는 인간이 발견하지 못한 새로운 의사결정

기준을 제시할 수도 있겠지만, 많은 경우 기존에 행해진 차별을 역사적 데이터로 변환하여 인

공지능 알고리즘으로 재창출하는 과정에서 차별을 영속화하거나 강화할 우려가 있다146).

물론 경로의존성의 문제를 두고, ‘인공지능’의 본질적 속성으로 인해 나타나는 것이 아니라,

다루는 데이터가 양적으로나 질적으로나 매우 방대해졌고, 데이터를 예전보다 더 체계적으로

반영할 수 있다는, 이른바 빅데이터(Big Data)때문에 발생한 것이라 볼 수도 있다. 이 맥락에

서 볼 때 인공지능의 빅데이터 분석에 의한 차별의 경로의존적 심화는 종래 인간이 저지르던

편견의 오류가 더욱 가속화되는 것을 의미하는 것일 수 있다. 다시 말해, 인공지능의 도입은

차별의 본질적 구조를 바꾸지 않았으며, 단지 이미 일어나고 있던 차별의 속도와 규모를 확장

시켰을 뿐이라고 볼 수 있는 것이다.

142) 박영범, “차별의 경제학적 의미”, 계간 임금연구 봄호 (2007), pp. 43-44. 가해자의 입장에서 경로의존성이 작동하는 이유

도 여러 가지인데, 대표적으로 ‘통계적 차별이론(statistical discrimination)’이 문제된다. 고용주는 노동자의 실제능력을 정

확하게 알지 못하므로 노동자가 발송하는 신호 중 무엇이 정말로 능력과 관련된 신호인지를 심사(screening)할 필요가 있

는데, 심사에도 비용이 들기 때문에 통계적으로 검증된 신호를 집중적으로 검토하게 된다. 따라서 어떤 집단에 속해 있다

는 신호가 능력과 실제로 관련이 있다는 사실이 초기에 통계적으로 드러난다면, 후기에 들어 그 집단에 속해 있다는 것이

실제 능력과의 관련성이 떨어지더라도 고용주는 그 집단에 속한 노동자들을 선발하려고 할 가능성이 높다.

143) Solon BarocasㆍAndrew D. Selbst, “Big Data’s Disparate Impact”, 104 California Law Review 671 (2016), pp.

679-680. 이 밖에도 수집된 데이터 항목 자체가 편향되어 있어서 차별이 강화되는 사례로, Kate Crawford, “The

Hidden Biases in Big Data”, Harvard Business Review (2013. 4. 1.) 참조. 여기서는 스마트폰에 의하여 발송하는 요

청을 기준으로 사회 인프라를 개발한 탓에, 이미 스마트폰이 보급되고 작동할 정도로 인프라가 좋은 지역이 추가적으로 개

발되는 사례가 소개되고 있다. 한편, Moritz Hardt, “How big data is unfair”, Medium (2014. 9. 26.)은 소수집단의

데이터가 실제에 비해 너무 적게 수집된 탓에 알고리즘의 학습과정에서 예외적인 경우로 취급되어, 알고리즘 학습에 제대

로 반영되지 않을 가능성(대표성 문제)을 지적한다.

144) 앞서 2장에서 살펴본 것과 같이, 머신러닝은 데이터 특성간의 인과관계와 상관관계를 스스로 구분하지 못한다. 따라서

Catherine Tucker, “Privacy, Algorithms and Artificial Intelligence”, The Economics of Artificial Intelligence: An

Agenda (2017), p. 9에 제시된 사례에서처럼 소셜미디어의 감자튀김 사진을 좋아하는 것과 높은 지능지수 사이에 일정

한 상관관계가 있더라도, 인간의 입장에서는 우연한 일치이거나 자의적인 기준일 수 있으므로 판단에 반영하지 않을 것이

지만, 머신러닝은 그것이 그럴듯하다고 보아 스스로의 학습에 반영할 가능성이 있다.

145) Kate Crawford, 앞의 글에서는 이를 두고 ‘미가공 데이터(raw data)’는 형용모순(oxymoron)이라고 하면서까지 강하게

비판한다 ; 허유선, 위의 논문, pp. 178-180 참조.

146) Solon Barocas, 위의 논문, p. 3.

52

그러나 차별의 속도나 규모가 확장되거나 그러한 ‘경로’가 형성되는 것은, 종래와 다른 새

로운 지평의 문제를 유발할 가능성도 있다. 예를 들어, 차별이 문제되는 대상의 데이터들은

특징(feature)들이 서로 고도로 얽혀있는데다(encoded) 데이터의 규모가 크기 때문에 대체변

수(proxy)를 만들기 쉽다147). 이 대체변수는 차별금지 법령으로 인해 수집될 수 없는 데이터

항목 결측값을 보충(imputation)하는 역할을 할 수도 있지만, 차등적 대우를 받는 대상 간의

본질적 차이를 나타내는 새로운 매개변수(parameter)를 짚어낸 것일 수도 있다. 물론 전자와

후자의 구분은 사후적으로 법원의 판단에 의해서 이루어질 것이지만, 빅데이터로 인하여 고려

해야 할 요소가 늘어난 탓에 문제시되는 차등적 대우에 개입된 기준의 부당성을 판단하기 위

한 ‘가정적 상황(counterfact)’을 파악하기가 곤란해질 수 있다. 데이터의 규모가 증가하여 금

지된 차별사유의 대체변수를 만들기가 쉬워졌는데148), 그 대체변수가 부당한 차별인지를 사후

적으로 판단하는 것조차 데이터의 규모 증가로 인해 어려워지는149) 셈이다.

정리하자면, 차별행위에 인공지능이 활용되었다는 이유만으로 차별행위의 논리와 구조가

완전히 바뀐 것은 아니므로, 사후적 사법판단이 차별행위에 대한 구제수단으로서의 기능을 상

실했다고 단정하기는 어렵다. 그러나 다른 한편으로는 ① (경로의존성) 인공지능의 방법론인

딥러닝에는 역사적 데이터가 활용됨으로써 과거의 차별이 경로의존적으로 재생산될 가능성이

있고, ② (대체변수 발견의 용이성) 차별금지사유에 관한 정보의 수집을 금지하는 것은 인공

지능의 성능으로 인해 대체변수가 쉽게 찾아지는 등 무력화될 가능성이 있으며, ③ (차별의

고도화) 인공지능의 복잡한 분석을 통해 매우 고도화된 미묘한 차별행위가 이뤄질 수도 있고,

이에 대해 그 대상이 되는 개인은 상황에 대한 파악이 어려울 수 있다. 이와 같은 문제가 두

드러진다면, 재판을 통한 사후적인 구제는 좀 더 많은 한계를 보이게 될 수 있고, 별도의 사

전적인 행정규제가 필요할 수도 있다. 물론, 어떤 사전적 행정규제가 필요한지에 관해서는 추

가적인 검토를 필요로 한다.

147) Betsy Anne Williams · Catherine F. Brooks · Totam Shmargad, 위의 논문, pp. 83-84.

148) Kate Crawford · Jason Shultz, “Big Data and Due Process: Toward a Framework to Redress Predictive Privacy

Harms”, Boston Law Review Vol. 55 (2014), pp. 99-101.

149) Solon Barocas · Andrew D. Selbst, 위의 논문, p. 717 ; Bryce W. Goodman, “A step towards accountable

algorithms?：Algorithmic Discrimination and the European Union General Data Protection”, 29th Conference

on Neural Information Processing Systems(NIPS 2016), Barcelona. NIPS Foundation (2016), p. 3.

53

2) 인공지능을 활용한 차별행위에 대한 사전적 행정규제는 효율적인가?

사회적으로 문제가 되는 상황이 발생하는 것을 억제하기 위해서는, 사후적으로 강력한 제

재를 가할 수도 있지만, 다른 한편으로는 사전적인 통제를 통해 그러한 상황이 발생할 가능성

을 최소화하기 위한 노력을 기울일 수도 있다. 전자의 경우 피해자에 대한 민사적 배상과 조

화될 수 있으며, 후자의 경우는 피해자의 권리 자체를 사전적이고 절차적으로 보호하려는 행

정규제의 취지와 조화될 수 있다. 어느 방식이 문제의 발생을 더 잘 억제하면서도, 동시에 피

해자를 잘 보호할 수 있는지는 구체적 사정에 따라 달라질 수 있다150). 예를 들어 차별에 대

한 손해배상액을 해석상 높이기는 어렵다거나, 차별 입증이 어려워져서 재판상 구제가 난해해

지는 경우, 피해자들이 피해 자체에 대해 파악하기 쉽지 않을 수 있는 경우 등의 상황에서는

차별금지가 제대로 구현되지 못할 우려가 있다. 이러한 맥락에서 사전적 행정규제는 사후적

사법판단에 비해 더 효율적일 수도 있다.

그러나 구체적으로 어떠한 사전적 행정규제가 가능할 것인가? 차별의 맥락에서 사전적인

행정규제는 종래에 큰 성과를 거두었다고 보기 어렵다. 따라서 인공지능과 관련된 차별의 문

제에 있어서도, 과연 경로의존성, 대체변수 발견의 용이성, 차별의 고도화 등에 대해 사전적

행정규제가 얼마나 효율적으로 작동할 것인지를 살펴볼 필요가 있다. 선행 연구들이 제시하는

사전적 행정규제들은 매우 다양하나, 여기서는 가장 널리 알려진 아젠다(agenda)로서 미국에

서 언급되고 있는 ‘기술영역의 적법절차(technological due process)’를 중심으로 살펴본다.

기술영역의 적법절차란, 이 개념을 처음 제시한 Danielle Citron에 따르면, ‘예측 알고리즘

이 공정성과 정확성을 담보할 수 있도록 하려는 일정한 수준의 조사와 검토를 보장하려는 절

차(procedures ensuring that predictive algorithms live up to some standard of

review and revision to ensure their fairness and accuracy)’로 정의된다151). Citron은 미

국정부가 건강보험의 요양급여를 지급하는 과정에서의 의사결정을 예로 들어, 주어진 데이터

에 따라 자동적인 처분152)을 내리는 것이, 행정처분 과정에 자동화 알고리즘을 도입함으로써

150) 사후적 구제와 사전적 규제의 관계에 관한 일반론으로는 Steven Shavell, 위의 책, pp. 581-585 참조.

151) Danielle Keats Citron · Frank Pasquale, 위의 논문, p. 19.

152) 이는 차별행위의 의도와 그에 대한 손해배상 책임의 고의 및 과실을 인정함에 있어서 중요한 것으로 위에서 언급한 인공

지능의 ‘최종적 행동’과 연결되는 개념이다. 인공지능이 인간의 감독을 거쳐 행동에 이른다면 아무런 문제가 되지 않지만,

행정의 효율성 등을 이유로 수만 명에 대한 처분을 알고리즘에 의해 일괄적으로 처리하고 있다면, 이는 최종적 처분이 인

간의 감독을 제대로 받지 않는 경우로, 인공지능이 단독으로 최종적 행동을 할 수 있는 경우라 볼 수 있을 것이다. 이와

관련하여, 최근 독일에서는 연방행정절차법 개정에 의해 마련된 제35조의a를 통해, 이른바 ‘(완)전자동화 행정행위’를 법적

54

개인의 행정절차상 통지(notice)를 받을 권리와 청문(hearing)에의 권리 등을 침해하고, 개인

정보에 대한 개인의 권리153)를 침해한다고 주장한다. 이에 대한 해결책으로, Citron은, 비용

등의 문제로 인해 알고리즘의 활용 자체를 중지할 수 없다면, 데이터와 알고리즘 및 그 처리

과정을 감시할 수 있는 사전적인 절차를 마련하는 것, 즉 ‘기술영역의 적법절차’ 도입이 필요

하다고 주장한다. 그 구체적인 방안으로써, Citron을 비롯한 일부 후속연구자들은154) 알고리

즘의 공적 감사(review)나 설계과정의 공적 감독(revision), 훈련용 데이터의 공적 감사

(audit)나 수집과정의 행정적 규제, 개인의 이의권 보장 등을 제시하고 있다. 그러나 과연 이

러한 규제들을 구체화하는 것이 가능할지, 그리고 이러한 방식을 통해 인공지능으로 인한 경

로의존성, 대체변수 발견의 용이성, 차별의 고도화 등과 관련된 적절한 수준의 사회적 제어가

가능할 것인지에 관해서는 추가적인 논의의 여지가 있다.

① 데이터에 대한 규제

데이터에 대한 규제방안으로 제시된 정책들은 다음과 같이 정리될 수 있다. 즉, (a) 수

집된 데이터가 정확한지(accuracy)에 대해 데이터 주체에게 검증(inspect) 또는 통지

(notice)를 하거나155), (b) 훈련 데이터가 무엇인지 항목 또는 내역을 일반에 공개

(disclosure)하거나 또는 공인된 독립기관의 검사를 받도록 강제156)하는 것이다. 이 같

은 정책들은 훈련 데이터 자체가 편향되어 있을 경우, 그것을 학습한 인공지능 알고리

즘도 편향될 수밖에 없다는 문제의식을 바탕을 두고, 그러한 경로의존성을 해결하려는

데 목표를 둔다157).

그러나 첫째로, 데이터의 역사적 편향성이 차별을 경로의존적으로 강화할 수 있다는 문

개념으로 수용한 바 있다. 이에 대한 보다 자세한 내용은 김중권, “인공지능시대에 완전자동적 행정행위에 관한 소고”, 법

조 제66권 제3호 (2017) ; 이재훈, “전자동화 행정행위에 관한 연구 - 독일 연방행정절차법 제35조의a를 중심으로 -”, 성

균관법학 제29권 제3호 (2017) 등 참조.

153) Danielle Keats Citron, “Technological Due Process”, Washington University Law Review Vol. 85 (2008), p.

1281.

154) Citron은 자동화된 처분에 대한 문제의식을 차별에 관한 문제로 2014년에 확장하기에 이르렀으며, 점차 기술영역의 적법

절차 아젠다를 지지하는 연구자들이 속속 등장하게 되었다. ‘기술영역의 적법절차’라는 아젠다를 다루는 문헌으로는

Danielle Keats Citron · Frank Pasquale, 위의 논문, p. 19 ; Kate Crawford · Jason Shultz, 위의 논문, pp. 124-127 ;

Lilian Edwards · Michael Veale, 위의 논문, pp. 75-77 ; Neil M. Richards･Jonathan H. King, “Three Paradoxes of

Big Data”, Stanford Law Review Online Vol. 66：41 (2013), pp. 45-46 등 참조. 예를 들어, Neil M. Richards･Jonathan H. King, 위의 논문, p. 44는 데이터를 다룰 수 있는 거대기업과 국가만이 최종적인 승자가 되고, 개인들은 패

배자로서 더 강력한 통제에 노출될 것이라고 주장한다.

155) Danielle Keats Citron · Frank Pasquale, 위의 논문, p. 20 ; Kate Crawford · Jason Shultz, 위의 논문, p. 125.

156) Danielle Keats Citron · Frank Pasquale, 위의 논문, pp. 25-26.

157) 허유선, 위의 논문, p. 195.

55

제의식에 바탕을 두면서도, 정작 그러한 데이터들이 데이터 주체가 제출한 것 그대로

‘정확하게’ 처리되어야 한다고 주장하는 것은 문제해결에 도움이 되지 못할 가능성이 높

다. 분석 또는 학습의 대상이 되는 모집단 데이터 자체에 통계적인 편향 또는 역사적인

편견이 반영되어 있다면, 훈련 데이터가 ‘정확히’ 처리된다고 해서 차별이, 특히 차별의

경로의존성이 사라지는 것이 아니기 때문이다. 훈련 데이터에 반영된 통계적 편향이나

역사적 편견 자체가 문제인 상황에서는, 입력된 데이터가 모집단을 정확하게 통계적으

로 대표하도록 요구하는 방식으로는 문제해결이 불가능하다. 이 맥락에서는, 문제는 훈

련 데이터 자체가 해당 데이터에 담긴 정보주체의 (차별을 받지 않을) 권리를 침해할

가능성을 내포한다는 점에 있지, 절차적으로도, 내용적으로도 문제가 없는 데이터가 단

지 과거와 똑같은 결과를 산출한다는 점에 있지 않기 때문이다.

둘째로, 인공지능 학습의 대상이 되는 데이터 자체를 감독하고 규제하려는 방식은 개인

정보보호라는 중요한 사회적 요구와 충돌할 가능성이 높다. 예를 들어 차별행위의 잠재

적 객체가 될 수 있는 개인에 관한 데이터를 일반에 공개하거나 제3의 기관을 통해 검

증을 받게 하는 방식은, (경우에 따라 동의 없이) 개인정보를 일반에 공개하거나 제3자

에 이전하게 함으로써 오히려 데이터 주체의 프라이버시를 해칠 수 있다. 이처럼 차별을

방지하기 위해 인공지능에 대해 제안되는 규제들은 종종 (좋은 의도에도 불구하고) 수단

과 여러 상반되는 목적들이 적절하게 조화되지 못하는 현상을 보이는데, 이에 관해서는

4장의 마지막에서 좀 더 자세히 언급하기로 한다.

② 인공지능 알고리즘에 대한 규제

인공지능 알고리즘에 대한 규제방안으로 흔히 제시되는 정책은 다음과 같다：(i) 알고리

즘의 소스코드(source code) 및 프로그래머의 주석(comment)을 일반에 공개하거나

또는 공인된 독립기관의 검사를 받도록 하거나158), (ii) 알고리즘의 설계과정에서 차별이

의심되는 행위를 방지할 수 있는 메커니즘 또는 윤리적 메커니즘의 탑재를 요구159)하거

나, (iii) 인공지능이 데이터를 처리하는 과정을 사후적으로라도 추적할 수 있도록 감사

추적(audit trail) 기록을 남길 의무를 규정하는 것이다. 위와 같은 정책은 인공지능 알

고리즘이 최종적인 행위로 이어지는 경우 그 효과가 너무 막대하기 때문에 사후적 사법

판단이 아닌 사전적 행정규제로 차별행위 자체를 미연에 방지해야 하는데, 그러한 규제

158) Danielle Keats CitronㆍFrank Pasquale, 위의 논문, pp. 25-26 ; Neil M. Richards･Jonathan H. King, 위의 논문, p. 43.

159) 박종보 · 김휘홍, 위의 논문, pp. 55-56 ; 허유선, 위의 논문, pp. 198-201.

56

는 시민참여 등 상호소통을 통해 사회적으로 이뤄져야 한다(interactive modelling)는

문제의식에 바탕을 두고 있다160). 사회적 소통을 위해 알고리즘 자체가 공개되거나 적

어도 추적될 수 있어야 하고, 그러한 소통을 통해 형성된 사회적 합의를 알고리즘에 강

제할 수 있어야 한다는 것이다. 이러한 문제의식 또한 구체화를 쉽지 않게 하는 여러

현실적인 장애요인들이 있다.

알고리즘 규제에 관한 첫 번째 유형의 주장으로, 투명성을 제고할 필요가 있다는 취지

의 주장을 살펴보자. 이 맥락에서 우선 고려할 필요가 있는 것은, 예를 들어, 징병검사

에서 키를 측정하는 것처럼 평가기준이 대상에 대해 평가하고자 하는 능력을 정확히 포

착하는 경우도 있겠지만, 대부분의 경우 평가기준은 마치 학습능력을 평가하기 위한 시

험점수처럼 실제로 평가하려는 능력의 매개변수에 불과할 뿐이라는 점이다. 따라서 평

가기준이 공개될 경우 평가대상은 기준에 특화된 행동161)을 함으로써 실제보다 능력을

부풀릴 수 있다. 마찬가지로 알고리즘의 소스코드를 공개하는 등 투명성(transparency)

을 높이면 알고리즘 작동과정의 허점을 노려 부당한 이익을 취하려는 조작(gaming)에

노출될 수 있으므로, 알고리즘의 투명성이 증가할수록 대체로 실효성이 감소하는 상충

관계(trade-off)162)에 유의할 필요가 있다.

알고리즘의 투명성을 둘러싼 상충관계는 실효성과 투명성의 문제일 뿐만 아니라, 많은

경우에 사적 자율성의 확보와 공적 차별금지의 필요성 사이의 긴장관계이기도 하다. 가

급적 다양하고 많은 데이터를 확보하여 이를 통해 정확한 평가를 하고, 사적 이익을 극

대화하려는 것이 민간 영역의 일반적인 유인일 것인데, 법제도의 도입은 이러한 유인

구조에 대해 차별금지의 공적 필요성을 들어 제약하는 셈이 될 것이기 때문이다. 인공

지능을 통한 차별금지의 법제도는 현재로는 그 내용을 구체적으로 상정하기가 쉽지 않

은데, 구체적인 내용에 따라서는 사적 영역에서의 자율성에 대한 부당한 간섭이 될 수

도 있다.

그렇다면 차별금지의 필요성은 얼마나 중요한 것인가? Citron은 소비자 신용평가의 경

우를 예로 들어, 소비자대출에서의 차별을 방지하기 위해 신용평가 알고리즘의 소스코

드를 일반에 공개해야 한다는 주장을 펼친다. 이에 대해 근거로 제시된 논거는, (i) 인

160) Danielle Keats Citron · Frank Pasquale, 위의 논문, pp. 25-26.

161) 아예 평가대상에게 ‘특정한 평가결과’를 달성하는 방법이 무엇인지를 알려줘야 한다는 견해로는 Berk Ustun, Alexander

Spangher, Yang Liu, “Actionable Recourse in Linear Classification”, arXiv：1809.06514 (2018) 참조. 그러나 이는

아래에서 살펴보듯이 사적자치에 대한 제약을 해소하는 근본적인 방안이라고 할 수는 없다.

162) 캐시 오닐, 위의 책, pp. 165-167.

57

간의 존엄성과 (ii) 신용평가 과점시장의 혁신이다. 이에 대해 각각 살펴보자.

첫 번째 논거는, 대출에서 차별받는 사람들의 존엄은 인공지능 알고리즘 회사가 지식재

산권을 포기하고 소스코드를 전부 공개하도록 명할 수 있을 정도로 중요하다는 것이

다163). 인간은 물론 존엄한 존재이지만, 그 존엄을 근거로 알고리즘의 소스코드를 공개

하도록 하는 법제도를 구축하는 것이 정당화될 수 있는 것인지, 그리고 설사 정당화될

수 있다고 가정하더라도 실효성은 있을 것인지 또한 불분명하다.

두 번째 논거는, 소비자대출 시장에서 신용조회회사(Credit Bureau)들이 과점상태를 이

루고 있는 원인에 신용평가 알고리즘의 불투명성이 있다는 주장이다164). 현재의 개인신

용평가 알고리즘이 얼마나 효과적인지 외부자가 검증할 수 없으므로, 새로운 경쟁기업

이 시장에 등장할 수 없다는 것이다. 그러나 이 주장은 신용평가 알고리즘의 개발이 어

려운 근본적인 이유가 ‘알고리즘의 불투명성’에 있다는 생각을 전제로 하는 것이다. 개

인신용평가에 관한 규제는 개별 국가에 따라 상당히 다른 형태로 나타나는데, 인허가

제도 등을 통해 직접적인 진입장벽이 존재하는 경우가 많고, 제도적인 진입장벽이 없더

라도 알고리즘뿐 아니라 신용평가에 이용될 수 있는 데이터의 가용성 및 불투명성 등의

요소들이 경쟁과 혁신에 대한 중요한 제약요인이 된다. 즉, 문제의식이 정당한 것이라

하더라도, 알고리즘의 공개가 해결책이 되기는 어려운 것이다. 더 나아가, 경쟁자 사이

에서 같은 또는 유사한 알고리즘을 공유할 경우에는, 경쟁제한적인 담합의 의혹이 제기

될 수도 있다.

이와 별개로, 독립된 제3자 기관에 의한 감사가 필요하다는 주장 또한 현실적인 어려움

이 많다. 우선 독립기관이 어떻게 신뢰도를 확보할 것인지, 비밀유지나 개인정보보호는

어떻게 충실하게 이행할 것인지 등의 문제가 있다. 그리고 더욱 어려울 수 있는 문제

는, 이러한 기관이 ‘차별을 방지하기 위해’ 인공지능 개발업자와 이용자에게 감사를 개

시할 수 있는 경우는 어떤 경우인지, 그에 관해 어떻게 기준을 세울 것인지, 검증과정

에서 판단의 기준은 어떻게 세울 것인지 등에 관한 실무적이고 구체적인 것들이다165).

163) Danielle Keats Citron · Frank Pasquale, 위의 논문, p. 27.

164) Danielle Keats Citron · Frank Pasquale, 위의 논문, p. 31.

165) Danielle Keats Citron · Frank Pasquale, 위의 논문, 같은 곳 ; Kate Crawford · Jason Shultz, 위의 논문, pp. 123 등은

식품과 의약품의 유해성에 관해 널리 조사할 수 있는 식품의약품안전에 관한 정부기구가 있듯이, 알고리즘의 유해성을 조

사할 수 있는 정부기구가 설립될 수 있다고 주장한다. 그러나 알고리즘에 대한 총괄적 조사기구가 성립되어야 한다는 주장

은, 현실적으로는 알고리즘을 새로이 만들어내고 수정하는 것이 상대적으로 용이하다는 점을 고려할 때 간단하지 않은 것

이다. 예를 들어, 대규모 IT 회사가 일 년에 수백 번 또는 수천 번 알고리즘을 수정한다고 할 경우, 알고리즘이 수정될 때

마다 조사할 수도 없고 선별적으로 할 경우에는 어떻게 기준을 만들어 선별적인 조사를 할 것인지 등의 문제가 있다.

58

알고리즘 규제에 관한 두 번째 유형의 주장은, ‘윤리적 인공지능’이 필요하다는 취지의

주장이다. 즉, 인공지능 알고리즘을 개발할 때, 차별이 의심되는 행위를 미연에 방지할

수 있는 메커니즘을 포함한, 윤리적 메커니즘을 구축하여 이를 강제로 탑재시켜야 한다

는 주장이다166). 그러나 이는 다양한 이론적, 현실적인 문제들을 내포하는 주장이다. 우

선, 어떠한 의심스러운 기준에 의해 누군가가 차등적으로 대우받는다고 할 때, 그러한

‘차등적 대우가 존재하는지 여부’와 ‘차등적 대우가 부당하여 법적으로 차별에 해당하는

지 여부’는 전혀 다른 판단을 필요로 한다. 따라서 대상 간의 차등적 대우 자체에 ‘기준

값(threshold value)’을 설정167)하여, 모든 종류의 차등적 대우가 기준값을 넘어서지 않

도록 하는 메커니즘168)을 탑재하는 것이 차별을 방지하는 대안이 된다는 주장도 구체화

하기에는 어려움이 있다. 현재로서는 그러한 차등적 대우의 기준에 대해 법원이 원칙들

만 제시하고 있을 뿐 ‘기준값’을 제시하고 있는 것은 아닐 뿐더러, 설령 기준을 정한다

고 해도 차등적 대우의 기준값을 무조건 사전적으로 확정하는 방식은 개별적 상황에 관

한 고려는 무시한 채 모든 차등적 대우(예를 들어, 소수집단을 구제하기 위한 적극적

우대조치(affirmative action))를 원천적으로 금지하는 압력으로 작동할 우려가 있고,

그 과정에서 오히려 차별을 강화하는 역설적 결과를 초래할 수도 있다.

알고리즘 규제에 관한 세 번째 유형의 주장은, 차별을 사후적으로라도 통제하기 위해

인공지능 알고리즘에 감사에 필요한 감사추적(audit trail, 또는 감사증적)을 남겨야 한

다는 주장이 있다. 감사추적이란 본래 회계감사에서 누가, 언제, 무엇을, 어떻게 사용했

는지를 추적하는 과정에서 등장한 용어이나169), 오늘날에는 정보기술 분야의 용어로 확

장되어 데이터와 알고리즘의 변경이력을 감독할 수 있는 개념으로도 사용되고 있다. 각

166) 양종모, 위의 논문, pp. 84-87.

167) 위에서 본 것처럼, 간접차별의 요건이 되는 차등적 대우가 어느 정도인지에 관하여 구체적으로 합의된 수치(예를 들어, 5분의

4 규칙 등)가 존재하지 않는다는 점 또한 고려될 필요가 있다. 따라서 공공영역에서 국가가 ‘차별을 방지하는 알고리즘’을 도

입해야 한다는 주장도 현실화하기 쉽지 않다. 공공영역에서의 차등적 대우를 기계적인 수치에 따라 전부 차단할 경우, 오히려

매우 소수집단이라 비율 산정 자체가 어려운 종교 또는 인종 등에 대해서는 오히려 차등적 대우가 더 강화될 수도 있다.

168) 예를 들어, Lu Zhang · Yongkai Wu · Xintao Wu, “A causal framework for discovering and removing direct and

indirect discrimination” arXiv：1611.07509 (2016), p. 2는 차별에 관한 공학적 모델링을 구성함에 있어 직접차별을

‘차별금지사유가 차등적 대우에 직접 인과적 영향을 미치는 것(causal effect transmitted along the direct path from

the protected attribute to the decision)’으로, 간접차별을 ‘정당화되지 않은 속성이 담긴 인과경로를 통해 차별금지사유

가 차등적 대우에 인과적 영향을 미치는 것(causal effect transmitted along other causal paths that contain any

unjustified attribute)’로 정의하고 있다. 한편, 아예 부당성을 수량적 차이의 관점에서 정의하려고 한 시도로는 Indre

Zliobaite, “A survey on measuring indirect discrimination in machine learning”, arXiv：1511.00148v1 [cs.CY]

(2015) pp. 15-19 참조.

169) 박민영, “표준기록관리시스템 기능 평가 – 접근관리 기능을 중심으로”, 기록학연구 제38권 (2013), p.12.

59

각의 경우마다 세부적인 정의는 다르게 되고 있지만, 대체로 ‘전자기록이 생성, 변경 또

는 삭제된 모든 사건이력을 순차적으로 재구성할 수 있는 전자기록170)’으로 정의할 수

있을 것이다. 데이터의 처리과정에 감사추적을 도입할 경우, 데이터가 처리되는 모든 이

력을 사후적으로 추적할 수 있으므로 데이터 처리의 보안성과 신뢰성을 확보하고 감사

가 용이하게 이뤄질 수 있다.

하지만 감사추적 제도를 어떻게 구체화, 현실화할 것인가는 매우 어려운 문제이다. 감사

추적 제도는 그 취지상, 단지 데이터가 처리되는 모든 로그(log)만 남기면 되는 것이

아니라, 감독기관이 의해 이력이 검토 및 복사될 수 있도록 일정기간 동안 데이터를 따

로 보관할 의무를 전제171)한다. 오늘날 감사추적은 그 운영에 드는 비용으로 인해 금융,

의약품검사 등 제한적 영역에만 법적으로 강제되고 있다. 따라서 모든 종류의 인공지능

알고리즘 프로그램에 감사추적 제도를 강제하는 것은 인공지능 기술의 발전과 사회적인

도입에 과도한 부담을 초래할 수 있다. 특히 개별 영역에 따라서는 알고리즘이나 데이

터가 매우 빈번하게 수정되고 업데이트되기도 하는데, 이에 관해 매번 감사추적을 하도

록 한다면 그 이행과정이 매우 부담스러운 일이 될 것이다.

③ 개인의 이의권 보장

마지막으로 인공지능을 활용한 행위에 대해 개인의 이의권을 보장해주어야 한다는 주장

을 검토한다. 이 주장의 요지는 자신에 대한 최종적 행위가 인공지능에 의해 단독으로

이뤄지지 않도록 거부할 수 있는 권리172)를 보장해야 한다는 것이다. 데이터와 알고리즘

에 대한 규제들이 사회적 관점에서 조사기구 등의 제도를 수립하는 차원의 문제로 다뤄

170) 예를 들어, 감사추적에 대한 미국 FDA(Food and Drug Administration)의 다음과 같은 정의를 참조할 수 있다. “For

purposes of this guidance, audit trail means a secure, computer-generated, time-stamped electronic record

that allows for reconstruction of the course of events relating to the creation, modification, or deletion of an

electronic record. An audit trail is a chronology of the “who, what, when, and why” of a record.” Food and

Drug Administration, “Data Integrity and Compliance With CGMP Guidance for Industry” (2016), p. 3 ; 우리나

라 「식품ㆍ의약품분야 시험ㆍ검사 등에 관한 법률(이하 ‘식품의약품검사법’)」의 ‘기록관리시스템’에 관한 규정을 같은 맥락에

서 참조할 수 있다. “10. 컴퓨터 기반 제어프로그램을 사용하는 시험ㆍ검사 장비에 대하여 시험·검사 결과의 수정 등을 포

함한 모든 작업 기록을 유지ㆍ보존할 수 있는 시험 · 검사 기록관리시스템을 설치ㆍ운영하여야 한다”, 「식품의약품검사법」

제12조 제3항, 동법 시행규칙 제15조의 [별표6].

171) 예를 들어, CFR TITLE 21 - FOOD AND DRUGS PART 11 ELECTRONIC RECORDS ; ELECTRONIC SIGNATURES,

Subpart B - Electronic Records, Sec. 11.10 Controls for closed systems. (e) Use of secure, computer-generated,

time-stamped audit trails to independently record the date and time of operator entries and actions that

create, modify, or delete electronic records. Record changes shall not obscure previously recorded information.

Such audit trail documentation shall be retained for a period at least as long as that required for the subject

electronic records and shall be available for agency review and copying.

172) Kate CrawfordㆍJason Shultz, 위의 논문, p. 126.

60

졌다면, 이의권은 데이터와 알고리즘에 대해 개인적 차원의 권리를 보장함으로써 문제를

해결하려는 시도라 할 수 있다. 이러한 주장들은 대체로 유럽연합의 GDPR(General

Data Protection Regulation) 제22조 제1항에 규정된 이의권과 관련성이 있는 것으로

보인다. GDPR은 ‘오직’ (인공지능 알고리즘 등의) 자동화된 처리에‘만’ 의존하여 중대한

영향을 끼치는 법적 효과를 창출하는 판단에 대해 그 대상이 되지 않을 권리를 정보주체

에게 부여한다(‘right not to be subject to a decision based solely on automated

processing, including profiling, which produces legal effects concerning him or

her or similarly significantly affects him or her’).

그런데 GDPR 제22조와 관련해서는 이를 어떻게 해석해야 할지에 대해 다양한 견해가

존재한다. 우선, ‘오로지 인공지능 알고리즘에만 기반을 두고 있는 판단’이란 무엇인가?

예를 들어, 어떤 회사가 인공지능 알고리즘이 수만 명의 지원자들의 정보를 처리하여 면

접대상자를 추려내도록 서류전형에 인공지능을 활용했다고 가정해보자. 이때 지원자 중

한 명이, 자신에 대한 서류전형 합격판단이라는 최종적 행위가 인공지능에만 기반을 두

어 이뤄진 것이라는 이유로 ‘이의권’을 행사한다면, 회사는 어떻게 대응할 것인가? 어렵

지 않게 생각할 수 있는 대응방식은, 회사의 채용담당자가 인공지능의 판단과정을 들여

다 본 다음, 그 판단논리에 수긍하여 (또는 그 판단논리를 참조하여173)) 이의권을 행사한

지원자에게 채용담당자 자신의 판단으로 합격여부를 통보하는 것이다. 한편, 만일 이와

같은 이의권의 행사 자체가 부담스럽게 여겨진다면, 전체 채용과정 중에서 매우 간단한

업무에 대해 인공지능이 아닌 담당자를 거치도록 함으로써 오로지 인공지능에 의한 판단

은 아닌 것으로, 법제도를 우회하는 것도 생각해 볼 수 있다. 결국, 어떤 식이건 이의권

보장의 개념을 애초에 주장하고 도입한 취지와는 다른 형태로 실무적인 반응이 나타날

가능성이 적지 않다.

따라서, 인공지능 알고리즘에‘만’ 기반을 둔 행위의 대상이 되지 않을 권리(이의권)는, 매

우 제한적인 상황에만 사용될 수 있는 권리이며, 사용되더라도 차별의 결과를 방지하기

보다는, 차별의 결과를 발생시킨 최종적 결정자를 인공지능에서 사람으로만 변경한다거

나 하는 등의 방식이 나타나면서 실효성 확보가 어려울 가능성이 높다. 또한, 적어도 현

173) 이때 회사의 채용담당자가 인공지능의 판단논리를 해석할 수 없다는(inscrutable) 것이 불투명성의 차원에서 문제를 일으

키는가? 이는 인공지능의 제조업자와 이용자 사이의 민사적 구상관계의 문제에 불과하며, 결국 최종적인 차별행위는 회사

의 채용담당자(이용자)에 의해 이뤄지는 것이므로 차별의 피해자인 제3자에게는 문제가 되지 않는다. 자신도 이해하지 못

하는 근거를 바탕으로 삼아 차별적인 채용행위를 했다는 점이, 인공지능을 사용하였다는 이유만으로, 특별히 피해자에 대

한 면책사유가 되지는 않을 것이다.

61

재로는 인공지능 알고리즘에 주체성을 인정한다거나 법인격을 부여하기도 어렵다는 사정

을 감안한다면, 이의권의 도입이 당사자의 구제에 얼마나 현실적인 기여를 할 수 있는지

는 의문이다.

3) 인공지능을 활용한 차별행위에 대한 사전적 행정규제를 둘러싼 혼란

지금까지 인공지능과 차별의 문제에 대해, 사전적 행정규제를 도입해야 한다는 여러 주장

과 그 구체적 방안으로써 데이터 및 알고리즘에 대한 체계적 규제와, 개인의 이의권 보장 등

을 차례로 살펴보았다. 이러한 논의들은 사후적 구제수단인 재판에 관한 논의에 비해 더 복잡

하고 혼란스러운 양태를 띤다. ‘인공지능과 차별’에 관한 문제는, 차별에 관한 지금까지의 논

의는 물론 인공지능의 불투명성이나 개인정보보호 등 여러 영역의 문제가 불가피하게 함께

논의되는 것에 그 원인이 있다.

예를 들어, 개인정보보호의 관점에서는, 개인정보 등 문제되는 정보의 수집 자체를 최대한

제한할 수 있다면 그렇게 하는 것이 개인정보보호에 도움이 된다. 특히 개인정보보호의 관점

에서는 인종, 종교, 성적 지향 등에 관한 정보는 ‘민감정보174)’로서 수집을 별도로 제한한다.

그러나 차별금지의 관점에서는 문제되는 정보의 수집과 처리를 단순히 차단하는 것이 능사라

할 수 없다. 구체적인 예를 들어보자. 프랑스에서는 2006년부터 취업시 이력서에 이름, 피부

색 등 신상에 관련된 몇몇 정보를 기재하지 못하도록 강제하는 무명이력서(CV anonyme) 제

도를 법제화하여 실시하였다. 그런데 3년 뒤 프랑스 정부가 무명이력서 제도의 효과를 검증해

본 결과, 무명이력서 제도는 채용담당자가 자신과 유사한 배경을 지닌 지원자를 선호하는 경

향을 억제하기는 하였으나, 오히려 이민자 및 민감지역(Zone urbine sensible) 거주자 등 취

약계층에게 불리하게 작용하고 있음이 파악되었다. 원래 채용담당자들은 학력 등 이력에 약점

이 있는 지원자가 이민자나 민감지역 거주자인 경우 그 사정을 참작하여 선발하는 경향이 있

었는데, 무명이력서 제도로 인해 민감지역 거주 여부가 이력서에서 누락되는 탓에 이력에 약

점이 있는 지원자는 무조건 배제하는 방향으로 선발이 진행되었기 때문이다175). 그러므로 경우

174) 현행 「개인정보보호법」 제23조 제1항 참조.

제23조 【민감정보의 처리 제한】 ① 개인정보처리자는 사상ㆍ신념, 노동조합ㆍ정당의 가입ㆍ탈퇴, 정치적 견해, 건강, 성생활

등에 관한 정보, 그 밖에 정보주체의 사생활을 현저히 침해할 우려가 있는 개인정보로서 대통령령으로 정하는 정보(이하 “민감

정보”라 한다)를 처리하여서는 아니 된다. 다만, 다음 각 호의 어느 하나에 해당하는 경우에는 그러하지 아니하다.

1. 정보주체에게 제15조제2항 각 호 또는 제17조제2항 각 호의 사항을 알리고 다른 개인정보의 처리에 대한 동의와 별

도로 동의를 받은 경우

2. 법령에서 민감정보의 처리를 요구하거나 허용하는 경우

62

에 따라서는, 오히려 당사자들의 관련된 민감정보를 폭넓게 수집 및 처리함으로써 상황을 정

확하게 파악하는 것이 차별방지에 도움이 될 수 있다176). 또한, 일단 차별이 발생하여 문제가

되면, 그때부터는 피해자의 구제를 위하여 피해자가 속한 집단 및 비교집단의 차별금지사유에

관한 정보가 필요해진다. 차별행위자가 처음부터 그런 정보를 전혀 수집하지 않은 채 차별행

위를 저질렀다면, 차후에 법원은 그 행위가 다른 비교집단에 비해 차별적 영향을 유발한 것이

었는지 여부 자체를 파악하기 힘들고, 차별의 부당성에 대한 판단은 더더욱 어려워질 수 있다.

마찬가지로, 행정절차법적 관점에서 개인은 자신에 대한 결정이 ‘어떻게 이뤄졌는지’에 관한 구

체적인 설명177)을 필요로 한다. 행정절차적 관점에서 볼 때 불이익한 처분에 대해 설명을 요구할

권리(right to explanation)는 정부의 자의적인 공권력 행사로부터 개인을 보호할 수 있는 중요

한 제도적 보호장치이다. 투명성은 공적 영역에서 절실히 요청되고 있는 셈이며, 그 연장선상에서

데이터와 알고리즘에 대한 통지 또는 설명의 권리는 정부 등 국가기관에 대하여 널리 요구될 가능

성이 있다. 그러나 개인정보보호의 관점, 특히 국내 개인정보보호 법제도의 관점에서는 문제되는

특정 정보가 수집되었는지 그리고 그 정보가 제공이나 위탁되었는지 자체가 더 중요하다. 일단

누군가의 손에 정보가 들어갔다면, 개인정보는 이미 그 사람에게 노출된 셈이기 때문이다.

이처럼 인공지능 알고리즘에 대한 사전적 행정규제를 둘러싼 논의를 구체화하기 위해서는,

여러 보호법익이 혼재하고 있고178), 논의를 구체화하는 과정에서 다양한 이익 사이에 충돌이

175) 김도승, 앞의 글, pp. 127-130.

176) Indre ZliobaiteㆍBart Custers, “Using sensitive personal data may be necessary for avoiding discrimination in

data-driven decision models”, Artificial Intelligence and Law Vol. 24 (2016), pp. 197-198 ; Betsy Anne

Williams·Catherine F. BrooksㆍTotam Shmargad, 앞의 글, pp. 106-107은 공통적으로 차별금지사유를 아예 수집 및

처리하지 못하도록 제한하는 경우에, (인공지능) 알고리즘이 그 제한된 사유의 결측값을 대체하는 매개변수를 찾아내어 분

석에 활용하는 문제가 발생할 수 있으므로, 그에 대한 해결책으로써 차별금지사유를 포함한 민감정보를 오히려 적극적으로

수집하여 분석에 반영하여야 한다는 주장을 펴고 있다. 알고리즘을 사용한 결과 차별적인 결과가 나타났는데, 그 배경에 관

한 아무런 정보가 없어서 차별의 행위자조차 그것이 차별인지를 깨달을 수 없다면 차별의 시정이 훨씬 오래 걸릴 수 있기

때문이다. 그런데 이처럼 알고리즘적 차별을 방지하기 위해 민감정보를 수집하려는 시도는, 일반적으로 정보의 수집과 처리

를 억제하려는 경향을 보이는 개인정보보호법제와의 충돌을 유발할 가능성이 높다. 이는 인공지능의 알고리즘적 차별에 대

한 규제와 인공지능 알고리즘의 개인정보보호 맥락의 규제가 서로 다른 법정책적 목표를 가지기 때문에 나타나는 것이다.

177) 예를 들어 현행 「행정절차법」 제5조 및 제23조 참조.

제5조(투명성) 행정청이 행하는 행정작용은 그 내용이 구체적이고 명확하여야 하며, 행정작용의 근거가 되는 법령 등의 내

용이 명확하지 아니한 경우 상대방은 해당 행정청에 그 해석을 요청할 수 있다. 이 경우 해당 행정청은 특별한 사유가 없

으면 그 요청에 따라야 한다.

제23조(처분의 이유 제시) ① 행정청은 처분을 할 때에는 다음 각 호의 어느 하나에 해당하는 경우를 제외하고는 당사자

에게 그 근거와 이유를 제시하여야 한다. (생략) ② 행정청은 제1항, 제2호 및 제3호의 경우에 처분 후 당사자가 요청하

는 경우에는 그 근거와 이유를 제시하여야 한다.

178) 예를 들어 EU GDPR 제5조는 적법성, 공정성, 투명성, 정확성, 데이터 최소화, 기밀성, 책임성 등 요소를 개인정보 처리

원칙으로 규정하고 있는데, 이때 ‘공정성(fairness)’을 바탕으로 GDPR의 권리들을 차별금지에 관한 권리로 해석할 수 있다.

63

발생할 가능성이 있음에 대해 충분히 인식하고, 이에 관한 더욱 세밀한 분석과 고려가 필요해

보인다. 다양한 이익 중에서도 특히 개인정보보호에 관한 종래의 데이터 규제 체계에 대한 검

토가 중요한 것일 수 있다. 개인정보보호의 맥락에서는, 위에서 살펴본 것과 같이 최소수집의

원칙이 중요한 원칙 중 하나인데, 다른 한편 데이터를 적게 수집할수록 차별이 오히려 강화되

거나 사후적 차별의 구제 자체에 어려움이 생길 수 있다. 더욱 어려운 문제는, 데이터를 적게

수집한다고 해서 차별이 방지되는 것도 아니고, 오히려 데이터가 적기 때문에 차별이 강화될

가능성조차 있다는 것에 있다. 또한, 차별방지를 이유로 해서 데이터 수집이 제한된 경우라

해도, 데이터를 분석하는 과정에서 그것을 대체하는 변수를 고안해 낼 수도 있어서, 차별을

방지하기 위해 데이터의 수집을 규제하는 것은 그 유효성을 확보하기가 매우 어려울 수 있다.

특히 사적 영역에서의 차별금지는 개인이 평등한 대우를 받을 권리를 보호할 뿐만 아니라,

평등한 대우가 실현되도록 하는 평등원칙을 보호하는 것으로써, 근본적으로 공적 이익을 바탕

으로 사적 자치에 대하여 일정한 제약을 부과하는 것이다. 따라서 차별금지에 관한 사회적,

법적 요청은 사적 영역 그 자체를 보호하려는 프라이버시라는 가치와 근본적인 충돌을 빚을

가능성이 있다. 그런 점에서, 데이터의 규제에 있어 프라이버시 보호만을 최고의 가치로 일관

되게 강조하는 입장은 유지되기 어려울 수밖에 없다. 인공지능과 알고리즘, 그리고 데이터에

대한 규제의 맥락에서, 각기 다른 이익을 보호하고자 하는 서로 다른 가치들 사이의 충돌이

발생할 경우에 어떤 원칙하에 어떻게 서로 조화를 이룰 수 있을 것인지에 관해서는 진지한

분석과 방향모색이 필요하다.

라. 소결

4장에서는 인공지능과 차별에 관한 선행연구들이 제기한 여러 가지의 문제제기를, ① 차별

의 실체적 요건에 대한 문제, ② 차별에 관한 소송의 절차적 문제, ③ 사전적 행정규제의 필

요성에 대한 문제의 3단계로 나누어 정리하고 각각의 문제되는 쟁점들을 살펴보았다. 이러한

쟁점에 대한 잠정적인 결론은 아래와 같이 정리할 수 있다.

1) 인공지능을 활용한 차별행위에는 차별의도나 행위의 고의ㆍ과실이 인정되기가 어려운가?

반드시 그런 것은 아니다. 인공지능 소프트웨어 자체의 작동을 예측하기 어렵다는 사정과,

그러나 우리가 위에서 살펴보았듯이, 투명성(행정절차적 측면), 공정성(차별금지의 측면), 데이터 최소화(개인정보보호의 측

면) 등은 구체적 권리인정에 있어 길항하는 관계를 보일 수 있다. 그러나 이들 사이의 조화는 어떻게 달성될 수 있는지에

관하여 GDPR은 아무런 규정을 두지 않고 있다.

64

인공지능이 인간에 대해 단독으로 최종적 결정(처분)을 하여 그 인간에게 영향을 미치는

것을 예측하기 어렵다는 사정은 다른 차원의 문제이다. 인공지능이 최종적 결정을 단독으

로 할 수 있도록 설정이 되었다면, 설정과정에서의 합리적 예측가능성 등을 고려하여 차별

의도나 고의 및 과실이 인정될 수 있는 가능성이 있다.

2) 인공지능은 불투명하므로 인공지능을 활용한 차별행위를 재판으로 규율하기 어려운가? 마

찬가지로 반드시 그렇지는 않다. 법원은 차별로 인한 손해배상 책임의 요건에 대한 증명책

임을 적절히 분배함으로써 일반적 차별행위는 물론, 인공지능을 활용한 차별행위 또한 적

절히 규율할 수 있다. 다만, 그러한 규율이 가능하기 위해서는 인공지능을 활용한 의사결

정 맥락에서 증명책임을 어떻게 설정할 것인지에 관한 전반적인 재검토가 필요할 수 있다.

3) 인공지능이 결측값에 대한 대체변수를 만들기 쉽기 때문에, 차별행위 자체가 쉽게 이루어질

수 있어 사회적 차별이 경로의존적으로 강화되는가? 역시 반드시 그렇지는 않다. 차별은 그

속성상 근본적으로 경로의존적인 성격이 있으며, 다만, 빅데이터로 인해 문제가 발생할 경우

에 그 속도나 규모가 커질 수 있게 되었고, 경우에 따라 개별 인공지능 모형 안에서 반복적으

로 나타날 수 있게 된 것이다. 차별 문제의 본질적 구조 차체가 달라진 것이라 보기는 어렵다.

인공지능을 활용한 차별행위에 관해, 사전적 행정규제를 도입하는 것이 쉽지 않은 이유는

무엇인가? 그 배경에는, 인공지능에 대한 행정규제가 보호법익으로 삼고 있는 차별금지, 행정

절차적 투명성, 개인정보의 보호 등이 모두 서로 다른 법정책적 목표를 가지고 있고, 이들 법

정책적 목표사이에 서로 충돌이 발생할 가능성이 있다는 점이 있다. 또한, 그와 관련된 매우

다양한 실무적이고 구체적인 쟁점들이 있다. 문제제기 자체는 타당하더라도, 이를 어떻게 구

체화하여 반영할지 구체적인 답을 제시하는 것은 다른 차원의 이슈인 것이 일반적이어서, 그

에 관해서는 지속적인 논의와 고민이 필요한 형편이다.

5. 인공지능 차별의 사례검토：소비자대출

4장에서는 사후적 구제의 실체적 쟁점, 절차적 쟁점, 사전적 규제에 관한 쟁점으로 문제를

나누어 살펴보는 프레임워크를 통해 인공지능과 차별 문제에 대해 새로운 개념과 쟁점을 제

시하고자 하였다. 이 글의 분석구조와 개념 및 논리가 어떻게 현실에, 특히 우리나라의 상황

에 적용될 수 있는지를, 이 장에서 국내의 흥미로운 사례인 ‘2012년 신한은행의 학력에 따른

65

신용차별 사건’을 중심으로 다시 정리해보고자 한다.

가. 사례의 개관

이 사건은 신한은행이 2008년 4월부터 학력을 신용요소로 삼는 내부 신용평가모형을 개

발하여 그에 따라 소매금융상품에서의 금리산정을 해온 것이 2012년 7월 감사원의 ‘금융권역

별 감독실태’ 감사에서 적발됨으로써 알려진 것이다. 감사원이 지적한 내용의 요지는, 신한은

행이 내부 신용평점 산정에 이미 직업이나 급여를 신용평가요소로 반영하고 있는데. 그에 추

가하여 학력까지 평가요소로 반영함은 불합리하다는 것이었다. 왜냐하면, 감사원이 보기에, 학

력은 직업과 급여에 이미 영향을 주고 있기 때문에 학력을 반영하는 것은 같은 변수를 중복

해서 반영하는 문제가 있기 때문이었다. 그럼에도 불구하고 금융감독원은 신한은행의 신용평

가모형이 학력을 평가요소로 삼고 있다는 것을 문제 삼지 않았으므로, 감사원은 금융감독원이

신한은행에 대해 제대로 된 조치를 취하지 않은 것이라고 지적하였다179).

은행의 내부 신용평가모형은 공개대상이 아님에도 불구하고 어떻게 학력에 따른 신용평가

모형이 문제된 것일까? 우선 이 문제가 발생된 배경을 보면, 이는 신한은행의 내부 신용평가

모형이 국제결제은행(BIS, Bank for International Settlements) 산하의 은행감독에 관한 바

젤위원회(BCBS, Basel Committee on Banking Supervision)의 기준에 입각한 우리나라 금

융위원회의 규제를 받고 있기 때문에 나타난 것으로, 은행이 아닌 금융기관의 신용평가 모형

에서는 발생하기 어려웠을 사례이다.

바젤위원회는 자기자본비율 등 은행감독 업무에 대한 국제적 표준을 만드는 기구로서, 은

행의 재무건전성을 확보하기 위한 감독기준을 이른바 바젤Ⅰ, 바젤Ⅱ 등으로 불리는 바젤협약

(Basel Capital Accord)으로 발표하고 있다. 자본규제 측면에서 볼 때, 1988년에 처음 발표

된 바젤Ⅰ이 총자산에 대한 자기자본의 비율 산정에 있어서 자산의 종류별 위험(신용위험,

179) 감사원, “금융권역별 감독실태Ⅱ 공개문” (2012), pp. 31-32. (이에 관해서는 언론에도 다수 보도되었다.)

“통보 내용：금융감독원에서 「은행업감독규정」 제26조 및 「은행업감독업무시행세칙」 제26조(*저자 주：제17조의 오기로

보인다) [별표3] “위험가중자산에 대한 자기자본비율 산출기준”에 따라 은행의 신용리스크 내부등급법 사용 신청안에 대한

승인 업무를 하면서 신용평가모형(Credit Scoring System)의 적정성을 검토하고 이를 승인하고 있다.

금융감독원에서 은행이 불합리한 신용평가 항목으로 개인 신용을 높게 평가하여 신용대출을 거절하거나 대출금리를 더 부

담하게 하는 일이 없도록 지도ㆍ감독하여야 한다.

그런데 ○○은행의 경우 통상 개인별 학력 차이는 직업이나 급여 등에 영향을 미치고 있는데도 학력을 직업이나 급여 이

외에 별도 항목으로 평가하여 학력별로 신용평점에 차등(고졸 이하 13점 ~ 석·박사 54점)을 두고 있다.…”

“조치할 사항：금융감독원장은 ○○은행장으로 하여금 개인 신용평가 항목에서 학력을 제외시키는 등 개인 신용평가모형

을 재개발하는 방안을 마련하도록 하시기 바랍니다.”

66

capital risk)과 시장 변동에 따른 위험(시장위험, market risk)을 고려한 위험가중자산을 사용

하도록 했다면, 2004년에 발표된 바젤Ⅱ는 부적절한 내부절차ㆍ인력 등으로 인한 위험(운영

위험, operational risk)을 함께 고려하도록 하고 있다. 다른 한편, 2010년에 발표된 바젤Ⅲ

는 자기자본 제고, 레버리지 규제, 자본공시 강화 등에 초점을 맞추고 있다180).

우리나라는 2009. 3. 13. 바젤위원회에 가입하였으며, 이에 따라 은행법 및 은행업감독규

정181)에서 바젤협약에 따른 감독기준을 반영하고 있다182). 은행이 바젤협약상의 기준을 충족

시키지 못할 경우, 금융감독원은 은행으로 하여금 개선 계획을 제출하도록 할 수 있다183). 감

사원이 지적의 근거로 들고 있는 은행업감독규정 제26조 및 은행업감독업무시행세칙 별표3은

바젤협약을 인용하고 있는 것이다. 이를 고려하면, 감사원은 학력에 따른 신용평가가 ‘차별’이

라서 문제라고 지적한 것이 아니라, 평가모형이 ‘건전성’에 관한 바젤협약상의 기준을 위반한

것이라고 본 셈이다.

그렇다면 학력을 고려한 신용평점이 바젤협약상의 기준 중 무엇을 위반한 것인가? 감사원

의 통보에는 이 부분이 설명되어 있지 않다. 바젤협약의 자본규제는 위험을 반영한 총 자산에

대한 자기자본의 비율을 일정한 수준으로 통제하는 데 초점이 있는데, 이는 사후적으로 비율

을 달성하도록 요구하는 것 외에도 사전적으로 적절하게 자산이 분산될 수 있도록 하는 방법

으로 달성될 수 있다. 이에 따라 바젤협약은 은행의 내부 신용평가 모형에 대한 기준을 두고

있는데, 이는 은행업감독업무시행세칙 별표3의 제148항 이하에서 규정되고 있다. 그러나 이

들 규정은 전체적으로 모형이 타당할 것을 요구하고 있을 뿐이다(별표3 제160항 등 참조).

그렇게 보면 단지 학력이라는 요소가 직업이나 급여와 통상적인 상관관계가 있다는 이유를

들어, 이를 반영하는 것이 바젤협약상 모형의 타당성을 해친다고 보는 것이 타당한 것인지,

그리고 그러한 판단에 기초하여 해당 항목을 모형에서 아예 없애도록 한 것이 타당한 것인지

에 관해 추가적인 분석과 논의의 필요성이 있어 보인다184).

180) 김희준, “바젤 은행규제의 최근동향 및 국내도입의 시사점”, 은행법연구 제11권 제1호 (2018), pp. 159-161.

181) 이하 본고에서 인용하는 은행법은 2017. 4. 18. 법률 제14826호로 개정된 것, 은행업감독규정은 2018. 7. 12. 금융위

원회고시 제2018-17호로 개정된 것, 은행업감독업무시행세칙은 2018. 6. 30. 금융감독원세칙으로 개정된 것을 따른다.

182) 은행법 제34조 제2항, 제3항, 은행업감독규정 제26조 제2항, 은행업감독업무시행세칙 제17조 제1항.

183) 은행업감독규정 제26조 제3항, 제33조.

184) 감사원이 근거로 든 바젤협약 이외에, 은행업감독규정 제78조 제1항 제5호에서는 은행이 여신의 건전성을 확보할 수 있도

록 여신이 편중되지 않을 것을 요구하고 있는 바, 특정한 학력을 가진 집단에 여신이 편중되지 않도록 하여야만 한다는 맥

락에서 지도를 하는 것도 가능했을 것으로 보인다.

67

그러한 점에서 이 사례는 – 물론 이 사례 자체가 인공지능을 본격적으로 활용한 의사결정

에 관한 것은 아니지만 - 인공지능과 차별에 관한 쟁점을 우리나라의 맥락에서 종합적으로 살

펴볼 수 있는 매우 흥미로운 기회를 제공한다185). 만약 어떤 은행이, 인공지능 알고리즘을 활

용하여 소비자들의 신용도를 산정하였는데, 그 알고리즘에 투입된 데이터에 학력이라는 요소

가 있었다면 – 그리고 그것이 차별금지사유에 가까운 것이라면186) - 이것은 소비자 신용평가

의 과정에서 인공지능을 활용한 차별의 문제일 수 있다. 이 문제를 어떻게 다뤄야 하는가?

나. 관련 법리

우리나라에서는 1997년 외환위기를 계기로 가계신용이 대폭 확대되었고, 이후 신용카드

사태를 겪으면서 개인신용평가제도가 본격적으로 도입되었다187). 개인신용평가에 대한 현행법

은 「신용정보의 이용 및 보호에 관한 법률(이하 ‘신용정보법’ 또는 ‘법’188))」을 기본으로 하는

하위규정이 구성하고 있다. 이러한 현행 법제의 특징은 크게 세 가지로 정리될 수 있다.

신용정보법은 가공된 신용정보로서의 신용평점과, 그 가공의 기초가 되는 신용요소인 신용

정보를 모두 ‘신용정보’라는 포괄적인 개념으로 아우르고 있다189). 본고에서는 논의의 편의를

위하여, 신용도 또는 신용거래능력을 평가하기 위해 가공된 신용정보인 ‘신용평가정보(주로

신용평점과 신용등급190))’과 그 기초가 되는 신용정보인 ‘신용요소정보(예를 들어, 식별정보,

신용거래정보 등191))’를 - 실정법상 구분은 아니지만 - 개념상 구분하여 사용하도록 한다192).

185) 국내외 금융기관에서는 이미 신용평가에 머신러닝 인공지능을 활용하고 있다(금융보안원, “국내·외 금융권 머신러닝 도입

현황” (2017), pp. 7-8).

186) 다만, 장래에 차별금지법이 제정되더라도, 학력이 차별금지사유가 될 수 있는지에 대하여는 논란이 있을 수 있다. 해외에

서도 학력을 차별금지사유로 정한 입법례는 찾아보기 어렵다(전국은행연합회, 2012. 10. 31.자 ‘은행권, 「불합리한 차별행

위 방지 모범규준」 제정 시행’ 보도자료, p. 3).

187) 이건범, “고객 신용도와 금융회사의 가계신용 공급”, 경제발전연구 제20권 제2호 (2014), pp. 45-46 ; 김성숙, “이주민의

신용거래 평등성 - 미국 신용기회평등법(ECOA) 고찰을 중심으로”, 다문화사회연구 제8권 제2호 (2015), pp. 201-202.

188) 이하 본고에서 인용하는 신용정보법은 2018. 8. 14. 법률 제15748호로 개정된 것, 시행령은 2018. 5. 28. 대통령령 제

28918호로 개정된 것을 의미한다. 한편, 본고에서 신용정보법 제25조 제2항 제1호에 따른 종합신용정보기관인 한국신용

정보원의 신용정보관리규약을 인용할 때는 2018. 6. 7. 개정된 것을 따르며, 신용정보법의 운용에 대한 금융위원회 고시

인 신용정보업감독규정은 2016. 10. 20. 금융위원회고시 제2016-40호로 개정된 것을 따른다.

189) 신용정보법 제2조 제1호.

190) 신용정보업감독규정 제2조의2 제3항, 제4항.

191) 신용정보관리규약 제4조, 제5조, 제7조, 제11조, 제12조.

192) 물론 이미 1차적으로 가공된 신용평가정보를 2차적으로 가공하여 다른 신용평가정보를 만드는 경우를 상정할 수 있으며,

현행 신용정보법제는 이러한 2차적 가공 등을 전부 포괄하여 규제할 수 있도록 신용평가정보와 신용요소정보를 포괄하여

신용정보로 규정하고 이를 규제대상으로 삼는 것이라 할 수 있다.

68

현행 신용정보법은 기초적 신용요소정보가 공공영역으로 집중될 수 있도록 ‘신용정보집중기

관(Public Credit Register, PCR)193)’을 두면서, 동시에 이를 바탕으로 신용정보를 가공하는

‘신용조회회사(Credit Bureau, CB)194)’를 민간영역에 두는 구조를 취하고 있다. CB는 납세내

역 등의 신용요소를 공공기관으로부터 직접 취득할 수 없고 반드시 PCR을 통해서만 얻어야

한다195). 또한 우리나라의 CB는 신용평가모형을 개발하고 판매하는 것 이외에 별도의 영리목

적 사업을 하는 데에 제한을 두고 있다196).

신용정보집중기관(PCR)은 종합신용정보집중기관과 개별신용정보집중기관으로 나뉘는데197),

금융 영역에서는 현재 한국신용정보원(종래 전국은행연합회 및 여러 금융관련 협회에서 수행

하던 신용정보집중 기능을 포괄하여 2016년 1월 설립)이 신용정보를 종합적으로 취급하는

신용정보집중기관으로 역할을 하고 있다. 국내의 신용평가회사(신용조회회사198)) 중 개인신용

을 다루는 업체로는 현재 나이스(NICE)신용평가와 코리아크레딧뷰로(KCB) 등이 있고199), 이

에 더하여 은행 등 개별 여신업체에서 내부적으로 활용하는 신용평점체계가 존재한다200). 이

와 같은 신용정보에 대하여 신용정보의 주체인 개인(신용정보주체201))은 자신의 신용정보가

‘사실과 다른 경우202)’에는 그 정정을 신용정보회사 등 기관에 청구할 수 있고, 해당 기관은

청구에 대하여 7일 이내에 답변을 하지 않을 경우 5천만 원 이하의 과태료를 부과받는다203).

기관의 답변에 대하여 이의가 있는 신용정보주체는 금융위원회에 시정을 요청할 수 있다204).

그런데 신용정보법상의 정정청구 제도는 정보주체가 문제 삼는 신용정보가 ‘사실과 다른

193) 신용정보법 제2조 제1호 제6호.

194) 신용정보법 제2조 제1호 제5호.

195) 신용정보법 제23조 제2항 및 제3항의 개정내역 및 연혁 참조. (2015. 3. 11. 법률 제13216호로 개정되기 전의 것)

196) 신용정보법 제4조 제1항 제1호, 제11조 제2항.

197) 신용정보법 제25조 제2항.

198) 신용정보법 제5장 제1절로 규정.

199) 금융위원회, 2018. 1. 30.자 ‘개인신용평가체계 종합 개선방안’ 보도자료, p. 1.

200) 국제 은행감독위원회 ‘바젤(Basel) 위원회’에서 제시한 ‘Basel II’ 기준을 토대로, 통계적 유의성을 뜻하는 ‘변별력’, 표본의

모집단에 대한 설명력을 뜻하는 ‘안정성’, ‘계량화 가능성’에 유리한 변수를 선택하여 자체적 ‘신용평가모형(credit scoring

system)’을 구축해 금융당국의 승인 후 사용한다(이순호, “학력과 개인신용평가 간 상관관계, 금융동향 (2012), p.127).

201) 신용정보법 제2조 제3호.

202) 신용정보법 제38조 제1항.

203) 신용정보법 제38조 제4항, 제52조 제1항 제9호.

204) 신용정보법 제38조 제4항, 시행령 제33조 제3항, 신용정보업감독규정 제42조.

69

경우’에만 답변 및 시정이 될 수 있도록 규정하고 있으므로, 신용요소들을 가공하여 제시된

신용평점에 대해서는 산출 과정에서 아예 잘못된 정보를 입력한 경우가 아니라면 정정청구의

대상이 되지 않는 것으로 보인다. 이에 따라 금융위원회는 2013년 행정지도를 통해 개인신용

조회회사 중 나이스신용평가와 코리아크레딧뷰로 등의 신용조회회사에 대하여 신용등급 산정

에 대한 이의제기 절차를 별도로 마련하도록 하고 있다205).

그런데 현행 신용평가법제는 신용요소로부터 신용평점을 도출하는 평가모델이 어떠한 절차

를 거쳐서 작성되어야 하는지, 그 과정에서 개인정보로서의 신용정보가 어떻게 보호되어야 하

는지에 관한 절차적 규제만이 존재할 뿐, 모형 자체의 적정성에 관한 아무런 규제를 두지 않

고 있다206). 때문에 업체별로 제각기의 변수와 가중치를 활용해 신용평가를 하고 있다207). 다

만 신용정보법 시행령 제27조 제2항 제7호는 신용조회회사에 해당하는 CB들이 신용평가모델

을 구성하는 평가요소들을 공개하도록 하고 있는데, 공개자료에 따르면, 2018. 10. 5. 기준

으로, 나이스신용평가는 상환이력정보를 40.3%, 현재부채수준을 23%, 신용거래기간을

10.9%, 신용형태정보를 25.8% 반영하고 있으며, 코리아크레딧뷰로는 일반평가대상과 장기

연체경험대상을 나누어, 상환이력정보를 각각 24%, 55%, 현재부채수준을 28%, 15%, 신

용거래기간을 15%, 4%, 신용거래형태를 33%, 26%만큼 반영하고 있다208). 즉, 다양한 평

가요소들을 몇 가지 카테고리로 유형화 한 뒤, 각 카테고리별로 점수를 부여하고, 이렇게 부

여된 점수에 대해 가중평균을 구하여, 개개인에 대한 개인신용평점 및 개인신용등급을 부여하

는 것이다.

개별 CB의 평가모형 개발역량이 중요하다면, 각각의 평가요소 및 그 비중을 공개하도록

강제하는 것은 일종의 영업비밀을 공개하는 것과 같은 문제를 불러일으킬 수도 있다. 하지만

205) 금융위원회, 2013. 7. 31.자 ‘개인신용평가 이의제기 경로마련방안’ 보도자료, p. 2.

206) 기업신용평가에 관해서는 2017. 10. 31. 법률 제15021호로 개정된 현행 「자본시장과 금융투자업에 관한 법률」 제335조

의11 제1항 및 2018. 6. 29. 금융위원회고시 제2018-16호로 개정된 현행 금융투자업규정 제8-19조의9에 관련 조항을

두고 있다. 그러나 구체적으로 어떠한 신용평가모형을 만드는 것이 적정한지에 관한 지침은 없다. 따라서 「자본시장과 금

융투자업에 관한 법률」은 제335조의11 제1항 위반에 대한 아무런 형사처벌 또는 행정제재 규정을 두지 않고 있다.

207) 이순호, “신용조회회사(CB)의 개인신용정보 관리체계 개선방안”, 주간 금융브리프 제19권 제47호 (2010), p. 13. 물론 실

무적으로는 행정지도를 포함한 여러 형태로 관여 또는 협의가 이루어지는 것으로 보인다. 예를 들어, 다음의 보도자료 내

용 참조. 금융위원회, 2018. 1. 30.자 ‘개인신용평가체계 종합 개선방안’ 보도자료, 금융감독원, 2014. 7. 2.자 ‘은행의 저

신용자 신용평가모형 도입 효과 및 향후 지도방향 보도자료’.

208) 2018. 10. 5. 기준 나이스신용평가 공시 (http://www.niceinfo.co.kr/creditrating/cb_score_1_4_1.nice), 코리아크레딧

뷰로 공시 (https://www.allcredit.co.kr/ADFCommonSvl?SCRN_ID=s04043729847) 참조.

70

현재의 공개수준은 그러한 문제를 일으킬 수준이라 보기 어렵다. 오히려, 예를 들어, ‘상환이

력정보’ 카테고리에 정확히 어떤 평가요소들이 개별 항목으로 포함되어 반영되는지, 각각의 항

목에 주어지는 가중치는 어떠한지, 그래서 개별 항목이 전체 신용평점의 산정에 어떤 영향을

미치게 되는지에 대해서 일반 금융소비자가 정보를 습득하고 판단하기는 쉽지 않은 구조라

할 수 있다. 다른 한편, 은행 또는 신용카드회사 등 CB가 아닌 신용공여기관이 내부에서 자

체적으로 산정하는 신용평가등급에 관해서는 개인이 알 수 있는 방법이 없다209). 2012년도에

보고된 사례에 의하면, 연령, 성별, 직업 및 보유차종, 주거형태 등이 은행의 내부 신용평가에

활용되고 있는 것으로 추측된다210).

다. 사례의 검토

은행이 학력에 따라 신용을 차별적으로 산정했다는 것은 법적 차별의 맥락에서 구체적으로

어떤 쟁점들을 야기하는가?

첫째로 은행의 개인신용평가 담당자가 차별의도가 있었는지가 문제될 수 있다. 담당자가

자신은 단순히 데이터를 알고리즘에 집어넣은 것일 뿐, 차별적인 효과를 의도하지 않았다고

주장하면 어떠한가? 학력이 법령상 차별금지사유가 아니라면 간접차별이 문제될 수도 있는데,

간접차별에 대한 판단에 있어서는 차별의도를 고려하지 않는다.

다른 한편, 학력으로 인한 신용차별 피해자들이 은행에 손해배상 소송을 제기했는데, 은행

이 인공지능 알고리즘을 제대로 공개하지 않거나, 또는 일부러 소스코드를 난독화하여 재판부

가 이해하기 어렵도록 만들면 어떠한가? 불법행위에 기한 손해배상 책임이 인정되려면 원고

는 ‘피고가 고의 또는 과실로 인한 위법행위로 원고에게 손해를 가했다’는 민법 제750조의 요

건을 증명해야 한다. 그런데 은행이 알고리즘 및 데이터를 제대로 공개하지 않을 경우, 피고

은행의 차등대우 행위가 위법했음을 인정하기 어려워질 수 있다. 피고 은행에 의해 신용평가

가 다르게 산정(대우)된 사정을 증명할 수 있더라도, 그것이 구체적으로 학력에 의한 차등대

우인지를 증명하기 어렵기 때문이다. 다만, 만일 현행 「장애인차별금지법」 제47조처럼 증명책

임을 피고에게 전환할 수 있다면, 차등대우의 원인이 학력이 아님을 피고가 증명하도록 할 수

209) 신용정보법 시행령 제27조 제2항 제7호는 신용조회회사(CB)의 신용평가모델만 공개하도록 하고 있다.

210) 류석일, 『개인 신용평가 제도 현황 및 개선방안』, 한국소비자원 시장조사 12-15 (2012), pp. 30-31.

71

있다211). 그 경우에 피고는 결국 알고리즘을 적어도 해당 사안에 대한 소명에 필요한 수준에

서 공개하거나, 또는 공개하지 않는 대신에 증명책임을 다하지 못한 불이익으로 손해배상 책

임의 요건들이 인정되어 배상책임을 부담해야 할 것이다.

그렇다면 은행이 학력을 기준으로 개인신용을 차별하더라도, 이것을 사후적으로 판단하는

데 아무런 문제가 없으므로 데이터와 알고리즘에 대한 사전적 규제는 필요가 없다고 할 수

있을까? 여기서 주의할 것은 감사원과 금융감독원은 이미 2012년에 건전성 감독을 근거로,

신한은행의 신용평가모델을 살펴보고 있었다는 점이다. 이는 우리나라가 CB의 신용평가 요소

에 대한 공개를 강제하고, 반드시 PCR을 거쳐야만 신용요소를 획득할 수 있도록 하는 등 신

용평가의 공적인 측면을 강조하고 있기 때문이다. 그렇다면 은행이 내부 신용평가 과정에 인

공지능 알고리즘을 사용하는 경우에, 감사원과 금융감독원은 건전성 감독을 위해 필요하다는

근거 하에 그 알고리즘의 작동 내역과 방식을 파악할 수 있어야 할 것인지에 관해 별도의 논

의가 필요하다.

이러한 맥락에서 인공지능과 차별의 사전적 행정규제에 관한 쟁점을 다시 돌아보면, 중요

한 것은 인공지능이 얼마나 불투명하여 파악하기 어려운지의 문제가 아니라, 인공지능을 강제

로 조사할 수 있을 정도로 압도적인 공익이 있는지의 문제라고 할 수 있다. 압도적인 공익이

있는 경우에는, 감사원과 금융감독원 등의 행정기관이 데이터와 알고리즘의 내역을 조사하는

것이 좀 더 정당화 될 수 있을 것이다. 물론 차별을 금지하여 인간의 존엄성을 보호하는 일은

분명 중요한 공적 이익이다. 그러나 소비자대출에 대한 개인신용을 학력 등 특정한 기준에 따

라 다르게 평가받지 않도록 방지하는 것이 신용정보나 신용평가 알고리즘을 강제로 공개하게

만들 정도로 중요하게 다루어져야 한다는 사회적 합의가 존재하는지는 불확실하다.

특히 최근 들어 종종 언급되는 알고리즘 또는 인공지능에 대해 ‘설명을 요구할 권리’ 등은,

정부로부터의 부당한 공권력 행사에 맞서 개인의 이익을 보호한다는 행정절차적 측면에서는

211) 그 구체적 방법론은 크게 (a) 앞서 살펴본 현대형 소송에서 인정된 일반적 증명책임 전환 법리를 확장하여 인공지능이 유

발하는 차별 문제, 나아가 인공지능이 유발하는 불법행위 일반의 문제에 유추적용 하는 방안과, (b) 증명책임 전환 법조항

을 규정하는 일반적 차별금지법을 제정하는 두 가지 방안을 생각해볼 수 있을 것이다. 첫 번째 방법은, 불명확한 인과관계

가 핵심 쟁점이 되는 공해, 의료과오와 같은 이른바 ‘현대형 소송’과 인공지능의 작동 메커니즘의 소위 블랙박스(black-box)

적 특징이 지닌 유사성에 근거하여, 제조물책임법 시행 이전 일반 불법행위에서 인정되던 일반적 증명책임 전환 법리를 인

공지능의 차별 문제, 나아가 인공지능이 유발하는 불법행위 일반의 문제에 유추적용 할 수 있다는 것이 핵심적 논지이다.

두 번째 방법인 일반적 차별금지법의 경우, 최초의 입법 시도는 정부에 대한 국가인권위원회의 2006년도 권고에서 비롯되

었고 현재까지 총 6개의 법률안이 발의되었다. 아직 입법이 되지는 않았으나, 지금까지 제출된 법률안의 내용에 비추어보면

장래 일반적 차별금지법이 통과될 경우, 증명책임에 관한 규정이 포함될 가능성이 높을 것으로 예상된다.

72

설득력 있게 법적 바탕을 마련할 수 있지만, 차별금지의 측면에서는 추가적인 논의가 필요하

다. 행정절차적 측면에서 불이익 처분에 대한 설명을 요구할 권리(처분의 이유제시에 관한 「행

정절차법」 제23조)의 근거는, 적어도 현행법상으로는, 정부의 자의적인 권력행사로부터 개인의

권리를 보호하기 위함이다212). 그러나 민간은행의 신용평점 산출이라는 사인(私人)들 간의 관

계가 정부의 개인에 대한 자의적인 권력행사에 준하는 비대칭성을 갖고 있는 것으로 보아야

하는 것인가? 우리는 여기서 이 글의 기나긴 논의가 다시금 차별의 법적 규율에 관한 근원적

논의로 돌아왔음을 알 수 있다. 사적 영역에서의 차별금지는 사적 자치와의 필연적 긴장에 놓

여있다. 인공지능이라는 특이한 요소가 이 긴장관계에 들어온 우리 시대에, 우리 사회가 어떻

게 긴장관계를 처리할 것인지, 그 과정에서 차별받지 않을 권리와 행정절차적인 권리, 개인정

보 자기결정권 등이 어떻게 같이 조화될 수 있는지에 관하여는 지속적인 논의가 필요하다.

다른 한편, 신용평점 부여와 관련된 통계적 인공지능 메커니즘의 구축에 있어 학력을 포함

한 여러 다양한 잠재적 평가요소들이 어떻게 취급되어야 하는지에 대해서도 많은 논의가 필

요하다. 은행이 별도의 차별적 의도를 가지고 있던 것이 아니라면, 학력 변수는 잠재적 대출

고객의 연체가능성 등 신용도를 평가하는 데에 있어 대체변수(proxy)의 일환으로 포함되었을

가능성이 높을 것이다. 그렇다면, 만일 학력에 따라서 통계적으로 연체가능성에 미세한 차이

가 나타나고, 은행은 그러한 미세한 차이를 반영하여 대출조건에 이에 상응하는 미세한 차등

을 두었다고 하면, 그러한 차등을 부당한 차별이라 할 것인가? 이를 둘러싼 하나의 정책적 방

향은, 학력이라는 개념이 암시하는 국내에서의 민감성을 반영하여 학력 변수를 신용평점 산출

에 있어서 아예 고려하지 않도록 제도화하는 것이다213). 그렇게 할 경우, 학력을 둘러싼 사회

적 논란이 부분적으로라도 줄어드는 효과가 기대된다. 다만, 동시에 학력 데이터가 정확한 신

용도 평가에 활용될 수 있는 가능성을 아예 차단하는 부작용 또한 예상된다.

그 반대의 정책적 방향은, 가급적 세밀한 데이터의 활용가능성을 열어두는 것이다. 예를 들

어, 단순한 학력에 관한 정보 이외에도, 대졸자의 경우 대학이나 전공에 관한 정보 등 추가정

212) 정부가 근본적으로 이해할 수 없는(inscrutable) 인공지능 알고리즘을 이용하여 곧바로 최종적 행정처분을 내릴 경우, 정부

가 처분의 이유를 제시할 수 없게 되므로 처분의 상대방인 국민의 행정절차법적 권리를 침해할 수 있다. 따라서 적어도 정

부의 행정처분에 인공지능 알고리즘이 활용될 경우, 이 알고리즘은 개인의 행정절차법적 권리를 보호하기 위해 가급적 널

리 공개될 필요가 (또는 가급적 투명성이 높은 유형의 제한된 알고리즘만 사용해야 할 필요가) 있을 것이다.

213) 예컨대, ‘국가인권위원회법’은 2005년 개정(2005. 7. 29. 법률 제7651호로 일부개정된 것) 때부터 차별사유 중 하나로

‘학력’을 명시하고, 차별영역 중 하나로 ‘재화ㆍ용역의 공급이나 이용’을 들고 있다(동법 제2조 제3호). 정부가 20대 국회에

서 제출한 ‘금융소비자 보호에 관한 법률안’ 제14조 역시 대출을 포괄한 ‘금융상품’에 관한 계약을 체결하는 경우 정당한

사유 없이 ‘학력’ 등을 이유로 계약조건에 관하여 금융소비자를 부당하게 차별하는 행위를 금지하고 있다. 다만, 이들의 경

우에 객관적 정당화 사유를 통한 항변을 긍정하고 있다.

73

보를 활용할 가능성, 더 나아가 학교 졸업 후 첫 직장에 관한 정보 등 학력 정보와 연계하여

판단할 수 있는 다른 데이터를 함께 포함하여 분석할 수 있는 가능성을 열어두는 것이다. 그

런 식으로 세밀한 분석을 하고 나면 학력별로 계층구조가 나타나는 대신, 예를 들어, 학력은

높지 않지만 신용도는 상대적으로 높게 평가되는 경우, 그 반대로 학력이 높지만 신용도는 높

지 않게 평가되는 경우 등 좀 더 세분화된 분석과 분류가 나타날 수도 있다. 그런 경우라면,

학력은 조잡한 대체변수일 뿐임이 밝혀지고, 더 풍부하고 상세한 분석을 통해 학력을 둘러싼

논란이 자연스럽게 해소될 가능성도 있다214). 이러한 가능성을 고려하면, ‘학력’을 실정법상의

차별금지사유의 일종으로 편입한 때에도, 학력 변수만의 영향을 충분히 희석시킬 만한 정도로

세밀한(granular) 데이터에 기반한 상세한 분석을 거친 경우라면 그만큼 객관적 정당화 사유

를 인정할 여지가 커지는 셈이고, 더 나아가 학력이 차별금지사유라고 보는 근거의 정당성 자

체에 대해 다시 고려할 필요성이 나타날 수도 있다. 즉, 얼마나 세밀한 데이터에 기초하여 인

공지능 모형을 구축하는지에 따라, 어떤 상황이 차별적 상황인지 여부에 대한 판단 자체가 크

게 달라질 가능성도 있는 것이다.

결국, 신용평가를 위한 인공지능 모형을 구축하는 입장에서는, 차별을 하고자 하는 의도가

존재하는 경우가 아니라면, 통계적으로 최대한 정확한 신용도 평가모형을 구축하고자 할 것이

고, 그렇게 하기 위해서 가급적 다양하고 상세한 데이터를 활용이 가능한 상황을 선호할 것이

다. 물론 그 과정에서 차별을 둘러싼 논란이 발생할 가능성은 언제든 존재한다. 인공지능 모

형의 구축과정에서 어떤 데이터를 이용할 수 있을 것인지, 그 반대로 어떤 유형의 데이터에

대해서는 이용을 금지하거나 제한할 것인지는 결국 사회적 논의를 거쳐 정해져야 할 것이다.

6. 결론을 대신하여

이 글은 인공지능과 차별에 관해 지금까지 산발적으로 주장되던 논의를 체계화하여, 차별

의도, 불투명성, 경로의존성 등의 다양한 개념과 주장들을 (i) 차별의 사후적 사법판단에 관한

실체법적 문제, (ii) 차별의 사후적 사법판단에 관한 절차법적 문제, (iii) 차별의 사전적 행정

규제에 관한 문제라는 3단계로 나누어 정리해 보았다. 이 논리구조에 따라 인공지능과 차별의

214) 물론 그 반대의 가능성도 있다. 여러 가지 유형의 데이터 중에서 학력 데이터가 연체가능성 등 신용도를 측정하는 데에 있

어 통계적으로 매우 유의미한 결과를 보여주는 경우이다. 그 경우에는, 학력 데이터의 통계적 유용성을 고려하여 이용을

허용할지, 아니면 학력 데이터의 민감성이나 다른 사회적 부작용의 가능성을 고려하여 그 이용을 금지할 것인지를 둘러싸

고 정책적 판단이 필요할 수 있다.

74

문제를 살펴보면, 차별금지에 관한 사후적 사법판단이라는 기존의 구제수단이 원만하게 작동

할 가능성도 있는 한편, 몇몇 측면에서는 한계가 있을 수밖에 없음을 파악할 수 있었다. 다른

한편, 사전적 행정규제는 개인정보보호 등 서로 다른 맥락에서 발전해온 제도와 법익들 사이

에 나타나는 긴장관계를 어떻게 해소할 것인지에 관한 새로운 과제가 제시되고 있는 측면이

있다. 그에 더하여, 어떤 법제도를 생각하건, 추상적인 법정책적 결론을 어떻게 구체화할 것인

지에 관해서는 또 다른 어려움이 나타날 수 있다. 법제도상의 결론은, 예를 들어, 개별 알고

리즘에 어떻게 구체적이고 실무적으로 반영할 것인지, 그래서 어떻게 법제도가 요구하는 결론

을 충족시킬 수 있을 것인지에 관한 현실적으로 매우 어려운 과제를 제시하기 때문이다. 이하

에서는 인공지능의 도입과 활성화가 차별에 관한 논의에 주는 주요 과제에 대해 간략히 정리

하며 결론을 대신하고자 한다. 이 중 일부는 본문에서 이미 부분적으로 제시되기도 하였는데,

이러한 과제에 대해 우리 사회에서 일반적으로 받아들여질 수 있는 기준과 합의점을 만들어

내는 것이 향후 인공지능 기술의 일상화에 있어 매우 중요한 관건이 될 것이다.

첫째 과제는, 인공지능의 훈련을 위해 이용되는 훈련 데이터가 보일 수 있는 통계적 편향

(statistical bias) 또는 사회적 편견에 관한 문제이다. 우선 인공지능 모형 구축에 이용될 훈

련 데이터는 모집단(population) 데이터가 보이는 통계적 특징을 왜곡 없이 반영하도록 구축

하는 것이 원칙이다. 그런데 훈련 데이터를 추출해 내는 과정에서 모집단의 통계적 특징과 다

른 특징을 보이는 데이터가 생성된다면, 이는 통계적 편향을 가져오게 된다. 인공지능은 모집

단에 기초하여 훈련이 이루어지는 것이 아니라, 훈련 데이터에 기초하여 훈련이 이루어지므로

훈련 데이터에 편향이 있다면 그 결과로 생성되는 인공지능 모델은 그러한 편향을 고스란히

반영하게 될 것이다. 또한, 인공지능 훈련에 이용되는 데이터는 많은 경우에 과거의 의사결정

을 반영한 역사적 데이터(historic data)이다. 특히, 인간에 대한 의사결정과 관련된 인공지능

은 역사적 데이터를 훈련 데이터로 이용하게 되는 것이 더욱 일반적일 것이다. 과거에 일상적

으로 받아들여지던 의사결정이 현재에 와서는 편견인 것으로 여겨질 경우, 역사적 데이터를

이용하여 훈련된 인공지능은 그러한 인식이나 사회규범의 변화를 반영하지 못하고 과거의 편

견을 그대로 반영하여 의사결정을 하게 될 것이다215).

215) 최근 미국 아마존은 인공지능을 이용한 고용 프로그램을 준비하다가 공정성 논란의 우려 때문에 해당 팀을 해체하였다. 이

는 훈련 데이터가 역사적 데이터이기 때문에 발생하는 문제의 한 단면을 정확히 반영하는 사례라 할 수 있다. 즉, 아마존은

지난 10년간 회사에서 접수한 입사 지원서류를 기초로 훈련 데이터를 구축하여 패턴인식 프로그램을 개발하고자 했는데, 기

존의 지원자 대부분이 남성이었던 것을 반영하여, 개발된 인공지능이 추천하는 지원자 대다수가 남성이었다고 한다. 아마존

은 이를 둘러싸고 차별 논란이 발생할 것을 우려하여 아예 인공지능 고용 프로그램을 대폭 축소하게 되었다고 한다. Jeffrey

Dastin, “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters (2018. 10. 10.)

75

이와 같은 통계적 편향이나 사회적 편견의 가능성은 인공지능 모형 개발자가 차별의도를 가

지고 있는지 여부와 무관하게 발생할 수 있는 것이다. 문제는, 그러한 편향이나 편견의 존재가

능성을 파악하더라도, 이를 보정할 수 있는 방법이나 기준이 애매할 수 있다는 것이다. 예를 들

어, 과거에 여성이 일반적으로 취업 및 승진에 있어 부당하게 불이익을 받은 경우가 많고, 훈련

데이터가 그러한 과거의 관행을 반영하고 있다고 할 때, 새로운 인공지능 모형 개발을 위한 훈

련 데이터는 어떤 데이터를 이용해야 하는지 문제될 수 있다. 역사적 데이터로부터 추출된 1차

적 훈련 데이터에 일정한 변형을 하여 2차적 훈련 데이터를 만들어낼 것인지, 그 경우 어떤 기

준으로 어떻게 1차적 훈련 데이터를 변형할 것인지에 관해 많은 논란이 있을 수 있다. 훈련 데

이터에 통계적 편향이나 사회적 편견이 반영되어 있을 가능성을 고려하여 훈련 데이터를 보정

하려는 시도는, 자칫하면 그 취지와 무관하게 차별 또는 역차별 논란에 빠질 가능성도 있다.

둘째, 인공지능 모형의 개발 과정에서 얼마나 세밀한(granular) 데이터가 이용될 수 있을

것인가의 문제가 있다. 인공지능 모형 개발자의 입장에서는, 누군가를 프로파일링(profiling)

하여 통계적으로 가장 정확한 평가를 하고 싶을 것인데. 그러기 위해서는 유용한 데이터를 최

대한 확보할 필요가 있다. 예를 들어, 개인에 관한 신용평가를 하여 신용평점을 부여하는 맥

락에서, 해당 개인의 경제 및 사회활동에 관한 매우 상세한 데이터가 있다면, 개발자 입장에

서는 그러한 데이터를 세밀하게 분석할 수 있는 인공지능을 개발하여 정확한 신용도를 파악

하고 신용평점을 부여하고자 할 것이다. 그런데 많은 경우에는 유용한 데이터를 제한적으로만

확보할 수 있는 것이 보통이고, 그 이외에 원하는 유형의 데이터에 대한 대체변수(proxy) 역

할을 할 정보를 함께 포함하여 분석을 하기도 한다. 이 때 어떤 대체변수를 어떤 목적으로 이

용했느냐에 따라 논란이 생길 가능성이 있다.

이 맥락에서 어떤 논란의 가능성이 있는지 파악하기 위해, 은행 대출계약의 맥락에서 개인

신용평가를 하는 상황을 상정하여 생각해 보자. 신용도 분석을 위해 이용할 (대체)변수로 거

주지 정보가 포함될 수도 있다. 통계분석 결과, 특정지역의 특정 아파트단지 거주자들이 연체

율이 현저히 낮다고 하면, 그러한 분석의 결과를 반영하여 해당 거주자들에게 대출계약에 있

어 우대를 하는 의사결정을 할 수도 있다. 그런데 만일 유사한 방식의 통계분석을 통해, 또

다른 특정 아파트단지 거주자들에게는 대부분 대출계약 신청에 대해 거절하는 인공지능 의사

결정이 내려진다면, 이를 차별이라고 할 것인가? 더 복잡한 문제는, 그보다 상세한 데이터에

기초한 분석이 가능할 경우에, 인공지능 의사결정 또한 그에 상응하여 상세해질 가능성과 관

련이 있다. 즉, 동일한 아파트단지 거주자일지라도, 예를 들어, 거주기간, 이전 거주지, 이사빈

도 등 더 상세한 요소를 고려함에 따라 상환가능성이나 연체율이 차별화되어 파악된다고 하

76

면, 그에 따른 인공지능 의사결정에 있어서도 불이익을 볼 거주자와 상대적으로 편익을 보게

되는 거주자가 세밀하게 나뉠 수도 있다. 즉, 당초 동일한 아파트단지 거주자에 대해 전체적

으로 불리한 의사결정이 내려질 수도 있는 상황에서, 더 상세한 데이터에 기초한 분석이 가능

해지면 그 중 일부는 불이익이 없어질 수도 있고 또 다른 일부는 불이익이 더 심화될 수도

있는 등의 복잡한 상황이 나타날 수 있는 것이다216).

신용도 평가와 관련된 또 다른 상황을 생각해 보자. 대출계약을 위한 신용도 평가를 위해

개인의 과거 신용거래 내용을 적극적으로 반영하는 모형을 개발하는 것을 어렵지 않게 상정

해 볼 수 있는데, 그 중에서도, 예를 들어, 과거 대출계약에 관한 데이터를 반영하는 데에 있

어 고려할 수 있는 것으로, ① 이자율이 어떠했는지 그리고 ② 은행, 저축은행, 대부업체 등

어떤 금융기관에서 대출을 받았는지에 관한 데이터가 존재한다고 하자. 정확한 신용도 평가를

위해서는 두 가지 유형의 데이터가 모두 도움이 될 것이다. 어느 수준의 이자율로 대출을 받

을 수 있었는지 뿐만 아니라 어떤 금융기관에서 대출을 받았는지 하는 것은 해당 개인의 연

체가능성을 평가하는 데에 있어 상당히 유용한 지표가 될 수 있기 때문이다. 이 때, 정책적인

판단에 따라, 두 가지 데이터를 모두 이용가능하게 할 것인지, 그 중 어느 특정한 한 가지 데

이터만 이용가능하게 할 것인지 정해지는 것에 따라서 개개인에 대한 신용도 평가모형은 크

게 다른 결과를 보일 가능성이 있다217).

이러한 상황에서 법정책적인 고민이 필요한 부분은, 어떤 데이터, 특히 얼마나 세밀한 데이

터를 이용하여 인공지능 훈련을 하도록 허용할 것인지에 관한 것이다. 얼마나 세밀한 분석을

하느냐에 따라서는, 당초 차별로 비쳐지던 상황이 정반대로 부당한 혜택으로 판단될 가능성도

있다.

216) 하버드대학교의 학생선발 기준을 둘러싸고 현재 미국에서 진행되는 소송은 그러한 측면을 반영하여 보여준다. 이 소송은

하버드대학교의 학생선발 과정에서 아시아계의 학생들을 포함하여 일부 학생들이 인종적 차별을 받았다고 주장하는 것이

다. 그런데, 하버드대학교 내부 보고서의 분석에 따르면, ① 아시아계 미국인인 것이 통계적으로 입학전형 과정에서 불이

익을 입은 것이 사실인데, 그와 동시에 ② 아시아계 미국인 중에서도, 캘리포니아 출신과 여학생 지원자는 불이익이 적었

다고 한다. (“A 2013 internal report by Harvard found that being Asian-American was negatively correlated

with admission, as did an expert analysis for the plaintiffs. But using a different statistical approach, Harvard’s

expert found a modest bump for two subgroups of Asian-Americans — women and applicants from California

— belying, Harvard said, the overall claim of discrimination.“) 이는, 아시아계로 넓게 분류할 것인지, 아니면 아시아

계 중에서도 성별 또는 출신 지역별로 좀 더 세분화해서 분류할 것인지에 따라서 차별 내지 불이익의 정도나 양태가 달리

나타날 수 있다는 것을 의미한다. Anemona Hartocollis, Amy Harmon and Mitch Smith, “‘Lopping,’ ‘Tips’ and the

‘Z-List’：Bias Lawsuit Explores Harvard’s Admissions Secrets”, New York Times (2018. 7. 29.)

217) 이 문제는, 가중평균의 개념을 이용하여 신용평점을 산정하는 방식을 고려하면, 좀 더 현실적으로는 각각의 평가요소에 대

한 가중치(weight)를 어떻게 정할지의 문제가 된다. 본문에서 든 예의 경우에, 대출이자, 대출 금융기관의 유형 등을 포함

한 다양한 평가요소에 대해 각각 어떤 가중치를 부여하는지에 따라, 개인별 신용평점이 달라질 수 있고 그와 동시에 신용

도 평가의 정확성에 대한 평가 또한 달라질 수 있다.

77

셋째, 투명성에 관한 문제이다. 본문에서도 언급이 된 것처럼, 인공지능 알고리즘을 이용한

의사결정은 투명성이 부족한 경우가 많다. 예를 들어, 개인에 관한 신용도 평가를 반영한 신

용평점을 보고도, 왜 특정한 신용평점이 부여되었는지 파악하거나 이해하기는 쉽지 않은 것이

보통이다. 국내의 신용평점 부여체계는 데이터를 유형화한 뒤, 유형별 점수에 대해 가중치를

부여하여 가중평균을 구하는 것이다. 그런데, 특정 신용평점을 둘러싸고 이와 같은 평점 부여

방식에 대한 설명을 듣는다고 해서, 해당 평점의 산정방식에 대해 충분히 이해하고 수긍하는

것이 가능할 것인가? 또는, 신용평점이 낮아서 대출계약이 거절되었다고 할 때, 정확히 어떻

게 하면 신용평점을 높일 수 있는지 구체적으로 파악하는 것이 가능할 것인가?

신용평점이 개별 분석 유형들의 가중평균에 의해 정해진다고 해서, 개별 유형별 점수와 유

형별 가중치를 정보주체에게 알려주면 불투명성이 실질적으로 해소될 수 있을지는 불투명하

다. 위에서 본 것과 같이, 국내 신용조회회사 중에서 나이스신용평가는 상환이력정보, 현재부

채수준, 신용거래기간, 신용형태정보 각각에 점수를 부여한 뒤 가중평균을 구하여 신용평점을

산정하고 있고, 코리아크레딧뷰로는 상환이력정보, 현재부채수준, 신용거래기간, 신용거래형태

각각에 대해 점수를 부여한 뒤 가중평균을 통해 신용평점을 산정한다. 이 때 각각의 평가요소

항목에 대한 점수 및 가중치를 개개의 정보주체에게 알려줄 경우, 투명성에 대한 불안함이 해

소되기보다 오히려 궁금증이 더 늘어날 가능성이 있다. 각 항목의 점수에 영향을 미치게 되는

세부구성요소나 점수부여 방식에 대해 추가적으로 궁금할 수 있기 때문이다. 또한 설명을 듣

는다고 하여, 예를 들어, ‘신용평점을 10점 올리기 위해서’ 또는 ‘대출이자율을 0.1% 낮추기

위해서’ 구체적으로 무엇을 할 수 있는가’ 하는 질문에 대해 정확한 현실적인 해답을 찾기도

쉽지 않을 것이다.

흔히 투명성이 부족하고 그로 인해 정보비대칭이 있는 경우에는 일반적으로 정보의 공개

(disclosure) 수준을 높이는 것이 우선적인 해결책으로 고려된다. 그런데 인공지능 알고리즘의

맥락에서는 정보의 공개수준을 높이는 것이 간단한 문제가 아닐 수 있을뿐더러, 정보의 공개

수준을 높인다고 해도 투명성 제고나 이해도 제고에 도움이 되지 않는 경우가 많다. 더구나

알고리즘을 이용한 기회주의적인 행동(gaming)의 가능성을 고려하면 알고리즘의 구체적인 내

용을 공개하도록 법제화하기도 어렵다. 이로 인해, 차별에 대한 주장이 있더라도 투명성의 한

계로 인해, 그에 대해 규명하는 것 자체에 한계가 나타나는 것이 불가피할 수도 있다.

뿐만 아니라, 데이터의 투명성은 프라이버시의 측면에서 양날의 검이 될 수 있다. 투명성에

대한 요구는 주로 민주주의적 참여를 담보하기 위한 행정절차적 권리나, 사적 영역에서의 차

78

별금지 등 공적인 이익의 관점에서 다뤄지고 있다. 그러나 개인정보보호의 관점에서 볼 때 투

명성이 무한정 확대될 수는 없다. 데이터 수집과 분석에 있어 대원칙을 제시하는 프라이버시,

공정성, 정확성, 투명성 등의 주요가치는 서로 충돌하는 측면이 있다. 이들 가치가 조화를 이

루도록 하고 서로 균형을 달성할 수 있는 해석론을 개발하는 것은, 이미 우리 현실에 파고들

고 있는 인공지능 기술에 대한 사회적 원칙을 세우는 작업에 있어 핵심적인 것이 될 것이다.

이상의 사항들은 인공지능과 관련된 차별 문제를 논의함에 있어, 논의를 더욱 복잡하게 만

드는 것들이라 할 수 있다. 물론 그 이외에도 많은 고려사항들이 있을 수 있다. 인공지능의

시대가 본격적으로 도래하기 위해서는 이러한 문제들에 대하여 보다 진지하고 깊이 있는 분

석 및 사회적 논의가 필요할 것이다.

79

1. 국내 문헌

고학수 외, 『데이터 이코노미』, 한스미디어 (2017).

김도균･이상영, 『법철학』, 한국방송통신대학교 (2011).

노명선･이완규, 『형사소송법』, 성균관대학교출판부 (2015).

데버러 헬먼, 김대근 역, 『차별이란 무엇인가』, 서해문집 (2016).

도용태 외, 『인공지능 개념 및 응용』, 사이텍미디어 (2013).

류석일, 『개인 신용평가 제도 현황 및 개선방안』, 한국소비자원 시장조사 12-15

(2012).

마쓰오 유타카, 박기원 역, 『인공지능과 딥러닝』, 동아엠앤비(2015).

마이클 네그네빗스키, 김용혁 역, 『인공지능 개론』, 한빛아카데미 (2013).

법원행정처, 『법원실무제요 행정』, 법원행정처 (2016).

스튜어트 러셀ㆍ피터 노빅, 류광 역, 『인공지능：현대적 접근방식』, 제이펍 (2016).

양기철, 『인공지능 이론 및 실제』, 홍릉과학출판사 (2014).

이시윤, 『신민사소송법』, 박영사 (2016).

이준일, 『차별 없는 세상과 법』, 홍문사 (2012).

장병탁, 『장교수의 딥러닝』, 홍릉과학출판사 (2017).

지원림, 『민법강의』, 홍문사 (2017).

최승철, 『차별금지법의 이해』, 한울아카데미 (2011).

캐시 오닐, 김정혜 역, 『대량살상 수학무기』, 흐름출판 (2017).

프랭크 파스콸레, 이시은 역, 『블랙박스 사회』, 안티고네 (2016).

헌법재판소 헌법재판연구원, 『간접차별법리에 관한 비교법적 연구 – 유럽인권재판소와

EU사법재판소의 판례를 중심으로』, 비교헌법연구 2017-B-1 (2017).

참고문헌

80

감사원, “금융권역별 감독실태Ⅱ 공개문” (2012).

강승식, “미국 연방대법원의 평등심사에 대한 비판적 고찰”, 원광법학 제28권 제2호

(2012).

국가인권위원회 상임위원회, 2005. 5. 18.자 ‘인천광역시 일부 자치법규에 대한 국가

인권위원회의 의견’.

권영준, “불법행위법의 사상적 기초와 그 시사점 - 예방과 회복의 패러다임을 중심으

로”, 저스티스 통권 제109호 (2009).

금융감독원, 2014. 7. 2.자 ‘은행의 저신용자 신용평가모형 도입 효과 및 향후 지도방

향’ 보도자료.

금융보안원, “국내·외 금융권 머신러닝 도입 현황” (2017).

금융위원회, 2013. 7. 31.자 ‘개인신용평가 이의제기 경로마련방안’ 보도자료.

_________, 2018. 1. 30.자 ‘개인신용평가체계 종합 개선방안’ 보도자료.

김도승, “프랑스 차별금지 법제도에 관한 소고”, 법학논총 제19권 제1호 (2012).

김명수, “소수자보호와 차별금지법”, 홍익법학 제15권 제3호 (2014).

김성숙, “이주민의 신용거래 평등성 - 미국 신용기회평등법(ECOA) 고찰을 중심으로”,

다문화사회연구 제8권 제2호 (2015).

김중권, “인공지능시대에 완전자동적 행정행위에 관한 소고”, 법조 제66권 제3호

(2017).

김진우, “민사계약에서의 차별금지 - DCFR과 그것의 우리 사법(私法) 및 차별금지기본

법의 입법에의 시사점 -”, 비교사법 제22권 제1호 (2015).

김해원, “‘평등권’인가 ‘평등원칙’인가?”, 헌법학연구 제19권 제1호 (2013).

김희준, “바젤 은행규제의 최근동향 및 국내도입의 시사점”, 은행법연구 제11권 제1호

(2018).

박신욱, “차별금지에 관한 일반법 도입을 위한 허용되는 차별대우 연구”, 비교사법 제

22권 제3호 (2015).

박영범, “차별의 경제학적 의미”, 계간 임금연구 봄호 (2007).

서혜진, “차별적 처우 금지 위반의 효과 및 구제의 내용”, 노동연구 제19호 (2009).

81

송석윤, “차별의 개념과 법의 지배”, 『사회적 차별과 법의 지배』, 박영사 (2004).

신옥주, “유럽연합의 반차별지침 고찰”, 공법학연구 제9권 제2호 (2008).

심재진, “미국의 차별적 영향 이론과 유럽연합의 간접차별 법리”, 노동법연구 제27호

(2009).

양종모, “인공지능 알고리즘의 편향성, 불투명성이 법적 의사결정에 미치는 영향 및 규

율 방안”, 법조 제66권 제3호 (2017).

윤영미, “평등규범의 사인에 대한 적용”, 헌법학연구 제19권 제3호 (2013).

이건범, “고객 신용도와 금융회사의 가계신용 공급”, 경제발전연구 제20권 제2호

(2014).

이순호, “신용조회회사(CB)의 개인신용정보 관리체계 개선방안”, 주간 금융브리프 제19

권 제47호 (2010).

_____, “학력과 개인신용평가 간 상관관계, 금융동향 (2012).

이승길, “미국의 고용차별금지법 개관”, 한국법제연구원 최신외국법제정보 (2015).

이재훈, “전자동화 행정행위에 관한 연구 - 독일 연방행정절차법 제35조의a를 중심으로

-”, 성균관법학 제29권 제3호 (2017).

이재희, “사적 자치와 차별금지법”, 저스티스 통권 제165호 (2018).

이주희, “미국의 차별시정기구”, 국제노동브리프 제3권 제1호 (2005).

_____, “간접차별의 개념과 판단기준”, 청주법학 제32권 제2호 (2010).

이준일, “연령차별금지의 법제와 법적문제”, 미국헌법연구 제19권 제1호 (2008).

_____, “차별금지법의 제정필요성과 입법적 고려사항”, 의정연구 제20권 제1호

(2014).

자본시장연구원, “신용평가 제도개선 방안”, 금융위원회 미간행 연구보고서 (2014).

전국은행연합회, 2012. 10. 31.자 ‘은행권, 「불합리한 차별행위 방지 모범규준」 제정·

시행’ 보도자료.

채형복, “EU법에 있어 간접차별금지법리의 형성과 전개”, 법학논고 제56집 (2016).

최윤희, “현행 남녀고용평등법의 간접차별 규정에 대한 비교법적 고찰”, 비교사법 제13

권 제1호 (2006).

82

_____, “차별금지법제의 현황”, 저스티스 제121호 (2010).

_____, “장애인차별금지 및 권리구제 등에 관한 법률에 대한 소고”, 일감법학 제35호

(2016).

한지영, “차별금지법 제정을 둘러싼 쟁점의 비판적 검토: 차별의 개념 및 구제조치를

중심으로”, 이화젠더법학 제3권 제1호 (2011).

허유선, “인공지능에 의한 차별과 그 책임 논의를 위한 예비적 고찰 - 알고리즘의 편향

성 학습과 인간 행위자를 중심으로 -”, 한국여성철학 제29권 (2018).

홍강훈, “평등권의 심사원칙 및 강도에 관한 연구”, 공법연구 제41권 제1호(2012).

홍관표, “차별금지법 제정 추진상 쟁점 및 과제”, 저스티스 통권 제139호 (2013).

황수옥, “독일 일반평등대우법상 고용에서의 간접차별과 시사점”, 산업관계연구 제26권

제4호 (2016).

_____, “독일 일반평등대우법의 제정과정과 시사점”, 노동법학 제57권 (2016).

_____, “간접차별금지 실효성 강화를 위한 구제방법과 절차 - 독일 판례분석을 중심으

로”, 산업관계연구 제27권 제2호 (2017).

2. 외국문헌

Aharon Barak, 『Proportionality – Constitutional Rights and their Limitations』,

Cambridge (2012).

Peter Flach, 『Machine Learning, The Art and Science of Algorithms that Make

Sense of Data』, Cambridge University Press (2016).

Ian GoodfellowㆍYoshua BengioㆍAaron Courville, 『Deep Learning』, MIT Press

(2016).

Daniel Graupe, 『Deep Learning Neural Networks』, World Scientific (2016).

Gabriel Hallevy, 『Liability for Crimes Involving Artificial Intelligence Systems』,

Springer (2013).

Steven Shavell, 『Foundations of Economic Analysis of Law』, The Belknap Press

of Harvard University Press (2004).

83

Andrew Altman, “Discrimination”, Stanford Encyclopedia of Philosophy (2015).

(https://plato.stanford.edu/entries/discrimination/)

Andrew D. SelbstㆍSolon Barocas, “The Intuitive Appeal of Explainable

Machines”, Fordham Law Review, Forthcoming (2018).

Anemona Hartocollis, Amy Harmon and Mitch Smith, “‘Lopping’, ‘Tips’ and the

‘Z-List’：Bias Lawsuit Explores Harvard’s Admissions Secrets”, New York

Times (2018. 7. 29.).

A. M. Turing, “Computing Machinery and Intelligence”, Mind, New Series, Vol.

59, No. 236 (1950).

Berk Ustun, Alexander Spangher, Yang Liu, “Actionable Recourse in Linear

Classification”, arXiv:1809.06514 (2018).

Betsy Anne Williams ･ Catherine F. Brooks ･ Totam Shmargad, “How Algorithms

Discriminate Based on Data They Lack”, Journal of Information Policy

Vol. 8 (2018).

Brent Mittelstadt, “Automation, Algorithms, and Politics| Auditing for

Transparency in Content Personalization Systems.” International Journal

of Communication v. 10 (2016).

Bryce W. Goodman, “A step towards accountable algorithms?：Algorithmic

Discrimination and the European Union General Data Protection”, 29th

Conference on Neural Information Processing Systems(NIPS 2016),

Barcelona. NIPS Foundation (2016).

Catherine Tucker, “Privacy, Algorithms and Artificial Intelligence”, The Economics

of Artificial Intelligence：An Agenda (2017).

Chris Reed et al., “Responsibility, Autonomy and Accountability：legal liability for

machine learning”, Queen Mary School of Law Legal Studies Research

Paper No. 243/2016 (2016).

Christopher Townley et al., “Big Data and Personalised Price Discrimination in EU

Competition Law”, King's College London Law School Research Paper No.

2017-38 (2017).

84

Danielle Keats Citron, “Technological Due Process”, Washington University Law

Review Vol. 85 (2008).

Danielle Keats Citron ･ Frank Pasquale, “The Scored Society：Due Process for

Automated Predictions”, Washington Law Review Vol. 89:1 (2014).

David H. Wolpert ･ William G. Macready, “No Free Lunch Theorems for

Optimization”, IEEE Transactions on Evolutionary Computation 1 (1997).

Deven R. Desai ･ Joshua A. Kroll, “Trust But Verify: A Guide to Algorithms and

the Law”, Harvard Journal of Law and Technology, Vol 31, Issue 1

(2018).

Gary Marcus, “Deep Learning: A Critical Appraisal”, arXiv:1801.00631 (2018).

Indre Zliobaite, “A survey on measuring indirect discrimination in machine

learning”, arXiv:1511.00148v1 [cs.CY] (2015)

Indre Zliobaite･Bart Custers, “Using sensitive personal data may be necessary for

avoiding discrimination in data-driven decision models”, Artificial

Intelligence and Law Vol. 24 (2016).

Jatinder Singh et al., “Responsibility & Machine Learning: Part of a Process”,

SSRN (2016).

Jeffrey Dastin, “Amazon scraps secret AI recruiting tool that showed bias against

women”, Reuters (2018. 10. 10.).

Jenna Burrell, “How the machine ‘thinks’: Understanding opacity in machine

learning algorithms”, Big Data & Society (2016).

John R. Searle, “Minds, brains, and programs”, Behavioral and Brain Sciences,

3(3) (1980).

Kate Crawford, “The Hidden Biases in Big Data”, Harvard Business Review

(2013. 4. 1.).

Kate Crawford ･ Jason Shultz, “Big Data and Due Process: Toward a Framework

to Redress Predictive Privacy Harms”, Boston Law Review Vol. 55 (2014).

85

Lilian Edwards ･ Michael Veale, “Slave to the Algorithm? Why a ‘Right to an

Explanation’ Is Probably Not the Remedy You Are Looking For” 16 Duke

Law & Technology Review 18 (2017).

Lu Zhang ･ Yongkai Wu ･ Xintao Wu, “A causal framework for discovering and

removing direct and indirect discrimination” arXiv:1611.07509 (2016).

Moritz Hardt, “How big data is unfair”, Medium (2014. 9. 26.).

Neil M. Richards ･ Jonathan H. King, “Three Paradoxes of Big Data”, Stanford

Law Review Online Vol. 66:41 (2013).

Paul Pierson, “Increasing Returns, Path Dependence, and the Study of Politics”,

The American Political Science Review, Vol. 94, No. 2 (2000).

Solon Barocas, “Data Mining and the Discourse on Discrimination”, Data Ethics

Workshop, Conference on Knowledge Discovery and Data Mining

(2014).

Solon Barocas ･ Andrew D. Selbst, “Big Data’s Disparate Impact”, 104 California

Law Review 671 (2016).

The Economist, “Frankenstein’s paperclips” (2016. 6. 25.).

U.S. Executive Office of the President of the US, “Preparing for the Future of

Artificial Intelligence” (2016).

U.S. Food and Drug Administration, “Data Integrity and Compliance With CGMP

Guidance for Industry” (2016).

86

❚고학수

서울대학교 법학전문대학원 교수

한국법경제학회 회장

서울대학교 법과경제연구센터 센터장

서울대학교 인공지능 정책 이니셔티브 디렉터

미국 콜럼비아대학교 법학 JD 및 경제학 PhD

관심분야 : 법경제학, 개인정보보호, 빅데이터, 인공지능

❚정해빈

서울대학교 경제학부 졸업

서울대학교 법학전문대학원 졸업

서울대학교 법과대학 박사과정 재학중

공익법무관

❚박도현

서울대학교 경제학부 졸업

서울대학교 법학전문대학원 졸업

서울대학교 법과대학 박사과정 재학중

변호사 (서울지방변호사회)

저자소개