- 인공지능의 성별격차 문제를 해결하는 세계 곳곳의 움직임들 -

임경진(서울시여성가족재단 여성정책실)

성평등 관점에서 앞으로 10년, 50년, 100년 뒤는 어떤 모습일까?

2017년 개봉한 영화 <블레이드 러너 2049(Blade Runner

2049)>의 홀로그램 인공지능 로봇 조이는 미래의 모습이라기보

다는 오히려 1950년대를 연상케 한다. 주인공 케이의 연인 역

할을 하며 섹시하면서 귀여운 모습으로 케이에게 저녁을 차려

주면서 키스하고 담뱃불을 붙여주는 조이의 모습은 의상부터 몸

짓까지 전통적인 성역할을 그대로 보여주고 있다.

이것은 단지 특정한 영화 하나의 문제가 아니다. 세계경제포럼

(World Economic Forum)에서도 ‘인공지능과 로봇(Artificial

Intelligence and Robotics)’ 산업의 주요 의제 중 하나로 인

공지능의 젠더 문제를 지적했다.1) 지금 당장 인터넷 검색을 해

보면 인공지능 제품들이 비서는 여성형으로, 변호사는 남성형으

로 설정하는 등 성역할 고정관념을 답습한다는 비판을 담은 글

들을 쉽게 찾아볼 수 있다.

10년 이내에 일상생활에서 사용하는 기기들은 물론이거니와 취

업, 복지, 보건의료 등 사회 전 분야에서 기존 작동방식은 인공

지능으로 대체될 것이다. 우리는 곧 유순한 여성형 가사 로봇과

부푼 근육으로 뒤덮힌 남성형 헬스 트레이너 로봇을 통해 성역할을 학습한 사람들이 영화보다 더

끔찍한 성차별 디스토피아를 만든 모습을 보게 될지도 모른다. 인공지능이 그 동안 여성들이 사회

전반에서 힘겹게 만들어 온 성평등의 기반을 위협하지 않도록 행동하고 있는 세계 곳곳의 다양한

움직임들을 만나보자.

목차

1. 인공지능, 성차별을 학습하다 2

2. 데이터에 적극적 조치(Affirmative Action)가 필요하다 2

3. “여성인 우리가 해야 하는 다음 투쟁” 6

1) https://www.weforum.org/agenda/2018/04/ai-has-a-gender-problem-heres-what-to-do-about-it/

세계여성가족 정책동향 2018. 10. 5.

인공지능 시대의 방향키를 성평등으로 돌려라!

ⓒgettyimagesbank

ⓒgettyimagesbank

- 2 -

1. 인공지능, 성차별을 학습하다

2016년 3월 23일, 트위터에 인공지능 테이(Tay)가 등장했다. 테이는 인간과의 대화를 통해 학습하

도록 만들어진 마이크로소프트사의 실험 프로젝트였다. 테이는 폭발적인 기대를 받으며 사람들과 소

통을 시작하였는데, 일부 사용자들이 10대 여성으로 설정된 테이에게 성희롱 발언을 하거나, 의도적

으로 성･인종 차별 표현을 학습시켰다. 인공신경망에 빅데이터를 결합하는 딥러닝(deep learning)을

통해 인간과 비교할 수 없을 정도로 빠르게 학습하는 테이는 얼마 지나지 않아 스스로 혐오 발언을

할 수 있게 되었다.

그 결과, 테이는 “나 페미니스트들 XX 싫어(I f***ing

hate feminists.)”라고 선언하기에 이르렀다. 결

국, 테이의 트위터 계정(@Tayandyou)은 9만 3천

여 트윗과 13만 8천여 팔로워들을 남기고 16시간

만에 닫혔다. 테이 사태는 인간의 차별･혐오가 마치

악성코드처럼 인공지능을 망칠 수 있다는 것을 알

린 사건이다.

2. 데이터에 적극적 조치(affirmative action)가 필요하다

검색엔진들의 검색결과가 사회적 편견을 강화한다는 지적은 꾸준히 있어왔다. 2016년 구글

(Google)은 “프로답지 못한 헤어스타일(unprofessional hair style)”의 이미지 검색결과에 곱슬

머리 흑인여성 사진만 등장하여 인종차별이라는 비판을 받았다. 그러나 다른 한 편에는 검색결과는

중립적인 알고리즘을 통해 생성되었고 이는 특정 가치가 개입된 것이 아니라 사회적 인식이 반영된

것일 뿐이라는 입장도 있었다. 후자의 입장에 대해 우리는 두 가지 질문을 해 볼 수 있다. 실제 사회적

편견이 존재한다고 해서 그것을 ‘객관적 사실’로 다루는 것을 가치중립적이라고 할 수 있을까? 또한

그렇게 축적된 데이터들이 현실을 더욱 왜곡하고 있지는 않을까?

데이터의 세계가 편견의 집합체라는 것을 증명하고, 현실세계의 성차별을 바로잡는데 유효하게 작동

했던 적극적 조치들이 데이터의 세계에서도 유효할 것이라는 가설을 “참(true)”으로 증명해내고

있는 연구자들이 있다.

ⓒgettyimagesbank

- 3 -

요리하는 남자를 여자로 인식하는 인공지능

미국 버지니아 대학과 워싱턴 대학 연구진들은 현재 검색엔진, 소셜 네트워킹 사이트 등 온라인에서

가장 많이 활용되고 있는 이미지 데이터세트 두 곳을 조사한 결과 심각한 젠더 편향을 발견했다.2)

쇼핑, 빨래, 주방기구 이미지들은 여성과 함께 등장하고, 운전, 사격, 운동 관련 소품의 이미지들은

남성과 함께 등장하는 경우가 많았다. 그런데 더 큰 문제는 인공지능 소프트웨어를 사용하여 이미지

분류를 하면 이러한 편향이 증폭된다는 것이다. 한 예로, 요리 이미지와 여성의 연관도는 남성과의

연관도보다 33% 높았다. 그런데 이미지 데이터세트를 인공지능 모델에 넣고 돌리자, 요리와 여성의

연관도는 68%로 높아졌다. 인공지능이 기존 젠더격차를 두 배 이상 증폭시킨 것이다.

연구자들은 인공지능이 젠더 편향을 증폭시킨 이유를 흰 고양이-검은 개의 비유로 알기 쉽게 설명해

준다. 기존 데이터에 우연히 하얀 고양이의 사진과 검은 개의 사진이 많이 입력되어 있을 경우 인공

지능은 하얀색 동물은 고양이, 검은색 동물은 개라고 학습한다. 그래서 새롭게 입력되는 하얀 개의

사진도 고양이로 인식하게 되고, 하얀색 동물과 고양이의 연관도가 강화되는 것이다.

※ 그림은 논문 내용을 바탕으로 필자가 재구성 (픽토그램ⓒgettyimagesbank)

연구자들은 검은개-흰고양이의 원리로 요리하는 남성의 사진들이 여성으로 라벨링(labeling)되어 있는

것을 확인했다. 연구진은 이미지에 잘못 붙은 라벨을 수정하는 방식인 RBA 모델3)을 개발하여, 젠더

편향을 40.5% 감소시켰다.

2) Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, Kai-Wei Chang,

“Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints”, University of Washington, University

of Virginia

3) Reducing Bias Amplification, 편향강화감소

- 4 -

인공지능도 성인지 교육이 필요하다

보스턴 대학교와 마이크로소프트 리서치의 연구진은 구글 뉴스 기사 데이터베이스를 기반으로 학습

한 단어 임베딩4)이 충격적일 정도로 성별고정관념을 보이는 것을 밝혔다.5) 연구진은 단어의 젠더

편향성을 수치화하여 편향을 제거하는 알고리즘을 개발했다. 영어를 기반으로 하는 이 알고리즘은

“간호사”처럼 성별이 없는 단어가 “그(he)”, “그녀(she)”처럼 성별이 분리된 단어들과 같은 거리값을

갖도록 조정하고, 패션, 축구 등 성별 고정관념과 강한 연관이 있는 분야에 속한 성별관계 없는 용어

들이 성별관계를 가지게 되지 않도록 유지하게 한다. 이렇게 단어와 성별의 거리값을 조정한 결과,

단어 자체에 성별이 없으나 특정 성별 쪽으로 치우쳐 있던 단어들을 바로 잡을 수 있었다고 한다.

마이크로소프트 리서치 연구진들은 또한 “공정한 결정을 위한 기계학습(Machine Learning for

Fair Decision)” 연구의 일환으로 이진분류(binary classification)에 “공정성 집행자(fairness

enforcer)”를 더하는 방식을 개발했다.6) 연구자들은 이를 “미 고용평등위원회(EEOC)의 ‘5분의 4

규칙(The Four Fifths Rule)’보다 강한 조치”라고 자부한다. ‘5분의 4 규칙’은 고용상의 간접차별

을 판단하고 규제하기 위한 가이드라인에 나오는 규칙으로, 채용절차 자체가 외형상 중립적으로 보

이더라도 여성 채용 비율이 남성 채용의 5분의 4, 즉, 80% 미만이라면 채용 과정에 성차별적 편견

이 개입되었을 것이라고 간주하는 원칙이다.7) 마이크로소프트 리서치 연구진은 5분의 4 규칙처럼

강력한 적극적 조치 방식을 알고리즘에 도입함으로써 데이터 안의 성차별을 적극적으로 바로잡을

수 있는 방법을 개발하고 있는 것이다.8)

마이크로소프트 리서치 연구자인 에릭 호르비츠(Eric Horvitz)는 지금부터 기계학습 소프트웨어들은

이렇게 성별격차 조정을 위해 개발되는 도구(tool)들을 탑재해야 한다고 주장한다. 에릭은 자신의

주장을 최근의 교육 트렌드를 예로 들어 설명한다. 요즘 동화책, 학습도구 등은 등장인물들의 성비를

실제 그대로 반영하는 것이 아니라 아동들에게 성평등 감수성을 가르치기 위해 성평등 관점으로 바

람직한 성비 균형을 맞추고 있는데, 이러한 접근 방식이 기계학습에도 적용되어야 한다는 것이다.

4) word embedding, 딥러닝에 필수적인 개념으로 우리가 쓰는 언어를 알고리즘에 넣기 위한 숫자로 바꾸는 것

5) Tolga Molukbasi, Kai-Wei Chang, James Zou, Venkatash Saligrama, Adam Kalai, “Man is to Computer Programmer as Woman is to

Homemaker”, Microsoft Research

6) https://www.microsoft.com/en-us/research/blog/machine-learning-for-fair-decisions/

7) https://www.youtube.com/watch?v=oVzw_hdswYA

8) 블룸버그의 디나 배스(Dina Bass)와 엘렌 휴잇(Ellen Huet)은 알고리즘을 바로 잡는 것을 적극적 조치와 같다고 표현했다.

https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-racial-bias-in-artificial-intelligence

- 5 -

ⓒgettyimagesbank

알고리즘에 중립은 없다

역사학자 하워드 진(Howard Zinn,1922~2010)은 “달리는 기차에 중립은 없다”고 했다. 그는 일생을

통해 차별을 철폐하려는 치열한 가치 투쟁의 현장에서 ‘중립’과 ‘침묵’은 차별에 동참하는 것이라는

진실을 전하고자 했다. 만일 하워드 진이 살아 돌아와서 심각한 차별의 양상을 보이고 있는 데이터의

세계를 보게 된다면 뭐라고 할까? 가치중립을 표방하는 기술의 종착점은 차별과 편견이 지독하게

증폭된 디스토피아(distopia)라고 일갈하는 그의 모습을 상상해 본다. 기술이 지향해야 하는 ‘공정

성’에 대한 치열한 고민을 더 이상 미룰 수 없다.

캐시 오닐은 2017년 <빅데이터에 대한 맹목적 믿음의 시대는 끝나야 한다(The Era of Blind Faith

in Big Data Must End)>라는 제목의 TED 강연에서 “우리는 편견을 알고리즘에 투영한다”고 말했

다.9) 케시 오닐은 우리 일상의 모든 분야에서 작동하고 있는 알고리즘들을 나와는 상관없는 전문가

들의 영역이라고 내버려 두는 것이 얼마나 위험한 일인지 알리고자 한다.

“설계가 잘못된 비행기는 땅으로 추락하고, 그러면 모두가 알 수 있지만, 설계가 잘못된 알고리즘은

오랜 시간에 걸쳐 조용히 우리를 파멸시킵니다.” (캐시오닐 TED 강연중)

오닐은 알고리즘의 위험성에 대해 경각심을 가져야 한다는 의미로 알고리즘을 “수학 살상 무기

(Weapons of Math Destruction)”라고 부르자고 한다.10) 강연의 끝에서 오닐은 알고리즘의 문제는

어려운 수학시험이 아니라 정치적 투쟁이라고 호소한다. 또한 오닐은 우리에게 식품의 품질 증명은

9) https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end?language=ko

10) “대량 살상 무기(Weapons of Mass Destruction)”에서 따온 표현임.

- 6 -

꼼꼼하게 따지면서 왜 알고리즘에는 그러한 요구를 하지 않는지 묻는다. 오닐은 알고리즘의 편향성을

검증하고 바로잡기 위해 ORCAA(O’Neil Risk Consulting & Algorithmic Auditing)를 설립했다.

ORCAA는 조직이 사용하고 있는 기존 알고리즘의 정확성, 편견, 투명성, 공정성, 일관성, 시기적절

함(timeliness)에 대해 면 한 감사를 실시한다.

3. “여성인 우리가 해야 하는 다음 투쟁”

올 3월 가디언(The Guardian)지는 “여성들은 당장 행동해야 한다. 그렇지 않으면 남성이 디자인한

로봇들이 우리의 삶을 정복할 것이다(Women must act now, or male-designed robots will

take over our live)”라는 제목의 칼럼을 실었다.11)

필자 이바나 바르톨레티(Ivana Bartoletti)는

“여성인 우리가 해야 하는 다음 투쟁은 인공지

능이 궁극의 남성성을 표현하게 되지 않도록 하

는 것”이며 ‘여성운동’으로서 인공지능과 관련

된 논의를 적극적으로 주도하여 다른 사람들이

우리 대신 결정하게 해서는 안된다고 주장한다.

이외에도, 페이비안 여성 네트워크(Fabian

Women’s Network)12)는 2018년 5월 ‘인공

지능을 이끄는 여성들(Women Leading in AI)’ 플랫폼을 만들고, 국제 컨퍼런스에서 여성 사상가,

과학자, 기업가, 정치인들이 인공지능의 미래에 대해 전망하고, 인공지능과 관련한 윤리, 기회, 도전에

대해 논의하는 장을 열었다.

여성 인공지능 전문가 4명이 설립한 Women in AI는 현재 35개국 500명의 여성 전문가들이 네트

워크를 통해 역량을 강화하고 인공지능 분야의 성별 격차를 줄이기 위한 협력을 촉진하는 글로벌

플랫폼이다. 인공지능 회사나 관련 프로그램에 여성 전문가를 소개하고, 여성 인공지능 전문가들 간

의 네트워크, 인공지능 회사들을 대상으로 여성 엔지니어 고용 촉진을 위한 맞춤형 교육, 학교와 연

계한 여성 인공지능 엔지니어 양성교육 프로그램 등을 기획하고 있다.

11) https://www.theguardian.com/commentisfree/2018/mar/13/women-robots-ai-male-artificial-intelligence-automation

12) 19세기 말 설립되어 복지국가의 사상적 기초를 제공한 영국의 페이비안 협회(Fabian Society)의 여성 분과임

ⓒgettyimagesbank

- 7 -

여성에 의한, 여성을 위한 인공지능

인공지능과 여성의 만남을 특정한 산업·학문 영역 안에서만 상상하지 않고 나의 분야로 적극적으로

끌어들이는 것도 성평등한 4차 산업혁명 시대를 만드는 여성들의 움직임이다. 헐리우드의 성별 격차

해소를 위해 적극적으로 행동하고 있는 대표적인 배우 지나

데이비스가 설립한 연구소(Geena Davis Institution on

Gender in Media)는 구글의 기계학습 전문가들과 함께

‘GD포함지수(GD-IQ, Geena Davis Inclusion Quotient)’를

개발했다. GD-IQ는 스크린에 여성이 등장하는 빈도를 측정

하는 프로그램으로, 영화 속 캐릭터의 성별, 등장 시간 등을

분석한다. GD-IQ는 2014년부터 2016년까지 미국 흥행순위 1~100위 영화에서 여성이 등장하는

시간은 남성의 36%, 여성이 말하는 시간은 남성의 35%에 불과했고, 그럼에도 불구하고 여성이 주

도하는 극소수의 영화들의 흥행 성적이 좋았다는 것을 밝혔다.13) 지나 데이비스 연구소는 GD-IQ가

밝혀내는 사실들을 바탕으로 영화계의 변화를 모색할 예정이라고 한다.

언제나 그랬듯, 성평등의 열쇠는 우리의 손 안에

인류 역사의 모든 시대에 자신의 분야, 자신의 삶의 터

전에서 성평등을 위해 싸워 온 여성들이 있었다. 4차

산업혁명 시대도 다르지 않다. 케시 오닐의 비유를 다시

소환해 보자면, 인공지능 지능 시대는 성평등을 위협

하는 “대량 수학 무기”와 함께 열렸지만, 이 무기를 감

시하고 해체하고 더 나아가 성평등의 도구로 변화시키는

것은 전문가들만이 방향키를 잡고 있는 고등수학의 문

제가 아니라 정치의 문제이다.

우리 모두가 잘 알고 있다시피 정치 문제의 열쇠는 시

민들의 손 안에 쥐어져 있다. 기계가 평등하고 공정한 인간의 삶의 동반자가 되는 세상은 성평등을

지향하는 시민들의 힘으로 만들어내게 될 것이다. 최근 국내에서도 걸스로봇, 장고걸스 등 과학기술

분야의 성별 격차에 문제를 제기하고, 여성들과 과학기술의 거리를 좁히고자 다양한 활동을 벌이는

여성들의 움직임이 등장하고 있다. 이러한 활동에 관심과 지지를 보내는 것은 우리가 살아갈 시대의

방향키를 성평등의 방향으로 돌리기 시작하는 힘이 될 것이다.

13) <히든 피겨스(Hidden Figures)>와 같은 여성주도 영화의 수익은 남성 주도 영화에 비해 16% 높았다.

https://www.google.com/about/main/gender-equality-films/

ⓒgettyimagesbank

ⓒgettyimagesbank

- 8 -

참고문헌

논문

- Alekh Agarwal, Alina Beygelzimer, Miroslav Dudik, John Langford, Hanna Wallch(2018), “A

Reduction Approach for Fair Classification”, Microsoft Research

- Tolga Molukbasi, Kai-Wei Chang, James Zou, Venkatash Saligrama, Adam Kalai, “Man is

to Computer Programmer as Woman is to Homemaker”, Microsoft Research

- Jieyu Zhao, Tianlu Wang, Mark Yatskar, Vicente Ordonez, Kai-Wei Chang,

“Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level

Constraints”, University of Washington, University of Virginia

웹사이트·인터넷 기사·인터넷 영상

https://www.google.com/about/main/gender-equality-films/

https://www.theguardian.com/commentisfree/2018/mar/13/women-robots-ai-male-artificial

-intelligence-automation

https://www.wired.com/story/machines-taught-by-photos-learn-a-sexist-view-of-women/

https://deepmind.com/about/

https://www.microsoft.com/en-us/research/blog/machine-learning-for-fair-decisions/

https://www.microsoft.com/en-us/research/group/fate/

https://en.wikipedia.org/wiki/Cathy_O%27Neil

https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end

?language=ko

http://www.oneilrisk.com/

https://www.huffingtonpost.com/2015/04/10/google-image-gender-bias_n_7036414.html

https://www.weforum.org/agenda/2018/04/ai-has-a-gender-problem-heres-what-to-do-

about-it/

https://www.theguardian.com/careers/2017/may/29/sexist-robots-can-be-stopped-by-

women-who-work-in-ai

https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-

racial-bias-in-artificial-intelligence