모두가 알고 있는 것처럼, 우리가 사용하는 지도책은 세상의 지리적 현실을 그대로 반영하는 것이 아니다. 뭘 하고자 하는 목적에 따라서 세상의 현실 일부를 수량화하고 나머지는 모두 생략해버리거나 약식으로 표현한다. 길을 찾는 지도라면 도로망에 집중해서 나머지 세상을 생략해버릴 것이다. 만약 드론을 띄워야 한다면 입체적인 높이 표시가 정확해야 할 것이다.

이렇게 '실제 세상 - 지도'와 마찬가지로, '실제 세상 - 인공지능이 인식하는 세상'은 전혀 똑같지 않을 수 있다. , 지도의 소유자가 목적하는 바를 이루기 위해 인위적으로 세상의 일부만 강조해서 추상화시킨 지도처럼, 인공지능이 인식하는 세상은 인공지능 소유자가 원하는 목적을 이루기 위해 세상의 일부를 단순화시켜 계산 가능하도록 수량화시킨 것이기 때문에 진짜 세상과는 많이 다르다는 것이다. 바로 이런  의미를 담은 책이 있다.

"인공지능으로 만든 지도책은, 세상을 중립적으로 반영했다기 보다는 정치적 개입물이다(The maps made by AI industry are political interventions, as opposed to neutral reflections of the world)"라는 핵심주제로 장대한 내용을 써 내려간 책이 최근 출간되었다. 'AI Now'라는 연구소 공동창립자인 케이트 크로포드(Kate Crawford)가 최근 쓴 단행본 이 그것이다. 내가 예상했던 것보다 엄청난 책이고 인공 지능에 관한 정말 쎈 책이다.



우선 저자는 인공지능은 결코 화려하고 신비로운 기술적 창조물로 세상에 튀어나온 것이 아니라고 강조한다. (희귀금속을 얻기 위해) 콩고의 광산으로부터, (학습데이터를 얻기 위해) 크라우드 워커들의 값싼 데이터 라벨링 노동으로부터, 그리고 전세계 수많은 사람들의 얼굴 이미지나 행동 데이터를 허락도 받지 않고 무차별적으로 수집한 것으로부터 탄생했다는 것이다.

그렇게 만들어진 인공지능은 현재 예맨 땅에서 드론의 감시와 정밀 폭격에 사용되고, 미국과 유럽 땅에서 이민자들과 테러리스트를 식별하겠다고 사용되며, 인간의 가치를 평가한다면서 세계 곳곳 기업들의 인사평가시스템에서 사용되고 있다. 그래서 인공지능은 기술얘기가 아니라 기술과 권력과 자본이 얽혀있는 얘기란다. 이런 주제들에 대해서 엄청난 문헌과 사례를 동원해서 풀어내기 때문에 이를 모두 소개하자면 끝이 없을 것 같아 몇 가지만 간단히 요약해 보겠다.
/
첫째, 자원(희귀금속, 물, 석탄, 석유) 추출.
몸이 없는 정신이 없고, 몸과 정신을 유지하기 위해서 우리는 매일 에너지를 섭취해야 한다. 인공지능도 마찬가지인데 우리는 가끔씩 이 사실을 잊는다. 그래서 인공지능의 물질적 실체를 명확히 볼 필요가 있다.

거대한 에너지를 먹고 세상의 온갖 희귀 광물을 빨아들여 생태계를 위협하고 기후위기를 부채질하는 인공지능의 물질적 실체 말이다. '회색 황금'이라 불리는 리튬을 캐내기 위해 볼리비아, 콩고, 몽고, 인도네시아, 호주서부 사막이 파헤쳐지고 있단다. 다양한 사례를 들어가면서 저자는 인공지능 산업이 '청정기술(Clean Tech)'라고 알려진 것은 신화에 불과하다고 비판한다.

둘째, 노동추출.
인공지능이 고급 엔지니어들만 개입해서 만드는 것은 아니다. 저자는 수 많은 열악한 저임노동인 크라우드워크에 의해서 인공지능이  어떻게 뒷받침되고 있는지를 적나라하게 보여준다. 또한 아마존 물류창고에서 상품이동을 담당하는 인공지능 로봇 키바(Kiva)를 뒤쫓아 다니며 떨어진 물건을 줍거나 하는 로봇 시중을 드는 사람들을 예를 들면서, 결국 현대의 인공지능에 의한 자동화는 뒤에서 보이지 않는 사람들의 수고가 없다면 작동하지 않을 것이라고 비판한다. 그는 이를 '인간의 뒷받침하는 자동화(human-fueled automation)'이라고 이름 짓는다.

즉 지금의 인공지능은 인간의 노동과 묘하게 조합된 결과이지 인공지능 혼자만의 힘으로 어떤 의미 있는 결과를 만들어내는 것이 아니라는 것이다. 그래서 그는 현대의 인공지능이 인공적이지도 지능적이지도 않다(Contemporary forms of artificial intelligen are neither artifical nor intelligence)고 비판한다.

여기에서 더 나아가 인공지능이 역으로 노동자를 감시하고, 노동효율을 평가하고 노동시간을 극히 짧은 시간단위로 모듈화시켜 100년전의 테일러시스템을 능가하는 부품화된 일을 하게 된 현실을 파헤친다.
/
세째, 데이터 추출.
학습 데이터는 현대 기계학습이 토대하고 있는 기초이므로 학습데이터가 부실하면 그걸로 학습한 인공지능의 능력은 보잘 것 없게 된다. 그런데 인공지능을 공부시키는 학습데이터는 '기반진실(ground truth)'에 대한 '불안정한 형태(brittle form)'에 불과하다는 것이 그의 결론이다. 이 대목은 좀 더 살펴보자.

우선 그는 프라이버시 등의 문제로 예전에는 사람들의 사진이나 목소리 등 데이터를 모으는 것이 매우 어려워졌는데, "지난 10년 동안 인공지능을 위해 디지털 자료들이 드라마틱하게 수집되어 왔다"고 놀란다. 주인의 허락없이 인터넷에서 마구 수집되는 관행이 생긴 것이다. "인공지능을 위한 엄청난 데이터 수집은 정당성에 대한 의문을 제기받지 않은채 인공지능 영역에서 기본이 되었다."

예를 들어,  SNS가 급격히 확산되기 전까지는 안면인식이나 음성인식을 위한 인공지능개발을 하기가 쉽지 않았다. 안면인식을 예를 들어보자. 무수한 인종의 사람들의 얼굴이 다양한 각도에서 다양한 조명에서 찍힌 사진이 있어야 한다. 심지어, 나이를 먹어감에 따라 변형된 사진들까지 존재해야 한다.

과거에는 이런 다양한 사진을 어떻게 구할 수 있었겠는가?  그러나 페이스북과 같은 SNS의 등장으로 아주 파격적이고 자동적으로 해결되었다. 사용자들이 알아서 어렸을때부터 시계열로 가족들의 사진까지 자발적으로 마구 올리지 않는가? 페이스북 안면인식 시스템이 세계 최고가 되지 않을 수 없지 않겠나?  2019년 기준으로 하루에 350만장의 사진이 페이스북에 올라간다고 하니. 그것도 친절하게 사진 설명까지 레이블링 해서 자발적으로.

1400만장의 이미지를 레이블링 해서 전 세계 이미지인식 인공지능에게 훌륭한 학습데이터를 제공한 '이미지넷'은 어떻게 그 이미지들을 구했을까? 첫째 동의를 구하지 않고 인터넷에서 이미지를 수집했다. 둘째 일반적으로 대학생 알바를 시킬 경우 90년이 걸려서 할 이미지 레이블링을  아마존 미케티컬 터크라는 '크라우드 소싱'을 톨해서 1분당 40개 이미지를 분류해 낼 수 있었다. 

이런 사례들이 쌓이면서 이후 허락없이 인터넷에서 이미지를 수집해서 레이블링 하는 방식이 표준이 된다. 영국 NHS가 140만명의 환자 데이터를 구글 딥마인드에게 넘겨준 사건은 하나의 예일 뿐이다.

이와 같이 "데이터가 거기 있으니까 수집한다"는 식의 관점은 데이터 수집으로 인한 윤리/프라이버시/안전성 문제를 도외시한다. 또한 수집된 데이터가 놓여 있었던 맥락도 제거해버린다. 이런 관점은 AI의 관행이 되고 있다. 

또한 이들 인공지능은 상당한 공공데이터를 기반으로 훈련되었음에도 불구하고, 공유자원으로 귀속되는 것이 아니라 대부분 사적으로 소유되어 '이윤'을 위해 작동한다.
/
인공지능의  깨끗하고 고급한 기술적 내러티브와 달리, 더러운 자원채취, 지겹고 고된 인간의 노동, 그리고 무법적으로 수집한 데이터에 기초하고 있다는 얘기는 사실 꽤 다른 책에서도 다뤄졌다. 그런데 정작 이 책의 백미는 인공지능의 알고리즘 자체를 건드린다는 것이다. 대표적으로 이미지 인식 등에 범용적으로 사용되는 '분류(classification)' 알고리즘을 저자는 타겟팅한다.

어떤 이미지 객체들은 그것이 놓여 있는 환경적, 사회적 배경과 맥락이 있게 마련이다. 이미지 하나만 떼어놓고 보기 어렵다는 것이다. 만약 그렇게 한다면 그건 아주 어린아이의 인식방법일 것이다. 만약 대낮에 길거리에서 반바지 입고 공 가지고 혼자 노는 틴에이저 그림을 보여주면 데이터 라벨러는 무심히 '루저'라고 레이블링을 할 지 모른다. 하지만 진실은 전혀 아닐 수도 있다.

더욱이 그런 이미지 분류를 크라우드 소싱으로 싼값주고 대량으로 짧은시간에 데이터 라벨링을 하라고 하면 어떤 결과가 나오겠나? 그런데 실제로 그렇게 한다. 그 전설적인 이미지넷의 21,841개의 분류체계 역시 이런 대목에서 심각한 비판을 받았다. 예를 들어 이 분류체계에서 성별은 남과 여 밖에 없었다. 젠더 차별뿐 아니라 인종차별, 계급 차별을 하는 분류체계들이 무분별하게 사용되었다. 그래서 결국 인간을 분류한 3천여개의 카테고리 가운데 절반이 폐기되기도 했다.
/
인공지능이 개나 고양이 같은 것을 이미지에서 식별해내는 것이라면 그래도 상대적으로 무해하다. 하지만 만약 사람의 감정을 읽는 인공지능(Automated Affect detection System)이라면 어떨까? 저자에 따르면, 폴 에크먼(Paul Ekmen) 같은 학자들이 학계의 제대로 된 검증도 없이, 감정과 얼굴 표정의 관계가 보편적임을 보이고, 대표 감정들과 그 표정들의 특징을 FACS(표정기호화법)으로 6가지 표정 '화남(anger), 행복함(happiness), 놀람(surprise), 혐오감(disgust), 슬픔(sadness), 두려움(fear)'으로 단순화 한단다. 최근 이에 기초해서 사람 얼굴을 읽고 감정을 판단하는 인공지능이 개발되고 현업에 배포되기도 했다. 

그런데 인간의 내적 감정은 굉장히 복잡해서 그들의 가족, 친구, 문화, 역사에 따라 매우 중층적인 맥락을 가지고 있단다. 인공지능이 얼굴표정으로 알아내는 것은 기껏해야  만화 스케치 정도다. 그런데 인공지능이 안면인식을 해서 감정을 재단하고 이를 취업자의 면접시험이나 학생들의 수업반응도, 소비자들의 호응도 등에 마구 적용하면 안된다고 저자는 강조한다.

자칫하면 지난 세기들에서 인종주의나 국가주의를 정당화시킨 각종 '골상학', '인상학' 등의 초보적인 오류들이 인공지능 시스템에서 그대로 재현될 가능성이 높다고 저자는 경고한다. 더 문제는 이런 오류들이 인공지능의 학습데이터와 알고리즘으로 구축되고 나면, 블랙박스에 갇힌 알고리즘이 오류를 수정하는 기능이 제대로 없다는 것이다.
/
이제 요약을 해보자.
인공지능이 인류의 모든 문제에 해답을 줄거라는 '기술 유토피아'나, 인공지능이 특이점을 넘어 초지능이 되어 인류를 파멸시킬 것이라는 '기술 디스토피아'는 사실 서로의 거울이자 쌍생아에 불과하다고 저자는 진단한다. 이는 모두 인공지능이라는 기술 그 자체 안에 권력이 있다고 상상하는 것이다. 그러나 진정한 권력은 경제 정치사회의 권력자들이 쥐고 있으며 이들이 인공지능을 자신들의 목적에 따라 활용하고 있는 것이다.

처음에는 실감이 잘 안되던 이 책의 핵심 주제 '인공지능은 현실의 권력을 복사'한다는 주장이 책을 거의 다 읽을 쯤이면 확실히 이해된다. 그는 다시 한 번 강조한다. "인공지능 시스템은 시민들을 지배하는 사람들을 위한 이윤과 중앙통제를 강화하기 위해 창조된, 더 넓은 경제적 정치적 힘으로부터 나온 권력의 표현이다."

그래서? 저자의 대안은 뭘까? 사실 저자는 이에 대해 어떻게 대항하자는 얘기는 거의 하지 않는다. "인공지능을 사용할 수 있으면 하자"가 아니라 "왜 인공지능을 사용해야 하는데?"라는 질문을 던지는 수준? 그리고 기후정의 + 노동권 + 인종/젠더정의 + 데이터 보호를 위한 강력한 문제의식을 가져야 한다는 정도?
***
때로는 지나칠 정도로 과감한 단순화에 다소는 당혹스러울 수도 있지만, 그럼에도 불구하고 인공지능의 기반 아래에 깔린 '생태 - 노동 - 데이터'라고 하는 아주 핵심적인 세 가지 근원을 적나라하게 파헤쳐 준다. 더 나아가 인공지능의 핵심 알고리즘인 분류의 사회학적 의미를 파헤치고 감정인식능력을 짚어보는 단행본은 거의 없다. 그는 엄청난 문헌조사를 곁들여서 읽는 사람을 기죽게 한다.
(누군가 꼭 번역을 해줬으면 좋겠다. 우리나라에서 아직 겉돌고 있는 인공지능에 대한 사회 정치적 접근을 하는데 많은 도움이 될 것 같다.)