편향(bias)라는 단어는 서구사회에서 14세기 기하학에서 사선이나 대각선을 가리키는 데 처음 사용된 것으로 나타나며 16세기에 이르러 ‘부당한 선입견’이라는 의미를 내포하기 시작했으며, 1990년 이후 통계학에서 좀 더 전문적인 용어로 발전했다. 통계학에서 편향은 표본이 전체를 올바르게 반영하지 않을 때 표본과 모집단 사이의 체계적인 차이를 지칭한다. 현대사회에서 편향은 통계학 이외에 법률, 심리학 등에서도 사용되는데 이 경우는 단순히 통계학적 오류를 지칭하기 보다는 인간의 믿음이나 고정관념, 차별의 형태를 내재한 특정 현상을 지칭하는 경우가 많다. 기계학습을 기반으로 하는 인공지능에서 편향을 이해하는 근거는 원칙적으로는 통계학적 근거에 바탕하고 있다. 기계학습은 대규모 데이터의 공통적 속성을 파악하고 새로운 데이터를 그에 따라 분류하고 예측할 수 있도록 설계된다. 새로운 데이터가 주어졌을 때 기계학습 시스템이 체계적이지 못하거나 일관되지 못하게 분류를 행할 때 이를 분류 오류 혹은 편향이라고 부른다. 하지만 편향이라는 단어가 사회적으로 갖는 차별, 고정관념 등의 의미 때문에 인공지능이나 기술의 편향은 기술적 오류 이상의 의미로 통용된다.

인공지능이 출시된 이후 편향의 사례들이 무수하게 축적되었다. 이미지 인식도구가 흑인 여성을 고릴라로 분류하고, 유색 인종과 여성의 얼굴을 인식하는 정확도가 백인 남성에 비해 떨어졌다. 인공지능 채용시스템은 여성 지원자를 서류심사에서 걸러내었으며, 인공지능 구인 플랫폼은 고임금의 일자리를 여성보다는 남성에게 더 많이 보여주었다. 이용자와 실시간 대화를 수행하는 챗봇은 인종차별적이거나 여성 혐오적인 언어를 구사했으며, 음성인식 스피커는 여성의 목소리로 응답하지만 정작 남성의 목소리에 대한 인식 정확도가 더욱 높았다. 인공지능 번역기는 특정 직업에 대해 여성 혹은 남성이라는 고정관념에 기반한 인칭대명사를 사용하기도 했다. 생성형 인공지능이서도 마찬가지다. 이미지 생성 인공지능의 경우 의사, 변호사, 판사 등 고소득 전문직의 경우 피부가 밝은 남성 이미지로 생성하는 반면, 패스트푸드점 알바생이나 가사도우미 등의 직업군에 대해서는 유색인종이나 여성으로 생성하는 경향이 두드러진다. 개발된 기술의 접근성에서도 편향은 나타날 수 있다. 가령 얼굴인식을 기반으로 하는 기계가 장애가 없는 신체를 기준으로 만들어져 사회에서 활용되는 경우 그렇지 않은 신체는 기술이 주는 혜택에서 배제되는 결과를 낳는다.

편향의 가능성에 대해 정확한 사전진단을 내리지 않은 인공지능 서비스가 이용자와의 상호작용 중에서 편향을 생산하고 나면 서비스를 개발한 회사는 이를 고치기 위해 서비스에 기술적으로 개입한다. 대개는 데이터의 분산이 작은 경우 과소적합(underfitting)이 발생하여 모델의 학습 과정에서 유의미한 특징이나 신호를 모두 포착하지 못한 경우를 지적한다. 즉, 훈련 데이터의 속성이 고르게 분산되어 있지 않은 경우인데, 일례로 남성이나 백인의 데이터가 더 많아 다른 성별이나 인종의 데이터에 대한 인식이나 예측이 떨어질 수밖에 없는 경우이다. 예를 들어, 대용량의 데이터를 스스로 학습하며 범용성을 확보하는 대규모언어모델의 경우 사용하는 인구수가 많아야 하는데 이는 인구수가 많거나 동시에 제2외국어로 구사하는 외국인의 수가 많아야 함을 뜻한다. 하지만 인구수가 많더라도 디지털로 변환 가능하지 않거나 온라인에서 구할 수 없다면 해당되지 않는다. 인도나 파키스탄처럼 인구수는 세계에서 상위권이지만 온라인에서 찾을 수 있는 문서의 수가 제한된 경우 인공지능 모델이 학습하거나 모델의 정확도를 높이기에 적합하지 않은 데이터이다. 또한 미국의 경우에도 현재의 인공지능 시스템이 학습하는 온라인 데이터는 20대 백인 남성의 비중이 높은 사이트를 기반으로 하고 있다. 정제되지 않은 대용량의 데이터가 필연적으로 가질 수 있는 차별과 배제의 속성을 내포하는 것인데 온라인 데이터를 대용량으로 모아 검증 없이 학습한 모델의 학습과정에서 소수자의 의견, 속성, 특성은 인식되지 못하거나 상대적으로 중요하지 않은 것으로 배제될 수밖에 없다.

이 경우 데이터의 양을 늘려 집단 간 데이터가 양적으로 동등하도록 기술 시스템을 조정한다. 하지만 이 같은 통계에 근거한 기술적 개입 역시 인공지능의 편향의 문제를 완벽하게 해결하지는 못한다. 예를 들어 역사적으로 차별과 배제를 겪어 온 집단은 문서화된 데이터 자체가 적다. 집단 구성원 간 연대를 거듭하며 데이터를 축적하고 있지만 들어오고 나가는 링크의 수가 적은 온라인 커뮤니티에서 만들어진 의견이 훈련 데이터로 포함되기는 어렵다. 또한 역사적으로 소외되어 온 집단은 관련된 사건이 발생할 때마다 자발적으로 기록하고 관련 역사를 발굴하며 온라인 데이터를 추가하고 있지만 현재의 인공지능 시스템은 훈련 데이터를 지속적으로 최신 내용으로 업데이트 하지 않는 경우가 많기 때문에 이들은 실시간으로 반영되기 어려운 경우가 많다.

또 다른 경우는 알고리즘의 개입을 통해 일종의 비윤리적 언어를 걸러내는 것이다. 일례로 챗봇이 여성혐오 발언이나 인종차별 발언을 쏟아내지 않도록 관련된 자연어를 사전에 학습시켜 연관된 질문이 입력되었을 때 대화를 더 이상 진행하지 않거나 차단하는 방식으로 기술이 개입한다. 이는 자연어 개체명을 인식하여 특정 표현이나 언어를 배제하는 경우인데 현재 상용화된 챗봇이 혐오나 차별의 가능성이 있는 질문을 했을 때 관련 질문을 회피하거나 차별이나 혐오 표현을 하지 않는 것이 좋다는 식으로 미리 입력된 답변을 수행하는 경우가 해당한다. 하지만 이러한 기술적 개입 역시 편향을 생산하는 경향이 있는데 자연어 개체명을 인식해 특정 표현이나 언어를 배제하는 경우 혐오나 편견 내용만 제외되는 것이 아니라 같은 개체명을 사용한 저항적 의견 역시 배제되어 결과적으로 편향을 생산할 수 있다.

인공지능의 편향을 해결하기 위해서 유엔(United Nations, UN) 등의 국제기구는 다양한 배경을 가진 사람들이 인공지능 개발의 과정에 참여하고 이들의 의견 수렴을 통해 다양한 배경을 가진 사람들을 대표하는 데이터를 수집하고 활용할 것이 장려되고 있다. 또한 모델의 학습 과정에서 편향 여부를 지속적으로 검증하고 개선할 수 있도록 기술 개발자 집단 구성원들도 다양한 배경을 가질 수 있도록 촉구하고 있다. 뿐만 아니라 인공지능의 블랙박스적 성격이 편향의 문제를 더욱 극심하게 하며 공고히 한다고 보고 이에 따른 윤리 원칙이 권고되기도 한다. 인공지능 시스템의 판단 과정은 인간의 추론 과정과 동일하지 않으며 학습의 과정 자체가 자동화되어 그 과정과 판단의 근거를 인간이 정확하게 이해하기 어려운 경우가 많다. 때문에 모델이 특정 상황에서 의사 결정을 내리는 과정을 투명하게 공개하는 투명성의 원칙과 이를 사용자들에게 설명할 수 있는 설명가능성의 원칙이 인공지능 윤리에서 강조되고 있다.

작성자: 이정현(중앙대학교 인문콘텐츠연구소 HK연구교수)