시민사회와 전문가들, 프론티어 AI에 대한 전 세계적 모라토리엄 촉구

아래에 서명한 우리 시민사회단체들은 인간에게 심각하거나 광범위한 피해를 초래할 가능성이 있는 고도화된 AI 모델 또는 자율형 AI 모델, 즉 ‘프론티어 AI’의 개발, 배포 및 판매에 대해 즉각적인 전 세계적 모라토리엄(유예)을 시행할 것을 촉구한다. 이 모라토리엄은 구속력 있는 안전장치, 독립적인 감독, 실효성 있는 집행 메커니즘이 마련될 때까지 유지되어야 한다.

세계 최대 AI 기업들의 개발자들조차 이제는 가장 강력하고 잠재적으로 위험한 AI 시스템의 무분별한 개발 속도를 늦출 필요가 있음을 인정하고 있다. 이는 경쟁을 주도하는 기업들 스스로가 AI 역량이 이를 통제하는 데 필요한 안전장치보다 더 빠르게 발전하고 있음을 인정한 중대한 고백이다.

자발적 약속만으로는 충분하지 않다. 경고가 나올 때마다 기업들은 다시 개발 가속화로 돌아가고, 정부들은 향후 규제에 대한 논의만 이어가고 있다. 소수의 민간 기업이 대중이 감수해야 할 위험의 수준을 결정하도록 내버려 두어서는 안 된다.

피해는 이미 현실이다

전문가들은 고도화된 AI가 인류에게 실존적 위협이 될 수 있다고 경고한다. 하지만 AI는 이미 대규모 사기를 가능하게 하고, 감시 및 무기 체계를 가속화하며, 허위정보를 증폭시키고, 초급 일자리를 없애고, 권력과 부를 집중시키고 있다.

우리는 디지털 권리, 노동권, 기업 책임, 젠더 정의, 인종 정의, 교육, 환경 정의, 시민적 자유 등 다양한 분야에서 활동하고 있다. 우리는 이러한 피해를 꾸준히 기록해 왔고, AI 개발의 무모한 속도에 대해 경종을 울려 왔으며, 구속력 있는 규제를 요구해 왔다. 거대 기술 기업들은 실효성 있는 규제를 막기 위해 싸워 왔고, 그 결과 현재의 규제는 의약품, 항공, ‘논란이 되는 무기’ 등 심각한 인권 침해를 초래할 수 있는 다른 분야에 적용되는 기준에 한참 못 미치고 있다.

우리의 긴급 요구

긴급한 조치가 필요하다는 공감대가 대중 사이에서 커지고 있는 만큼, 우리는 다음을 요구한다.

1. 정부는 프론티어 AI 모델의 개발과 판매에 대해 즉각적인 전 세계적 모라토리엄을 시행하고, 구속력 있는 국제 협정을 위한 협상을 시작해야 한다.
2. AI 기업은 프론티어 AI 모델의 개발, 배포, 판매를 즉시 중단하고, 독립적인 규제 기관 및 평가 기관에 전적으로 협력해야 한다.
3. 투자자는 프론티어 AI에 대한 자금 지원을 중단하고, 관련 투자 노출 규모를 공개하며, 자신의 영향력을 활용해 투자 대상 기업들이 개발, 배포, 판매를 중단하도록 요구해야 한다.

모라토리엄은 다음 다섯 가지 조건이 충족될 때까지 유지되어야 한다.

1. 독립적인 감독 및 인증: 고도화된 모델과 자율형 모델은 출시 전에 국제적으로 합의된 안전 및 인권 기준에 따라 독립적인 평가를 받아야 한다. 규제 기관은 이를 평가하는 데 필요한 시스템과 정보에 접근할 수 있어야 한다. 인증에는 실효성 있는 억제(containment) 및 작동 중지(shutdown) 메커니즘이 포함되어야 한다.
2. 안전에 관한 투명성: 기업은 AI 개발 및 안전에 대한 지출 내역과 함께 중대한 사고, 확인된 위험, 실패한 테스트, 시정 조치를 공개해야 한다.
3. 의무적 인권 및 환경 실사: 기업은 AI 가치사슬 전반에 걸쳐 피해를 식별하고, 예방하고, 해결해야 한다. 이러한 의무는 기업과 경영진에 대한 민사적·형사적 책임으로 뒷받침되어야 한다.
4. 위험한 역량의 금지: 정부는 신뢰할 수 있는 방식으로 통제할 수 없는 역량을 지닌 시스템을 금지해야 하며, 여기에는 우리의 통제 능력을 앞지를 수 있는 재귀적 자기 개선(recursive self-improvement)이 포함된다.
5. 핵심 분야에 대한 엄격한 통제: 보건, 금융, 공공 서비스, 교육 등 고위험 분야와 이주 관리, 무기 및 감시 시스템에는 광범위한 영향 평가와 독립적인 감독 없이 AI를 배치해서는 안 된다.

행동을 미룰 수 없다

세계는 미국과 중국이 AI의 미래를 결정할 때까지 기다릴 수 없다. 각 지역의 정부들은 전 세계 노동자와 영향을 받는 공동체가 실질적인 의사결정 권한을 갖는 포용적인 국제 협정을 구축하기 위해 함께 노력해야 한다.

이와 동시에 국가 및 지역 차원의 규제도 신속하게 추진되어야 한다. 정부는 자국민을 보호해야 할 즉각적인 의무가 있으며, 국제 협상이 진행되는 동안에도 조치를 미룰 수 없다. 구속력 있는 안전장치가 마련될 때까지 프론티어 AI 개발은 중단되어야 한다.

Signatories

Organisations:

1. 7amleh – The Arab Center for the Advancement of Social Media
2. Action Group on Erosion, Technology and Concentration (ETC Group)
3. Africa Freedom of Information Centre (AFIC)
4. Asociación Ciudad Viva, Paraguay
5. Bangladesh NGOs Network for Radio and Communication (BNNRC)
6. BlueLink Foundation
7. Business and Human Rights Centre
8. Cairo Institute for Human Rights Studies
9. Campaign on Digital Ethics (CODE)
10. CCAOI
11. Centro Nacional de Comunicación Social (Cencos)
12. CITAD
13. Collaboration on International ICT Policy for East and Southern Africa (CIPESA)
14. Common Room Networks Foundation (Common Room)
15. Digital Empowerment Foundation
16. Digital Justice Network
17. Digital Rights Nepal
18. Empower
19. EngageMedia
20. Fantsuam
21. Fundación porCausa
22. Foundation for Media Alternatives
23. Globe International Center, Mongolia
24. GreenNet
25. Institute for Digital Rights
26. International Service for Human Rights
27. IT for Change
28. JCA-NET.
29. Jokkolabs Banjul
30. LaLibre Tecnologías Comunitarias
31. Latin American Campaign for the Right to Education (CLADE)
32. Media Matters for Democracy
33. Media Rights Agenda (MRA)
34. Migrant Workers’ Action
35. Mizzima Media
36. Myanmar Internet Project
37. Nexus Research Co-operative, Ireland
38. ONG Amaranta – Chile
39. Open MIC (Open Media and Information Companies Initiative)
40. Palestinian Center for Development and Media Freedoms (MADA)
41. Pangea.org
42. Paradigm Initiative (PIN)
43. PEN International
44. Pollicy
45. Public Citizen
46. Software Freedom Law Center India (SFLC.in)
47. SMEX
48. SOMO
49. Taller de Comunicacion Mujer
50. TEDIC – Paraguay
51. The Media Awareness and Justice Initiative
52. The Oversight Lab
53. Digital Action
54. Gambia Press Union (GPU)
55. Cartoonists Rights
56. Media Institute of Southern Africa (MISA)
57. Freedom Forum
58. Visualizing Impact
59. VOICE
60. Freedom of Expression Institute (FXI)
61. ASPBAE – Asia South Pacific Association for Basic and Adult Education

Individuals:

1. Richard Hill
2. Andrew Garton
3. Michel Lambert
4. Leandro Navarro
5. Soledad Luca de Tena
6. Tarek Al Ghorani

4.나아갈 길

인공지능은 현재 우리의 일상 곳곳에 스며들어 학습, 창조, 의사소통, 그리고 정부의 작동 방식을 바꾸고 있습니다. 이러한 모든 상호작용에는 물질적 비용이 수반되며 이는 소비되는 에너지 및 에너지 생산으로 인한 탄소, 물, 토지 발자국으로 나타납니다. UNU-INWEH의 이번 보고서는 인공지능의 환경 발자국이 단순히 우리가 이 시스템을 어떻게 쓰는지 그 사용량의 문제가 아니라 사용 방식 즉 작업 유형, 모델의 선택, 배치 그리고 사용자 관행에 따라 크게 달라진다는 점을 보여줍니다. 인공지능의 환경 발자국을 강조하는 이유는 기술 발전을 늦추려는 것이 아니라, 보다 나은 인공지능 시스템을 구축함과 동시에 자원을 현명하고 공정하게 사용하도록 혁신과 책무(stewardship)를 조화시키기 위함입니다.

본 보고서를 통해 밝힌 정량화된 발자국을 넘어선 영향들을 인식하는 것 또한 굉장히 중요합니다. 핵심 광물 채굴, 하드웨어의 수명과 내구성, 데이터 센터의 직접 냉각 방식과 같은 문제들은 환경적, 사회적으로 중대한 영향을 미치며 특히 비서구권(예: 희토류 채굴로 인한 오염)에 그 영향이 집중되어 있습니다. 본 보고서는 에너지와 관련된 물, 토지, 탄소 발자국에 초점을 맞추고 있지만, 정책과 실행은 이러한 광범위하고 상호연관된 물질적, 사회적, 정의적 차원 또한 고려하여 인공지능 공급망 전방에 걸쳐 환경적 책임과 지속가능성을 확보해야 합니다.

4.1 책임 있는 인공지능 생태계를 위한 기본 원칙들

지속가능한 인공지능 생태계는 시스템 구축, 배치 및 사용 방식을 결정하는 서로 상호 보완하는 여섯 가지 원칙에 달려있습니다.

1.투명성은 표준화 되고 비교 가능한 에너지 사용량 공개와 그로 인한 물, 토지, 탄소 발자국을 통해 그 영향을 가시화 합니다. 명확한 보고는 책임성 확보, 대중의 감시 및 정보에 기반한 선택을 가능하게 합니다.

2.설계 단계에서부터 효율성을 고려하면 에너지 및 기타 자원을 현명하게 사용할 수 있습니다. 여기에는 양자화(quantization)와 가지치기(pruning), 증류(distillation), 전문가 혼합(MoE, Mixture-of-Experts routing), 재사용 (reuse of compute) 그리고 가능한 경우 온디바이스 실행 등이 포함됩니다.

3.형평성과 정의는 전력망의 탄소 소비량, 물 소비량, 토지 소비량이 높은 지역이나 자원에 제한된 지역에서 살아가는 사람들이 인공지능 개발과 배치로 인해 불균형한 부담을 지지 않도록 보장합니다.

4.수명주기 책임(Lifecycle responsibility) 는 인공지능이 사용하는 모든 에너지 단위가 물, 토지, 탄소 배출에 영향을 미치며 하드웨어 생산과 광물의 조달 및 폐기 또한 환경에 영향을 준다는 것을 인식하는 것입니다. 이러한 책임은 재료부터 제조, 사용 그리고 수명 종료에 이르기까지 전 과정에 걸쳐 적용되어야 합니다.

5.국제적 협력은 방법론, 정보 공개 및 안전 장치를 조화시켜 이러한 효과가 분산되지 않고 공유되도록 합니다.

6.지속 가능한 사용은 환경에 미치는 영향이 적은 작업을 선택하거나, 더 작은 모델을 사용하거나, 적절한 경우 기존 검색 방식을 사용하는 것처럼 일상적인 결정이 책임감 있는 인공지능 사용의 핵심 요소임을 인정하는 것입니다.

이러한 원칙들은 함께 어우러져 토대를 제공합니다. 다음 단계는 이 원칙들을 측정, 설계, 관리 및 일상적 사용을 위한 구체적 실천 방안으로 전환하는 것입니다.

4.2 측정에서 실행으로

효율성과 현명한 이용은 그 영향이 누구에게 미치고 누가 이득을 보는지에 대한 공정성과 균형을 이루어야 합니다.

보이지 않는 것을 보이게 하세요. 인공지능 개발자와 서비스 제공업체는 표준화된 단위로 보고되는 학습 및 추론 과정의 에너지 및 환경 발자국에 대해 명확하고 표준화된 보고서를 공개해야 합니다. 보고 방식에서 모델, 작업 그리고 지역 전반에 걸쳐 일관성을 유지해야 결과를 검증하고 비교할 수 있습니다. 제공업체는 학습, 배치, 작업 수준 추론을 각각 분리하여 사용자와 정책 입안자로 하여금 어떤 워크로드가 가장 큰 영향을 미치는지 파악할 수 있도록 해야 합니다. 공개적인 투명성 대시보드는 모범 사례에 대한 합의를 촉진하고, 진행 상황에 대한 잘못된 이해를 가져올 수 있는 선택적 정보 공개를 방지하는 데 도움이 될 수 있습니다.

효율성을 고려한 설계 및 반동 관리. 양자화, 가지치기, 증류, 전문가 혼합과 같은 모델 측 개선을 통해 작업 당 에너지 소비를 크게 줄일 수 있습니다. 효율적인 가속기, 활용률이 높은 클러스터, 탄소 배출량을 고려한 라우팅과 같은 배포 방식 또한 낭비를 줄이는 데 큰 도움이 됩니다. 그러나 효율성만으로는 충분치 않습니다. 토큰, GPU 시(GPU-hours), 또는 킬로와트시 단위로 측정되는 리소스 예산을 설정하고, 총 수요가 절감 효과를 상쇄하지 않도록 성장 잠재율을 고려한 목표를 설정해야 합니다. 이는 해상도, 재생 시간, 프레임 수에 따라 에너지 소비가 급격히 증가하는 이미지 및 비디오 생성과 같은 고강도 워크로드에 특히 중요합니다. 낮은 해상도와 짧은 클립 길이 설정과 같은 효율적인 기본 설정은 대규모 환경에서 상당한 에너지 절감 효과를 가져올 수 있으며, 이는 사용자 인터페이스에 명확히 표시되어야 합니다. 고화질 이미지 및 비디오 생성 설정은 에너지 소비를 과도하게 증가시키므로, 효율성을 기본 설정으로 삼을 때에는 해상도, 프레임 수, 클립 길이 등에 대한 명확한 제한 사항과 정보 공개를 포함해야 합니다.

인공지능을 현명하게 활용하세요. 각 사용자, 조직, 기관은 작업에 맞는 도구를 선택해야 합니다. 모든 작업에 항상 거대한 생성형 모델이 필요한 것은 아닙니다. 다수의 일상적인 검색 작업에는 기존 검색 도구나 로컬 도구가 훨씬 효율적입니다. 경량 및 특정 작업에 특수화된 일부 모델들은 에너지 소비가 매우 적고, 거대한 범용 시스템보다 특정 작업에 있어 더 나은 성능을 보이는 경우가 많습니다. 생성형 모델을 기본적으로 사용하기보다는, 그것이 명확히 더 나을 때 사용해야 합니다. 검색, 요약, 실용적인 안내와 같은 대규모 작업에는 간결한 모드나, 검색 증강 설계가 가장 효과적입니다. 이 경우 약간의 정보 축소만으로도 시스템 전반에 걸쳐 상당한 비용 절감 효과를 가져올 수 있습니다.

지속가능한 실천은 간결한 안내 메시지와 출력, 관련 작업 일괄 처리, 이전 결과의 재사용, 불필요한 반복 방지 등이 포함됩니다. 이미지 및 비디오 생성과 같은 응용 프로그램에 있어서 서비스 제공업체는 눈에 잘 띄는 저전력 모드를 제공하고, 사용자의 선택으로 인해 에너지 소비량이 크게 증가할 경우 이를 사용자에게 알려야 합니다.

형평성을 고려하세요. 동일한 작업 부하라 할지라도 지역별 전력 공급 구성에 따라 환경에 미치는 영향은 매우 다를 수 있습니다. 보고서에는 지역별 추정치와 전 세계 평균 추정치를 모두 포함해 그 분배적 효과를 투명하게 공개해야 합니다. 국가 전략과 국제 협력에 있어서는 이 차이를 고려하여 자원이 부족한 지역 사회가 인공지능 인프라 확대로 인해 불균형한 영향을 받지 않도록 해야 합니다. 대규모 컴퓨팅 클러스터의 입지 선정 시에는 지역 사회, 특히 물 부족이나 전력망 부담이 우려되는 지역의 주민들과 의미 있는 (meaningful) 협의를 거쳐야 합니다.

4.3 역할과 책임

이러한 원칙들을 실질적 변화로 만들기 위해서는 인공지능 생태계 전반에 걸쳐 그 책임을 공유해야 하며, 인공지능 시스템의 설계, 관리, 자금 조달 및 사용에 관련된 각 주체가 명확한 역할을 수행해야 합니다.

개발자와 제공업체는 모델 설계, 배치 및 공개에 대한 직접적인 책임을 져야 합니다. 효율성은 아키텍쳐에 내재되어야 합니다. 효율적인 인프라 구축은 반드시 우선되어야 합니다. 사용량과 그것이 미치는 영향은 반드시 검증 및 공정한 비교가 가능한 형식으로 보고되어야 합니다. 간결한 모드, 토큰 제한, 일괄 처리, 저해상도 사전 설정과 같은 사용자 인터페이스 제어 기능을 통해 효율적인 작동을 기본값으로 설정해야 합니다. 수명 주기 지속가능성에는 윤리적으로 조달된 재료, 내구성 있는 하드웨어 설계, 책임 있는 전자 폐기물 관리 등이 포함되어야 합니다.

정부와 규제기관은 인공지능 관련 환경 정보 공개를 일상적 절차로 다뤄야 합니다. 표준에는 모델 수준 및 작업 수준의 환경 발자국을 명확하게 보고하도록 요구하는 내용이 포함되어야 합니다. 기후 및 에너지 계획에는 예상되는 인공지능 관련 수요를 반영해야 합니다. 조달 과정에서는 환경 발자국이 적은 도구와 인프라에 대한 인센티브를 제공해야 합니다. 입지 가이드라인과 인센티브는 데이터 센터가 물 부족 지역이나 탄소 배출량이 많은 지역에서 벗어나도록 유도하고 지역 사회와의 이익 공유를 장려해야 합니다.

국제기구 및 표준 제정 기구는 에너지 및 그로부터 파생되는 환경 발자국을 측정하고 보고하는 방법을 조화시켜야 합니다. 공유되는 표준은 선택적 정보 공개를 방지하고, 국경을 초월한 책임성을 확보하는 데 도움이 되어야 합니다. 국제 포럼은 비서구권 국가의 리더십 강화와 역량 구축을 지원하고 인공지능의 환경 거버넌스를 지속가능성 목표와 명확히 연계해야 합니다.

연구자와 대학은 인공지능 공급망 전체에 걸쳐 영향 평가를 확대하고, 작업 수준의 에너지 소비를 측정할 수 있는 개방적이고 검증 가능한 벤치마킹 도구를 개발해야 합니다. 학제 간 연구를 통해 환경 지표와 사회경제적 성과를 연계해야 합니다. 머신러닝, 시스템 엔지니어링, 환경 거버넌스를 결합한 교육 프로그램을 통해 지속가능한 인공지능 시스템을 구축하고 규제할 수 있는 인력을 양성해야 합니다.

시민사회, 비정부기구(NGO) 그리고 언론은 인공지능의 환경적 영향을 사람들에게 명확히 보여주는 데 핵심적인 역할을 해야 합니다. 이들은 공개된 정보를 추적하고, 환경 발자국을 접근 가능하기 쉬운 비교 자료로 제시하며, 데이터 센터 입지 선정, 물 사용, 핵심 광물 채굴 등으로 피해를 입은 지역 사회의 목소리를 증폭시켜야 합니다. 대중의 감시를 통해 책임성을 강화하고 환경 정의 (environmental justice)를 인공지능 거버넌스의 중심에 두어야 합니다.

사용자와 사용 기업은 인공지능이 환경에 미치는 일상적 영향을 인식해야 합니다. 이들은 필요에 맞춰 저에너지 옵션을 선택하고 실제 필요할 때에만 생성형 모델을 사용해야 합니다. 조직들은 에너지 또는 토큰에 대해 예산을 설정하고 간결한 사용을 장려하며 기본적으로 소규모 모델이나 온디바이스 모델을 사용하도록 해야 합니다. 조달 시에는 환경 발자국과 연관된 기준을 포함시켜야 합니다.

투자자와 금융기관은 실사(due diligence)과정에 환경 발자국을 포함시켜 지속가능한 인공지능으로의 전환을 가속화 해야 합니다. 효율적인 인프라에 자금을 지원하고 환경에 미치는 영향이 적은 제품과 서비스를 지원해야 합니다. 기업의 책무에는 정보 공개, 효율성 개선, 그리고 제품 수명 주기 전반에 걸친 책임 이행에 대한 기대가 포함되어야 합니다.

데이터 센터, 채굴 작업 및 기타 인공지능 관련 인프라로 인해 직접적인 환경 및 사회적 영향을 받는 지역사회를 논의 과정에 참여시켜야만 합니다. 지역 사회는 입지 선정 결정의 초기 단계부터 참여하고 투명한 정보를 제공 받으며 지역 재투자 등 혜택을 받아야 합니다. 이러한 조치와 책임은 실행을 위한 공동의 의제가 되어야 합니다.

4.4 원칙을 실천으로 옮기기

앞으로 나아가기 위해서는 표준, 정보 공개, 인센티브, 사용자 중심 설계, 반동 관리, 형평성과 협력의 조화로운 움직임이 필요합니다. 여기에는 에너지 생산과 소비로 인한 물, 토지 및 탄소 발자국 계산을 위한 공통적인 방법론, 의무적이고 비교 가능한 정보 공개, 설계 단계에서부터 환경에 미치는 영향이 적도록 장려하는 조달 지침, 효율적인 선택을 유도하는 사용자 인터페이스 그리고 반동 효과를 관리하는 자원 예산이 포함됩니다.

특히 원주민 공동체와 비서구권 공동체의 경우 투명한 보고, 포용적인 의사 결정 그리고 맞춤형 역량 강화를 통한 형평성이 최우선 과제로 남아 있어야 합니다.

4.5 결론

인공지능은 놀라운 잠재력을 갖고 있지만 그 잠재력을 책임감 있게 실현하기 위해서는 구조적 변화가 필수적입니다. 모든 상호작용은 한정된 자원을 소모하며 환경에 미치는 총체적 영향은 인공지능 시스템의 설계 방식, 사용 빈도 그리고 수행하는 작업에 따라 달라집니다. 진정한 발전은 하드웨어 및 모델 설계부터 배포, 거버넌스 그리고 공적인 활용에 이르기까지 모든 단계에서의 지속 가능성을 내제화 하는 것에 달려 있습니다. 투명성을 확보하고 효율성을 고려한 설계를 실천하며 사용자와 사용 기관으로써 현명한 선택을 하고 불균형한 부담을 직면하는 공동체를 보호하고 국경을 넘어 협력함으로써, 사회는 인공지능 분야의 발전과 더불어 서로의 돌봄의 질 또한 향상될 수 있도록 보장해야 합니다. 책임감 있는 인공지능은 지구 환경의 한계 내에서 역량과 관리가 함께 성장할 때 비로소 실현 가능합니다.

IV. 권고사항 (Recommendations)
A. 국가(States)

63. 국가는 공공행정에서 AI 사용을 규율하는 포괄적인 입법 및 규제 체계를 마련해야 한다. 이러한 체계에는 AI 도입 전과 도입 후 정기적으로 인권영향평가(Human Rights Impact Assessment)를 실시하도록 의무화하고, 알고리즘의 투명성과 설명가능성을 요구하며, 편향성·정확성·국제인권법 준수 여부를 감사할 수 있는 독립적 감독기구를 설치하고, AI 활용으로 인해 인권침해가 발생한 경우 효과적인 조사와 구제수단을 보장하는 내용이 포함되어야 한다.

64. 국가는 공공부문에 AI 시스템을 도입하는 결정 과정에서 의미 있는 공공 참여를 보장해야 한다. 이를 위해 시민사회, 기술 전문가 및 영향을 받는 공동체가 적극적으로 참여하는 투명한 협의 절차를 마련하여, 거버넌스 기술이 다양한 사회적 요구와 가치를 반영하도록 해야 한다.

65. 국가는 프라이버시권, 표현의 자유, 결사의 자유 침해를 방지하기 위해 AI 기반 감시 기술의 사용을 엄격히 규제해야 한다. 또한 모든 활용은 적법성(legality), 필요성(necessity), 비례성(proportionality)의 원칙을 준수해야 하며, 효과적이고 독립적인 사법적 감독을 받아야 한다.

66. 국가는 민주적 절차와 정보 생태계의 무결성을 보호해야 한다. 이를 위해 미디어 및 디지털 리터러시를 증진하고, 정치 광고의 투명성과 AI 생성 콘텐츠의 표시 의무를 요구하며, 인간성 증명(proof of humanity)을 위한 적절한 메커니즘을 검토하거나 허용하고, 정보 다양성을 지원해야 한다. 또한 허위정보(disinformation)에 대응하기 위한 조치가 표현의 자유와 적절한 균형을 유지하고 과도한 검열로 이어지지 않도록 해야 한다.

67. 국가는 사법 절차와 교정시설에서 AI를 활용하더라도 인간의 감독, 절차적 공정성 및 인간의 고유한 존엄성이 유지되도록 해야 한다. 자유를 제한하는 결정에 대해 자동화 시스템에만 의존하는 것을 금지하고, 구금시설에서는 의미 있는 인간적 접촉이 유지되도록 해야 한다.

68. 국가는 AI 기반 자동화가 초래하는 사회·경제적 영향을 선제적으로 대응해야 한다. 이를 위해 교육체계를 개편하고, 재교육(reskilling) 프로그램을 제공하며, 사회보장 체계를 강화하여 노동권을 보호하고 공정한 전환(just transition)을 보장해야 한다.

69. 국가는 데이터센터의 대규모 에너지 및 물 소비, 전자폐기물 발생 등을 포함한 AI 활용의 환경적 영향을 평가하고 완화해야 한다. 또한 AI 기반 거버넌스의 추구가 깨끗하고 건강하며 지속가능한 환경에 대한 권리를 침해하거나 환경 부담을 개발도상국에 전가하지 않도록 해야 한다.

B. 국제사회 (International community)

70. 국제사회는 AI의 포용적이고 공정한 글로벌 거버넌스를 보장해야 한다. 이를 위해 개발도상국과 글로벌 사우스(Global South) 대표들이 국제 표준 제정 과정에 실질적으로 참여하고 동등한 발언권을 가질 수 있도록 보장해야 한다. 또한 지역적 맥락을 반영하지 못하거나 디지털 의존성을 심화시키는 획일적 규제 체계의 강요를 방지해야 한다.

71. 국제사회는 모든 국가, 특히 저소득 국가가 효과적이고 맥락에 적합한 AI 거버넌스 체계를 개발·이행할 수 있도록 역량 강화(capacity-building), 기술 이전(technology transfer), 재정 지원을 제공해야 한다. 또한 디지털 프로젝트에 대한 국제개발원조는 강력한 인권보호 장치의 이행을 조건으로 해야 한다.

72. 국제사회는 새로운 디지털 기술과 인권에 미치는 영향을 모니터링하고 보호조치를 권고하기 위해, 특별보고관(Special Rapporteur) 또는 실무그룹(Working Group)과 같은 전담 유엔 메커니즘의 설립을 검토해야 한다. 또한 AI의 인권 영향과 관련하여 국가들이 구체적 의무를 부담하도록 하는 전용 국제규범 체계의 개발도 고려해야 한다.

C. 기업 (Business enterprises)

73. AI 시스템을 설계·개발·배포하는 기업은 AI의 전 생애주기(life cycle)에 걸쳐 인권을 존중해야 한다. 이를 위해 인권 실사(human rights due diligence)를 수행하고, 알고리즘 편향·차별·프라이버시 침해 위험을 평가하고 완화하며, 영향을 받는 공동체와 협의하고, 개인이 피해를 신고하고 구제를 받을 수 있도록 효과적인 고충처리 메커니즘(grievance mechanisms)을 구축하거나 참여해야 한다.

74. 기업은 포용적이고 공정한 AI를 촉진해야 한다. 이를 위해 인력 구성과 학습 데이터셋을 다양화하여 전 세계적 다양성을 반영하고, AI 도구가 다양한 사회적·문화적·지역적 맥락에 대응할 수 있도록 해야 하며, 역사적 편향을 고착화하거나 디지털 불평등을 심화시키는 관행을 지양해야 한다.

D. 모든 이해관계자 (All stakeholders)

75. 국가, 국제기구, 기업, 시민사회, 학계 및 영향을 받는 공동체를 포함한 모든 이해관계자는 인권을 보장하는 거버넌스 조치를 개발하기 위해 투명하고 포용적인 다중 이해관계자(multi-stakeholder) 절차를 통해 협력해야 한다. 이러한 협력은 AI의 사회적 영향을 독립적으로 모니터링하고, 접근 가능한 구제 절차를 마련하며, 알고리즘 영향평가 체계와 감사 기준과 같은 공통 도구를 활용함으로써 지원되어야 한다. 이를 통해 AI 거버넌스가 인권 중심적(human-rights-centred)이고 모든 사람의 필요와 인간 존엄성에 부합하도록 해야 한다.

76. 모든 이해관계자는 특히 개발도상국의 시민사회단체를 지원해야 한다. 이를 위해 재정 지원과 역량 강화 프로그램을 제공하여 공공의 AI 이해를 증진하고, AI의 영향을 감시하며, 신기술의 영향을 가장 크게 받는 사람들이 그 활용 방식의 결정 과정에 참여할 수 있도록 해야 한다.

성별 이분법적 분류를 강제하는 얼굴 인식 시스템과 폭력을 조장하는 인공지능 기반 허위 정보 캠페인까지, 인공지능시스템은 전세계 트랜스젠더 및 젠더 다양성 공동체에 대한 체계적 차별의 수단이 될 수 있습니다. 인공지능이 우리의 일상 생활과 의료, 고용, 안전, 사회 서비스 등의 제도적 의사결정과정에 빠르게 결합됨에 따라, 본 보고서(submission)는 국가, 기업 그리고 혐오세력과 같은 다양한 주체들의 인공지능 활용 방식이 젠더 기반 폭력과 트랜스젠더 및 젠더 다양성 공동체에 대한 차별을 증가시킬 위험이 있다는 것을 보여줍니다. 인공지능 시스템은 중립적인 도구가 되는 대신, 인간의 편견과 선입견을 강화해 사회적 편견을 기술적 차별로 전환시킬 수 있습니다. 이는 생체정보를 통한 감시, 데이터 알고리즘, 생성형 인공지능이 만들어 낸 글과 시각 자료들과 동일한 메커니즘으로 발생합니다. 아무런 개입이 없다면 인공지능은 트랜스젠더 및 젠더 다양성 공동체를 공격하는 무기로 계속해서 남아있을 것입니다. 이러한 개입은 트랜스젠더 및 젠더 다양성 공동체의 목소리와 경험들을 중심에 두고 인공지능 개발 과정에서 유효한 대표성을 의무화하고 차별적 관행에 대한 책임성 있는 메커니즘을 구축하며 디지털 공간에서 진정으로 존재할 권리가 인간 존엄성의 근간임을 인식해야 합니다.

1. 안티젠더 세력의 운동에서 인공지능까지 이어지는 차별의 디지털 파이프라인

GATE의 트랜스젠더 및 젠더 다양성과 광범위한 LGTBQI 운동에 대한 안티젠더 세력의 영향에 관한 글로벌 보고서(2023)에 따르면, 응답자들이 직면한 가장 일반적인 문제 중 하나가 안티젠더 세력이 디지털 플랫폼을 체계적으로 사용하여 (systemic use) 트랜스젠더와 젠더 다양성 공동체에 대한 허위정보를 유포하는 것이었습니다. 페이스북이나 트위터와 같은 소셜 미디어 플랫폼은 많은 경우 인공지능 도구를 사용하여 특정한 콘텐츠가 커뮤니티 가이드라인에 위배되는지 그 여부를 판단하는데, 이러한 플랫폼은 안티젠더 세력이 트랜스젠더 공동체를 겨냥하여 의도적으로 오해될 소지가 있는 정보를 유포하는 주요 수단이 되었습니다.

안티젠더 운동은 “가족 가치”, “아동 보호” 또는 “여성의 공간 보호”와 같은 담론을 트랜스젠더의 존재를 직접적으로 겨냥하는 수사적 무기로 활용해 광범위한 대중에게 영향을 미치고 취약 계층에 대한 폭력과 그 선동을 조장합니다. 소셜 미디어에는 커뮤니티 가이드라인이 존재하지만, 이러한 플랫폼들은 콘텐츠 중재 정책을 적절히 집행하지 못하는 경우가 많습니다. 활동가들이 안티젠더 세력의 허위 및 유해 게시물을 정기적으로 신고하지만 이는 자주 묵살되며 온라인 공간에 고스란히 남아 있습니다 (GATE, 2023, pp. 17-22).

결과적으로 트랜스젠더 및 젠더 다양성 공동체 응답자들이 꼽은 가장 큰 세 가지 영향은 다음과 같습니다. 1. 광범위한 번아웃으로 이어지는 트랜스젠더 활동가들의 심리적, 정신적 스트레스. 2. 안티젠더 담론에 영향을 받은 의사결정권자에게 접근하기가 어려워지며 그 결과 트랜스젠더 관련 프로그램들에 대한 자금 지원이 제한됨. 3. 이러한 요인들로 인해 트랜스젠더 및 젠더 다양성 공동체가 주도하는 조직들, 행사들 또는 의료 및 심리 지원과 법률 지원 같은 필수적 서비스가 일시 중단되거나 폐쇄됨 (GATE, 2023).

기관들이 커뮤니티 기준에 위배되는 소셜 미디어 게시물을 판별하거나 의료 서비스, 고용 기회 등 중대한 결정을 내리는 데 기계학습을 사용하는 인공지능 시스템에 점차 의존함에 따라 (Stanford Social Innovation Review [SSIR], 2021) 안티젠더 담론과 편향된 AI시스템 간의 연관성이 더 뚜렷해지고 있습니다.

유엔개발계획(UNDP) 보고서에서 경고하듯이, 논바이너리 및 다양한 성적 지향, 젠더 정체성, 젠더 표현과 특성 (SOGIESC)을 가진 사람들처럼 제대로 대표되지 못하는 성소수자들은 잘못 설계되고 배치된 인공지능 시스템으로 인해 심각한 피해를 입습니다 (UNDP, 2024, p. 16). 영국 정부의 ‘기술 매개 젠더 기반 폭력 보고서(TFGBV) (2023)’는 여성 언론인의 73%가 온라인 상의 폭력을 경험했으며 트랜스젠더들이 기술을 매개로 한 젠더 기반 폭력에 불균형적으로 직면하고 있다고 지적합니다. (UK Government, 2023)

1.1 얼굴 인식과 생체정보를 통한 감시

근본적인 문제는 인공지능 시스템이 인간의 선입견에서 비롯된 성별 이분법적인 가정을 고스란히 물려받는다는 점입니다. 성별 분류 시스템이 성별을 ‘남성’과 ‘여성’이라는 단순한 범주로 축소시키면, 인공지능이 젠더 유동성과 개인이 스스로 정의하는(또는 인식하는) 젠더 정체성을 반영할 수 있는 여지가 완전히 사라지게 됩니다 (SSIR, 2021). 포브스(2021)가 지적했듯 유동적인 젠더 정체성을 인식하지 못하는 프레임워크 속에서 존재하는 상용 데이터 스택에 의존하는 AI시스템은 퀴어에 대한 정의 자체가 불가능합니다. 이러한 구조적 결함은 AI시스템이 LGBTQI 구성원을 제대로 지원할 수 없으며 결과적으로 설계 단계부터 알고리즘에 의한 차별을 조장하는 셈입니다.

인공지능 시스템에서 트랜스젠더 정체성이 지워지는 것은 알고리즘적 배제를 넘어 트랜스젠더의 삶의 모든 측면에 영향을 미치는 현실 세계에서의 차별을 보여줍니다. McAra-Hunter(2024)는 고용과 신용 평가에 배치된 인공지능 시스템이 편향된 학습 데이터로 인해 퀴어 지원자를 의도치 않게 차별할 수 있다는 걸 보여주었습니다.

트랜스젠더들이 직면하는 인공지능 기반 차별의 핵심 사례 중 하나는 생체정보를 통한 인식 및 감시 시스템입니다. 이러한 시스템은 성별 이분법적 분류를 강제하고 능동적으로 성별을 통제해 트랜스젠더들에게 실질적인 피해를 입히고 있습니다. 젠더 셰이즈(Gender Shades) 연구에 따르면 얼굴 인식 기술은 시스젠더 여성의 경우 98.3%, 시스젠더 남성의 경우 97.6%의 정확도를 보였지만 트랜스젠더 남성은 38% 확률로 여성으로 잘못 분류되었습니다. 또한 에이젠더(agender), 젠더퀴어 또는 논바이너리 개인들은 100% 확률로 오인되었습니다(University of Colorado. 2019; Gender Shades, 2018)/

더 나아가 사기업들은 인공지능 기술을 활용해 트랜스젠더들이 기본적인 서비스와 사회 참여에서 배제될 위험을 가져오는 방식으로 기술을 배치하고 있습니다. 예를 들어 우버의 AI 인증 시스템은 트랜스젠더 운전자가 트랜지션 과정에서 외모가 변할 경우 반복적으로 계정을 정지시킵니다(CNBC, 2018). 공항 보안 시스템은 성별을 이분법적으로만 분류하여 성별의 다양성과 복잡성을 제대로 반영하지 못합니다 (Washington Post, 2021).

이러한 기술적 실패가 국가 신분 확인 시스템에 도입될 경우, 국가 차원의 차별 도구로 전락하여 트랜스젠더들이 기본적인 시민으로서의 인정 받거나 보호 받는 것을 불가능하게 만들 수도 있습니다.해당 기술은 이들의 현재 모습과 예전 신분증 사진을 일치시키지 못하는 경우가 잦아 오인, 배제, 나아가 추가적인 낙인 효과로 이어지기 때문에 이러한 악영향은 트랜스젠더 및 젠더 다양성을 지닌 사람들에게 특히 가중됩니다 (The Swaddle, 2021).

인도에서는 트랜스젠더 국가 포탈(National Portal for Transgender Persons)을 통해 트랜스젠더 개인을 위한 증명서와 신분증 발급을 시작했습니다. 그러나 2022년 보도(Scroll)에 따르면, 2011년 인구조사에서 파악된 인도의 트랜스젠더 인구가 약 50만명에 달하는 것에 비해 포탈의 신청자는 9,604명에 불과한 것으로 나타났습니다. 신청에는 최대 6개월이 걸릴 정도로 크게 지연되고 있으며 상당수가 반려되고 있습니다 (Bansal, 2022). 트랜스젠더의 신분증 발급과 관련된 해당 보도가 인공지능의 활용과 직접적인 연관이 있는 건 아니지만 주요한 문제점을 시사합니다. 정부 기관에서 신분증이나 사진을 증명사진을 검증하는 과정에서 얼굴인식 기술(FRT)시스템을 도입할 경우, 시간이 지나며 외모가 변하거나 과거 신분증 사진과 현재의 모습이 다를 수 있는 트랜스젠더 및 젠더 다양성을 지닌 사람들은 얼굴 특징에 대한 불일치로 인하여 오인되거나 배제될 위험이 매우 큽니다.

마찬가지로 2018년에 네팔에 도입된 디지털 생체인식 시스템인 NID(National Identity Card) 또한 배제적인 설계의 전형을 보여줍니다. 해당 시스템은 “남성”과 “여성”이라는 성별 이분법적인 외양과 복장 기준을 내세워 본질적으로 배제적이며, “기타(other)” 정체성을 가진 사람들에게는 아무런 명확한 기준도 제시하지 않습니다 (ILGA Asia, 2025, p. 6)

또한 얼굴인식 기술 연구와 그 적용의 윤리적인 측면에 있어 트랜스젠더 및 젠더 다양성을 지닌 사람들을 연구자와 기관이 어떻게 개념화해야 하는지에 대한 구체적 우려도 제기됩니다. 예를 들어 “성전환 진행 중”인 사람들을 식별하려는 호르몬 대체 요법 (HRT) 데이터베이스의 시도는 성별 전환이 복합적이고 지속적인 과정이라는 점을 간과하여 “전환 전(pre-)”,
“전환 후(post-transition)”라는 또 다른 층위의 성별 이분법적인 구분을 만들어냈습니다.

트랜스젠더에 대한 혐오 폭력 발생률이 높은 국가에서 얼굴인식 기술을 도입하는 것에도 심각한 우려가 있습니다. 브라질은 살해당하는 트랜스젠더의 비율이 가장 높은 국가로, 2020년에 41% 증가했습니다. 7,600만 건의 전 국가적 운전면허증을 관리하는 SERPRO 얼굴인식 시스템의 도입은 젠더에 따른 디지털 차별에 대한 우려를 가져왔습니다. 설문에 따르면 트랜스젠더 활동가의 90.5%는 얼굴인식 기술이 트랜스젠더 혐오적으로 작동한다고 대답했으며 95.2%는 시스템이 수치심을 유발, 76.2%는 사생활을 침해하고 위협하며 66.7%는 해당 시스템의 광범위한 사용에 반대하는 것으로 나타났습니다 (Privacy International, 2024).

얼굴인식과 생체정보는 국가 차원의 감시만 문제인 것이 아닙니다. LGBTQIA+ 개개인의 디지털 발자국 또한 감시와 프로파일링에 활용될 수있습니다. 민감한 개인정보의 유출이나 오용의 가능성을 높이고 괴롭힘, 폭력, 아웃팅과 같은 심각한 문제를 초래할 수도 있습니다. 예를 들어 미국의 클리어뷰 AI(Clearview AI) 사건은 규제되지 않은 얼굴인식 기술의 전세계적 파급 효과를 보여줬습니다. 클리어뷰 AI는 소셜미디어에서 수십억 개의 이미지를 수집하여 얼굴인식 검색 엔진을 구축했고, 나아가 얼굴 인식을 통해 약물 사용자인지, 홈리인지, 정신 질환이 있는지에 대한 여부를 판별하는 시스템에 대한 특허를 확보했습니다. 미국 시민자유연맹(ACLU)이 클리어뷰를 상대로 제기한 소송에서는 성노동자, 학대 피해자, 미등록 이민자 등 감시 기반 차별에 특히 취약한 사람들의 프라이버시 침해 문제가 부각되었습니다(ACLU, 2021).

인공지능은 트랜스젠더 및 젠더 다양성을 지닌 사람들을 사회적 공간에서 배제하기 위한 도구로 무기화(weaponized)되었습니다. 트랜스젠더 배제적인 최초의 레즈비언 어플리케이션 중 첫 번째였던 ‘Giggle for Girls‘는 2019년 샐 글로버에 의해 개발되었고 2022년 8월 총 2만 명의 회원을 유지한 채 운영을 중단했습니다. 이후 개발된 ‘L Community’ 앱은, ’성별 인식 소프트웨어‘를 사용하여 트랜스젠더 배제적인 ’여성 전용‘ 레즈비언 공간을 조성했으며 인식의 정확도가 99.89%라고 주장했습니다(Washington Blade, 2024; The Guardian, 2022).

이러한 사례들은 자동 성별 인식(AGR) 기술의 도입이 인간의 대부분의 상호작용에서 널리 보편화될 수 있다는 잠재적 위험성을 보여줍니다. 전 세계적으로 반(反)LGBTIQ+ 법안이 등장하고 편향된 인식 시스템이 도입됨에 따라, 기차역이나 화장실, 탈의실에 이르기까지 트랜스젠더가 공공장소에 존재할 수 없는 디스토피아적 현실이 눈앞에 펼쳐질 가능성이 있으며 이는 트랜스젠더 및 다양한 젠더 정체성을 지닌 사람들이 안전을 위협받고, 모욕감을 느끼며, (원치 않게 정체성이) 노출되는 상황을 야기할 수 있습니다(Cato Institute, 2021).

2. 트랜스젠더와 젠더 다양성 공동체를 대상으로 한 기술 매개 젠더 기반 폭력

인공지능을 정치적으로 무기화하는 것은 반(反)트랜스젠더 캠페인에서 새로운 국면을 열어 국가 기관과 정치적 움직임들이 차별적 관행을 조장하는 것에 정교한 기술을 사용

국가 기관과 특정 정치적 주체들은 정교한 기술을 이용해 차별적 행위를 조장함으로써 인공지능을 정치적으로 무기화하며 반(反)트랜스젠더 캠페인을 새롭게 펼치고 있습니다.

2024년 미국 선거에서는 트랜스젠더의 권리를 공격하는 전례 없는 인공지능 생성 허위 정보가 등장했습니다. 공화당 광고의 70%가 생성현 인공지능이 만들어낸 이미지와 딥페이크로 강화된 반(反)트랜스젠더 메시지를 포함했으며, 조작된 동영상과 합성된 “디트랜지셔너(성별 역전환자)”의 증언을 만들어냈습니다(PBS NewsHour, 2024). 최근 몰도바 선거 기간에는 유권자들에게 맞춤형 반(反)트랜스젠더 내러티브를 전달하는 데 러시아 챗봇이 사용되었으며, 특히 부모들에게 트랜스젠더 청소년에 대한 허위 정보를 제공하는 데 주된 목표가 있었습니다(Euronews, 2025).

우크라이나 LGBTI 컨소시엄 (LGBTI Consortium Ukraine) (2024) 은 인공지능 시스템이 러시아의 개입 없이도 이미 소외된 집단에 대한 편향성을 보여주고있지만, “프라우다(Pravda)” 네트워크가 이른바 ”LLM그루밍“ 기법을 사용해 360만 건의 반LGBTI 게시글들을 훈련 데이터 세트에 주입했다고 경고했습니다. 이처럼 인간이 아닌 인공지능을 대상으로 설계된 콘텐츠로 인해 챗봇 응답의 33%가 LGBTI 커뮤니티에 반하는 ’전통적인 가치들‘과 같은 러시아의 허위 정보를 포함하고 있는 것으로 나타났습니다.

미국에서 총기 난사 사건이 발생한 이후, 비극을 악용하여 트랜스젠더 구성원들을 극단적 총기 범죄자처럼 묘사하는 인공지능 생성 기반 허위 정보들은 가장 해로운 기술 활용 사례 중 하나입니다. 로이터(2023) 팩트체커는 총기 난사 및 폭력을 트렌스젠더 정체성과 연결시키려는 허위 정보가 널리 퍼져있음을 밝힌 바 있습니다. 이처럼 인공지능 기술을 통해 비극적인 사건을 조작하여 트랜스젠더를 폭력과 연관시키려는 것은 기술이 어떻게 도덕적 공황을 증폭시키는지 보여줍니다.

트랜스젠더에 대한 허위 정보를 유포하기 위한 인공지능의 무기화는 상호 연결된 다수의 메커니즘을 통해 작동하며, 각각의 메커니즘은 트랜스젠더의 삶과 권리를 위협하는 유해한 내러티브를 더욱 강화합니다.

저스트 테크(Just Tech, 2024)는 반(反)트랜스젠더 유사과학 연구가 성별 확정 치료(gender-affirming care)에 대한 검색 결과를 어떻게 장악하고 있는지 보고했으며, 특히 전환 치료를 옹호하는 반(反)LGBTQ+ 단체인 “미국 소아과학회(American College of Pediatricians)”의 자료가 그 검색 결과의 중심에 있음을 지적했습니다. 또한 카이저 가족 재단(Kaiser Family Foundation, 2024)은 치료를 후회하는지에 대한 조작된 통계와 의학적 개입에 대해 날조된 위험성을 포함해, 인공지능으로 강화된 정보 유포 네트워크를 통해 성별 확정 치료에 대한 수많은 허위 주장이 확산되고 있음을 확인했습니다.

또한 카스 보고서 (Cass Report, 2020년 영국 국민보건서비스NHS가 의뢰하고 소아과 전문의 Cass 박사가 주도해서 2024년 최종 발간된 보고서로, 영국 내 트랜스젠더 및 젠더 다양성 청소년들을 다뤘지만 여러 비판을 받음. 편집자 주) 에 수록된 젠더 비순응 청소년 이미지가, “학교 복도에 있는 논바이너리 청소년” 이라는 제목의 어도비 스톡 포토의 생성형 인공지능 이미지라는 것이 역-이미지 검색(reverse image search)을 통해 확인되면서 트랜스젠더 청소년이 실제로는 존재하지 않는다는 거짓된 시각적 내러티브를 만들어냈고 트랜스젠더 청소년의 의료 접근성에 제약을 가하는 영국의 정책에 영향을 미쳤습니다(PinkNews, 2024).

인공지능 생성 허위 정보의 또다른 주요 예시는 “트랜스베스티게이션(transvestigation)” 현상입니다. 이는 무기화된 인공지능 도구가 트랜스젠더 혐오 발언을 퍼뜨리는데 어떻게 악용되는지를 보여줍니다. 시스젠더 공인들이 사실은 트랜스젠더라는 허위 주장을 제기하기 위해 인공지능 도구들이 활용되어 왔습니다. 대표적 사례로 프랑스 영부인 브리짓 마크롱을 젊은 남성처럼 보이게 한 이미지가 있는데, 이는 인공지능으로 조작된 이미지였습니다(로이터, 2024). 미셸 오바마를 대상으로 한 유사한 캠페인에서도 조작된 사진들이 소셜 미디어 플랫폼에 퍼졌습니다(야후 뉴스, 2024). 이러한 공격들은 트랜스젠더라는 것 자체가 본질적으로 부정직하거나 수치스러운 것이라는 인식을 심어주려는 차별적 목적을 갖고 있음과 동시에 영향력 있는 여성들을 소외된 정체성과 거짓으로 결부시켜 폄훼하려는 시도입니다.

3. 젠더 포용적인 인공지능을 향한 길과 디지털 공간 거버넌스

본 보고서에 제시된 실제 예시들은 인공지능 시스템이 중립적인 기술이 아니며, 인간이 가정하고 있는 성별 이분법과 편견을 증폭시켜 트랜스젠더 및 젠더 다양성을 지닌 사람들에 대한 차별을 초래할 수 있음을 보여줍니다.

이같은 악순환을 끊으려면 젠더 다양성 공동체를 기술 개발에서 배제하는 구조적 불평등과 인공지능이 차별을 영구화시키려는 메커니즘 모두를 해결해야 합니다.

유엔개발계획(UNDP) 보고서(2024, 57-58p)는 생성형 인공지능 개발자에 대한 젠더 감수성 교육 부족을 주요 요인으로 지적했습니다. 개발자와 연구자 간 협력 부족, 인공지능 분야 종사자 중 여성과 트랜스젠더 및 젠더 다양성을 지닌 이들의 비율이 낮은 점 등이 복합적으로 작용하여 생성형 인공지능 모델은 설계 단계부터 다양성이 부족합니다. 디지털 배제를 경험하는 사람들이 학습 데이터셋에서도 배제될 경우, 인공지능 시스템은 주류 특권층에 최적화된 형태로 학습하게 되고 이미 차별을 맞닥뜨리고 있는 사람들을 더 소외시키게 됩니다.

인공지능의 기술적 오류와 생체인식 감시가 소외된 공동체에 미치는 악영향을 해결하려는 여러 시도들이 있었습니다. 예를 들어 유럽연합은 인공지능법(AI Act)를 통해 이러한 문제를 다루고 있는데, 해당 법은 성적 지향이나 성 정체성을 추론하는 생체인식 분류를 금지하고 트랜스젠더들이 인공지능 기술과의 상호작용에서 어려움을 겪는다는 것을 인정하고 있습니다(EU AI act, 2023).

권고사항

회원국들은:

• 인공지능 시스템이 인권 프레임워크에 부합하고 성 정체성 및 젠더 표현에 기반한 차별을 조장하지 않도록 보장하는 국제 및 국내 규범의 채택을 지지해야 합니다.
• 개인정보 보호, 차별 금지 원칙, 인권 실사 의무를 포함해 성적 지향, 젠더 정체성, 젠더 표현과 특성을 포괄하는 안전장치를 인공지능 거버넌스 프레임워크에 통합하는 것을 지원해야 합니다.
• 공공 행정, 법 집행, 사회 보장 서비스에 사용되는 모든 인공지능 시스템에 대해 인권 영향 평가를 의무화하고 특히 트랜스젠더 및 젠더 다양성을 지닌 사람들에게 미치는 영향을 명시적으로 평가해야 합니다.
• 소셜 미디어 기업들이 콘텐츠 조정/검열 시스템에 대한 정기적이고 독립적인 감사를 실시하여 인공지능 도구가 트랜스젠더 사용자를 시스템적으로 침묵시키거나 불이익을 주지 않도록 해야 합니다.
• 정치 광고에서의 투명성을 요구로 하는 규제 프레임워크를 개발하고, 소외 계층을 표적으로 삼는 인공지능 기반 허위 정보 또는 딥페이크의 사용을 금지시켜야 합니다.
• 트랜스젠더 단체가 주도하는 디지털 리터러시 및 허위 정보 대응 활동을 지원하여, 공동체의 구성원들이 인공지능이 생성한 허위 콘텐츠를 식별하고 이에 대응할 수 있는 도구를 갖출 수 있도록 지원합니다.
• 인공지능 거버넌스, 윤리 및 규제와 관련된 모든 의사 결정 과정에서 트랜스젠더의 대표자성을 보장해야 합니다.
• 트랜스젠더 단체들이 디지털 권리 옹호, 연구 및 정책 감시에 참여할 수 있도록 재정적이고 기술적인 지원을 제공해야 합니다.
• 특히 적대적인 법적 환경에서 트랜스젠더, 트랜스젠더 및 젠더 다양성을 지닌 개인들의 안전을 위해서는 필수적으로 온라인에서의 익명성과 개인정보 보호를 지원해야 합니다.

인공지능 기업들과 소셜 미디어 플랫폼들은 :

• 모든 인공지능 기반 신원 확인 및 검증 도구에 자신이 결정할 수 있는 성별 선택 및 논바이너리 옵션을 포함하고, 공공 및 민간 개발자들이 젠더 포용적인 데이터셋을 채택하여 성별 이분법적 가정을 강제하고 있는 학습 데이터를 사용하지 않도록 해야 합니다.
• 데이터 출처, 설계 과정, 젠더 정체성 및 젠더 표현과 관련된 오류율 공개를 포함해, 알고리즘 기반 의사 결정 과정의 투명성을 보장해야 합니다.

여성 차별과 관련된 실무 그룹들은 :

• 각국의 정부와 기술 기업들이 팩트체킹 네트워크 및 트랜스젠더 주도 단체와 협력하여 트랜스젠더 혐오와 관련된 허위 정보 유포 캠페인을 감시하고 이에 대응할 수 있도록 요구해야 합니다.
• 유엔 기구(유엔인권위, 유엔여성기구, 유네스코, 국제전기통신연합)가 인공지능과 젠더 다양성에 관한 공동 프레임워크를 채택하고 특히 트랜스젠더 및 젠더 다양성 보호를 강조하도록 요구해야 합니다.