PDF 다운로드

 [원문보기]

PDF로 보기

취지 및 배경

국가적 차원에서 AI(인공지능) 산업을 육성하고 사회 각 분야에 빠르게 배치하면서 이른바 인공지능 전환(AX)이 이루어지고 있습니다. 개인의 삶과 일터는 물론, 지역과 여러 사회영역에서 인공지능으로 인한 문제들이 본격적으로 드러나고 있습니다. 일자리 대체와 노동강도 강화, 개인정보에 대한 권리 침해, 학습데이터의 편향과 차별, 기후위기 가속화, 지역간 불균형 등 다양한 문제들이 발생하거나 기존의 사회 문제가 더욱 심화하는 양상입니다.

그럼에도 인공지능 국가정책은 육성과 진흥에 치우쳐 있습니다. 지난 1월 22일부터 시행된 인공지능기본법은 인공지능 산업 진흥에 무게중심을 두고 있을 뿐 AI기업과 사용자의 책임과 의무 부과는 미미합니다. 2월 25일 국가AI전략위원회에서 확정한 국가AI행동계획 역시 사회적 인프라로서 자리매김하고 있는 AI의 공공성과 책임성을 강화하는 정책보다는 기술강화와 성장이 주를 이룹니다.

AI가 더 이상 과학기술 영역에 국한되지 않고 전 사회에 영향을 끼치고 있는 만큼 AI 정책은 사람과 공동체, 사회에 어떤 영향을 미치는지를 중심에 두는 사회정책으로 전환되어야 합니다. 안전하고 통제가능한 인공지능이 되기 위한 기본전제로서 정책수립 전반에 걸쳐 성평등을 실현하고 환경과 기후위기 시대 지속가능성을 담보해야 합니다.

이러한 책무는 지방자치단체들에 동일하게 요구됩니다. 따라서 지역의 주요 일꾼을 뽑는 지방선거의 후보자들은 지역의 AI 현안에 대해 충분히 파악하고 구체적인 위험에 대한 대책, 투명한 행정과 주민들이 함께 하는 민주적 거버넌스 실현 등을 위한 명확한 청사진을 제시하여야 할 것입니다.

미래 세대의 교육 정책의 최고 책임자인 교육감 후보자들이 인공지능을 교육현장에 도입하는 것의 위험성, 막대한 전력과 물수급이 필요한 데이터센터 설립으로 인한 갈등, 지역 경제의 중심으로 역할해 온 대규모 자동차 공장과 조선소 등에 도입되거나 도입될 예정인 피지컬 인공지능이 노동권과 지역경제 등에 미치는 문제, 전국지자체를 하나로 통합할 수 있고 실제로 12·3계엄 당시 주민감시 도구로 활용되었던, 언제든 주민들의 일거수 일투족을 감시하는 수단이 될 수도 있는 스마트시티 시스템의 지능형 CCTV 문제 등에 대한 후보자의 인식을 확인하고 그 대안을 요구하는 것은 인공지능이 본격적으로 전사회에 형향을 끼치고 있는 지금 무엇보다 필요한 일입니다.

이번 6·3 지방선거의 후보자들에게 주민들의 생활과 직결된 현안으로 부상한 AI 관련 의제에 대해 질의하여 후보자들의 현안 파악과 문제 인식 정도 및 그 해결방안에 대한 구체적 입장을 확인하는 일은 유권자들의 가장 기본적인 권리입니다. 이에 ▲AI 교육 정책, ▲데이터센터 설치, ▲피지컬AI와 지역 경제, ▲스마트형 CCTV 운용 등 인공지능 관련 4가지 분야에 대해 공개 질의하고 후보자별 그 답변을 토대로 유권자들이 지역 일꾼을 뽑는데 참고할 뿐 아니라 앞으로 지자체 단위의 인공지능 관련 행정이 사람과 공동체를 중심에 두는 사회정책이 될 수 있도록 요청하고자 합니다.

 

교육 분야 AI 도입 관련 질의

지역의 구체적인 교육 방향을 설계하고 이를 실현하기 위한 정책의 최고 책임자인 교육감은 AI시대를 맞아 교육분야의 AI 정책에 대한 구체적인 비전을 제시하여야 합니다. 이에 전국 16개 시·도 교육감 후보에게 아래와 같이 질의합니다.

1.교육 현장 AI 도입의 문제

• 배경/취지

• 지난 2026년 2월 25일 확정된 국가 AI행동계획에 따르면, 초·중·고 공교육 체제를 혁신하여 전 학년에 걸친 연속적인 디지털·AI 교육을 교과·수업·학교 운영 전반에 체계적으로 안착시키겠다고 합니다. 그러나 공교육은 인간의 존엄과 가치 실현이라는 관점에서 모든 국민에게 자신이 가진  잠재력을 발휘할 수 있도록 평등한 기회를 보장하고 실현하는 과정입니다. 초·중·고교 공교육 시스템을 혁신하는 방향이 AI 핵심인재를 확충하는 생태계를 구현하는 방향으로 공교육 시스템이 개편되어야 한다는 발상은 위험해 보입니다.
• AI를 교육현장에서 사용하는 것이 실제 학생들에게 이로운 영향을 주는지, 오히려 정신 건강이나 지적 역량 강화에 부정적인 영향을 미치는 것은 아닌지, 또는 교육 현장에서 올바로 사용하기 위한 방법은 무엇인지에 대해서는 아직 아무것도 제대로 정립되어 있지 않은 상황입니다. 따라서 무조건 학교 내에서 AI에 대한 교육을 강화할 것이 아니라, 학생들에게 미치는 영향에 대한 연구를 기반으로 신중하게 접근할 필요가 있습니다. 학교 현장에 AI를 도입하는 것에 앞서 교육 3주체-학생, 교사, 학부모-간의 충분한 토론과 합의가 우선되어야 할 것입니다.

• 질의1 : AI 핵심 인재 양성을 위해 공교육 체제를 혁신하겠다는 국가 교육정책에 대해 후보자의 입장은 무엇입니까? 공교육 체계 혁신에 있어 핵심은 무엇이라고 생각합니까?

 

2.AI 리터러시(문해력) 교육의 내용

• 배경/취지

• AI 시스템의 불투명성은 근본적인 한계를 가지며, AI 시스템의 설명가능성, 해석가능성 등에 대한 연구가 진행되고 있지만 아직 미진한 상황입니다. 무엇보다 발달단계에 있는 초중고 과정에서 AI에 과의존하는 경우 인지능력 발달, 사회관계 형성 등에 부정적 영향을 줄 수 있다는 연구도 나오고 있습니다. 특히 학교 현장에서 리터러시 교육의 중요성이 강조되고 있습니다.
• AI 리터러시 교육이란 AI의 편향성, 프라이버시 침해 등 인권에 미치는 영향 등을 적확하게 인식하고 주체적이고 비판적 사고를 할 수 있는 종합적 역량을 기르는 것으로 AI 활용 교육과는 차별화됩니다. 이는 단순히 ‘AI 윤리’가 아니라 AI 시대의 시민의 권리는 무엇이고, 누가 책임 주체이며, 권리가 침해되었을 때 어떻게 구제받을 수 있는가를 중심으로 교육하는 것을 의미합니다.

• 질의2 : 학교에서 AI 리터러시 교육이 필요하다는 주장에 대한 후보의 입장은 무엇입니까? AI 리터러시 교육을 실시하기 위한 방안과 이행계획이 있다면 밝혀 주십시오.

 

3.AI와 학생들의 학습권과 정보인권

• 배경/취지

• 지난 2025년 1월, 윤석열 정부가 강행하려던 AI 디지털교과서의 지위를 교과서가 아닌 교육자료로 하는 초∙중등교육법 개정안은 부결되었지만, AI 디지털교과서는 교육 현장에서 이미 상당히 활용되고 있는 실정입니다. 반면 스웨덴 정부에서는 문해력 저하 등의 문제로 AI 디지털교과서 도입을 중단하는 조치를 취한 바 있으며, 프랑스, 네덜란드, 핀란드, 이탈리아 등 여러 유럽국가에서는 디지털기기가 학생들의 집중력과 학습능력에 부정적인 영향을 끼치는 것을 방지하기 위하여, 초등학생들의 스마트폰이나 태블릿 사용을 금지하는 추세입니다. 무엇보다 AI 디지털교과서의 효과가 검증되지 않았다는 점이 가장 우려스러운 부분입니다.
• AI 디지털교과서가 도입됨으로써 침해되는 학생들의 정보인권 문제도 매우 우려스럽습니다. AI를 교육과 평가에 활용할 경우, 학생들의 학습 이력이 모두 데이터화되고 축적되어, 방대한 학생 데이터를 기반으로 한 프로파일링이 가능해지는데, 이 경우 학생들은 수업시간이 아니라도 언제 자신이 과제를 수행했고, 학업 역량은 어떠한지 언제든지 모니터링되는 상황에 놓이며, 이에 학생 개인정보의 침해 및 감시 위험이 높아집니다. 또한 서비스 개발에 참여한 민간 에듀테크 업체의 AI 학습 목적으로 남용될 수도 있습니다.
• 국가AI행동계획은 AI를 활용해 서·논술형 평가를 하겠다는 계획을 포함하고 있습니다. 그러나 AI의 편향성 문제 때문에 특정 배경을 가진 학생 또는 특정한 서술 방식에 유/불리한 결과가 도출될 수 있으며, 불투명성에 의해 제대로 평가 결과를 설명할 수 없는 경우 많은 논란이 발생할 우려가 있습니다. 따라서 시행 전에 이러한 논란이 발생할 우려가 없을지 철저한 검증이 필요합니다.

• 질의3 : AI 디지털교과서 활용이 학생들의 학습권에 긍정적 영향, 또는 부정적 영향을 미칠 것이라고 예상합니까? 그렇게 판단한 근거를 밝혀주십시오.
• 질의4 : AI 디지털교과서 활용이 학생들의 정보인권을 침해한다는 비판에 대해 후보자의 입장은 무엇입니까? 그렇게 판단한 근거를 밝혀주십시오.
• 질의5 : AI 디지털교과서의 지위가 ‘교육자료’로 격하되었음에도, 교육부가 막대한 예산을 들여 AIDT 플랫폼을 유지하는 것에 대한 후보자의 입장은 무엇입니까?
• 질의6 : AI를 활용한 서·논술형 평가에 찬성 또는 반대합니까? 그렇게 판단한 근거를 밝혀주십시오.

 

4.교육청 자체 AI·에듀테크 플랫폼 운용

• 배경/취지

• 현재 전국 17개 시·도 교육청은 디지털 교육 전환이라는 미명 하에 자체적인 스마트기기 보급 사업 및 AI 기반 교수학습 플랫폼(코스웨어)을 막대한 예산을 투입하여 독자적 혹은 공동으로 구축·운용하고 있습니다. 그러나 이러한 교육청 자체 플랫폼들은 교육 현장의 실제 구성원인 학생, 교사, 학부모와의 충분한 사회적 합의나 실효성 검증 없이 하향식(Top-down)으로 급격하게 도입되었다는 비판을 받고 있습니다. 더욱이 대다수 플랫폼이 민간 에듀테크 기업의 기술과 인프라에 의존하고 있어 공교육의 민간 종속 우려가 커지고 있으며, 플랫폼의 유지·보수 및 고도화에 지속적으로 수백억 원의 지방교육재정교부금이 투입되어 재정 부담을 가중시키고 있습니다.
• 무엇보다 심각한 것은 학생들의 일상적인 학습 이력, 행동 패턴, 심지어 개인 성향까지 데이터화되어 시스템에 축적되고 있다는 점입니다. 이는 학생들을 상시적인 모니터링과 프로파일링 위험에 노출시키며 정보인권을 침해할 소지가 다분합니다. 플랫폼 내 축적된 방대한 교육 데이터가 어떠한 보안 기준과 민주적 통제 절차를 거쳐 관리되고 있는지, 교육적 목적으로 사용된다고 하더라도 법적 근거없이 남용될 여지는 없는지 명확히 검증되지 않았습니다.
• 따라서 각 지자체 교육 행정의 수장이 될 교육감 후보는 예산 낭비를 막고 교육의 공공성을 지키기 위해 해당 플랫폼 사업의 타당성을 재검토해야 하며, 학생들의 민감한 데이터가 안전하게 보호될 수 있는 철저한 관리 시스템을 제시해야 합니다.

• 질의7 : 현재 관할 교육청에서 시행 중인 자체 AI 교수학습 플랫폼(에듀테크 코스웨어) 및 스마트기기 보급 사업을 평가해주십시오. 평가를 기반으로 한 이후 계획은 무엇입니까? 아울러 해당 사업의 방향성을 결정하는 과정에서 학생, 학부모, 교사 및 지역 사회의 의견을 수렴하기 위해 어떤 구체적인 민주적 절차와 공론화 과정을 거칠 것인지 밝혀 주십시오.
• 질의8 : 교육청 제공 플랫폼에 축적되는 학생들의 방대한 학습 데이터와 개인정보를 보호하고 상시 감시 및 프로파일링 위험을 방지하기 위한 관리 감독 대책은 마련되어 있습니까? (정보보호 절차, 상설 통제기구(단위) 마련 계획 및 관리감독 대책 전반에 대해 답변해 주십시오.

 

질의서 수신 대상	16개 시·도 교육감 후보
문의	참여연대 공익법센터 (이지은 간사 02-723-0666)

 

AI데이터센터 설립 관련 질의

AI 산업은 데이터센터 설립을 필연적으로 동반합니다. 그러나 데이터센터가 미칠 환경적·사회적 영향에 대한 지역 내 합의, 사회적 합의가 부족한 상황입니다. 데이터센터 유치 공약이 아닌 데이터센터가 지역사회에 미칠 영향에 대한 대책이 제시되어야 합니다. 이에 데이터센터 예정지 중 1GW 이상의 초대형 AI데이터센터 사업 계획을 밝힌 전남광주통합특별시, 울산광역시, 경상남도 등 4곳 후보에게 아래와 같이 질의합니다.

 

1.데이터센터 유치 경쟁과 지역 전력·환경 부담 전가 문제

• 배경/취지

• 최근 정부와 지방자치단체는 AI 산업 육성을 명분으로 대규모 데이터센터 유치 경쟁에 나서고 있습니다. 그러나 AI 데이터센터는 단순한 디지털 산업시설이 아니라 막대한 ‘ 물, 토지와 송배전 인프라를 소비하는 초대형 개발사업입니다. 그럼에도 현재 정책은 주민 삶과 지역 생태계에 미치는 영향보다 투자 유치와 속도전에만 몰두하고 있습니다. 특히 전력망 부담과 환경 비용은 지역 주민과 시민들에게 떠넘기면서도, 실제 이익은 소수 기업에 집중되는 구조라는 비판이 커지고 있습니다.

• 질의1 : 후보자는 AI 데이터센터 유치 과정에서 주민 의견수렴과 환경·전력 영향 검토를 의무화해야 한다는 주장에 찬성합니까? 또한 해당 사업이 지역사회에 과도한 전력·환경 부담을 초래한다고 판단될 경우 사업 추진을 중단하거나 재검토할 의향이 있으십니까?

 

2.산업 육성 명분 아래 반복되는 지역 불평등 문제

• 배경/취지

• 정부와 지방자치단체는 AI 산업을 지역경제 활성화의 해법처럼 홍보하고 있지만, 실제로는 수도권과 대기업 중심으로 이익이 집중되고 지역은 전력·용수·토지·환경 부담만 떠안는 구조가 반복될 가능성이 큽니다. 특히 ‘지역균형발전’이라는 이름 아래 주민 동의와 공공 환원 장치 없이 데이터센터와 AI 인프라를 유치하는 것은 지역 발전이 아니라 새로운 형태의 지역 착취라는 비판도 제기되고 있습니다.

• 질의2 : 후보자는 AI 산업 및 데이터센터 유치 과정에서 지역 주민 참여와 이익공유 절차를 의무화해야 한다는 주장에 찬성합니까? 또한 지역사회에 부담만 집중되고 실질적 지역 환원 효과가 부족하다고 판단될 경우 관련 사업을 재검토할 의향이 있으십니까?

 

3.데이터센터 확대에 따른 전기요금·전력망 부담 문제 

• 배경/취지

• AI 데이터센터는 막대한 전력을 상시 소비하는 대표적인 전력다소비 산업입니다. 그러나 현재 정부와 지방자치단체는 데이터센터 확대에 필요한 송전망 건설과 전력망 보강 비용, 추가 발전설비 부담이 결국 시민들의 전기요금과 지역 갈등으로 이어질 수 있다는 점을 제대로 설명하지 않고 있습니다. 특히 데이터센터에 대한 각종 전력 특례와 직접 전력공급 허용은 전력시장 왜곡과 화석연료 의존 확대를 초래할 수 있다는 우려도 커지고 있습니다.

• 질의3 : 후보자는 AI 데이터센터 확대 과정에서 발생하는 전력망 보강 비용과 에너지 부담에 대한 정보를 시민에게 공개하고 사회적 검증 절차를 마련할 의향이 있으십니까? 또한 시민 부담 증가와 지역 전력망 불안정 문제가 확인될 경우 데이터센터 확대 정책을 재검토할 의향이 있으십니까?

 

질의서 수신 대상	전남광주통합특별시장, 울산광역시장 후보, 구미시장, 포항시장
문의	녹색연합 (최규석 사무처장 02-747-8500)

피지컬AI와 지역 경제 관련 질의

AI는 시민의 삶 중에서도 일자리에 큰 영향을 미치고 있습니다. 현대자동차 국내 공장에 도입 예정인 ‘아틀라스’는 현대차 노동자들뿐만 아니라 한국 사회에 큰 충격을 주었습니다. 피지컬AI은 노동자와 산업계에 양날의 칼이 될 것입니다. 특히 현대차 공장이 위치한 울산은 자동차 산업 의존도가 높은 울산 지역 경제에 큰 도전이 될 것입니다. 이에 울산시장 후보에게 아래와 같이 질의합니다.

 

1.피지컬AI 도입과 노동자 보호

• 배경/취지

• 최근 제조업과 물류 산업 등의 영역에서 피지컬AI 도입 논의가 일고 있습니다. 또한 정부 일각에서는 제조 암묵지 AI 개발 연구도 진행시키려 하고 있습니다. 피지컬AI의 도입과 관련하여, 근로자참여 및 협력증진에 관한 법률은 신기술 도입 등에 있어서 노동자와의 협의를 의무화하고 있으며, 단체협약 등의 신기술 도입 관련 노조 합의 조항은 노조법으로 보장됩니다. 또한 개인정보보호법은 개인정보 수집에 있어서 “정보주체의 동의”를 반드시 구하게 하고 있으며, “목적에 필요한 최소한의 개인정보”로 한정하고, 동의하지 않은 정보주체에게 불이익을 줄 수 없도록 하고 있습니다.

• 질의1 : 노동자의 노동조건과 고용에 영향을 줄 수 있는 피지컬AI의 도입과 사용은 반드시 노동자와 협의하고 개별 및 집단적 동의를 구해야 한다는 주장에 찬성합니까? 이에 대한 후보의 입장은 무엇이며, 노동자 보호를 위하여 지자체 및 지방의회 차원에서 노동자 권익 보호를 위한 어떤 대책을 갖고 있습니까?
• 질의2 : 노동조합이 있는 경우 노조와 협의 및 합의가 필요하지만, 노조가 없는 대다수 사업장의 경우 사용자의 일방적인 전횡을 막기 위한 대책이 필요합니다. 지역 산업단지 및 지자체 차원의 미조직 노동자 보호를 위한 대책, 그리고 산업단지 또는 지역 차원에서 피지컬AI 도입과 사용 관련 거버넌스를 구성하고 노동자를 참여시키기 위한 대책이 있는지요?

 

2.피지컬 AI와 일자리 확보

• 배경/취지

• 피지컬AI의 도입과 사용이 일자리를 감소시킬 수 있다는 연구 결과들이 제출되고 있습니다. 피지컬AI의 도입은 제조업은 물론 물류, 서비스 등 산업 전반에서 일자리를 감소시킬 수 있으며, 새로 창출되는 일자리 역시 기존의 양질의 일자리보다는 불안정하고 저임금인 일자리로 대체될 가능성이 높습니다. 새로 창출되는 일자리가 저임금의 불안정한 일자리가 되지 않도록 하기 위한 지역 차원의 대책도 필요합니다. AI 도입과 일자리에 주는 영향 관련 지역 및 지역 업종 차원의 사회적 논의가 필요합니다. 피지컬AI 도입과 사용으로 인해 예상될 수 있는 기업의 이익 확대는 사실상 정부 및 공공부문의 지원, 광범위한 노동자 데이터 활용 등에 기반하고 있습니다. 이러한 이익 공유를 위한 대책이 필요합니다.

• 질의1 : 피지컬AI 도입과 사용에 따라 예상되는 일자리 감소에 대한 후보의 공약은 무엇입니까?
• 질의2 : 피지컬AI 도입과 사용으로 인해 예상되는 기업의 이익의 공유와 사회화에 대한 사회적 논의가 필요합니다. 로봇세 도입을 비롯하여, 데이터세 부과, 정의로운 전환 기금 출연, 초과이익에 대한 사회적 환수, 지역 이익 공유제 등이 논의되고 있습니다. 이에 대한 후보의 입장은 무엇입니까?

 

질의서 수신 대상	울산시장 후보
문의	민주노총 (김석 정책국장 02-2670-9112)

 

스마트형 CCTV 운용 관련 질의

공공장소 곳곳에 범죄예방, 교통 모니터링 등을 이유로 CCTV가 설치되어 있습니다. 최근에는 AI 기술이 탑재된 스마트형 CCTV가 운영되며 주민들의 일상이 모니터되고 있는 실정입니다. 그러나 생체정보 등 민감정보 수집에 대한 위험성은 주민들에게 제대로 알려져 있지 않은 실정입니다.

1.공공장소 실시간 생체인식 CCTV의 금지

• 배경/취지

• 많은 지방자치단체 CCTV에 얼굴인식, 음성인식, 동작인식 등 지능형 인공지능 기능이 적용되면서 갈수록 스마트화하고 있으며, 시범 사업이나 실종자 수색을 이유로 부분적으로 도입되기 시작하였으나 최근 일반적인 용의자 식별 기능을 확장하고 있습니다.
• 그러나 주민들은 일상생활을 영위하는 공공장소에서 실시간으로 자신의 민감한 생체인식에 기반한 식별과 추적이 이루어질 가능성에 대하여 충분한 정보를 제공받고 있지 못하며, 이러한 생체인식 기술의 사용이 충분한 법적 근거를 갖추고 있다고 보기도 어렵습니다. 특히 공공장소에서 실시간 생체인식은 일반적인 행동의 자유, 집회시위의 자유 등을 위축시킬 위험성으로 인하여 우리나라 국가인권위원회와 유엔인권최고대표는 그 사용을 유예할 것을 권고한 바 있으며, 유럽연합에서는 원칙적으로 금지하고 있습니다.
• 뿐만아니라 감사원이 2024년 실시한 실지감사 결과보고서 따르면 공공부문이 사용 중인 인공지능의 가장 많은 부분을 차지하는 지능형CCTV는 2024년 현재 228개가 운영 중이나 객체(사람, 사물)의 행동 패턴을 분석해 배회, 침입, 싸움, 방화 등의 위험징후를 자동 감지하는 지능형CCTV의 탐지정확도가 낮아 오류가 많다는 점이 지적되었습니다.

• 질의1 : 후보자는 지방자치단체 CCTV 운영에 있어 주민의 인권에 중대하게 영향을 미치게 될 공공장소 실시간 생체인식 기능을 금지할 계획이 있으십니까?

 

2.스마트도시시스템의 민주적 통제

• 배경/취지

• 2024. 12. 3. 계엄 전후, 전국 군부대가 지방자치단체 “스마트도시시스템”을 통해 CCTV에 대한 무제한 조회권한을 가지고 국회, 선거관리위원회, 방송사 주변 도로를 감시한 사실이 알려졌습니다. 지방자치단체는 이 과정에서 아무런 통제권을 행사하지 못했으며, 지금까지 군의 무제한 조회권한은 여전히 회수되지 않고 있습니다(한겨레 2026. 1. 15. 보도. “군, 계엄 직후 지자체 CCTV로 국회·방송사 살폈다”).
• 군뿐 아니라 경찰 등 타 국가기관의 경우에도 지방자치단체와 협약을 이유로 무제한 조회권한을 요구하고 부여받는 등 스마트도시시스템이 매우 방만하게 운영되고 있습니다. 이러한 방식으로 운영되는 지방자치단체 스마트도시시스템과 이를 통한 국가기관의 CCTV 감시는 적법하고 민주적으로 통제되고 있다고 보기 어려우며, 시민이 군과 경찰을 비롯한 국가기관에 의해 일상적으로 감시될 수 있는 상태가 방치되어 있습니다.

• 질의1 : 후보자는 지방자치단체 스마트도시시스템을 군과 경찰 등 타 국가기관이 조회하고자 요청하였을 때, 무제한 조회권한을 부여하였던 관행을 폐기하고, 개별적인 공문 수령과 제공 목적에 대한 심의 등 제공 요건과 절차를 엄격하게 개선하고 통제할 계획이 있으십니까?

 

질의서 수신 대상	16개 광역단체장 후보
문의	정보인권연구소 (장여경 상임이사 02-701-7687)

 

국방인공지능법 제정안에 대한 AI시민행동 입법의견서 주요 개선방향

1. 국가안보 중심에서 책임성 중심으로 목적 조항의 방향 전환 

• 제1조 목적 조항은 ‘국방분야에서의 인공지능 기술 개발 및 활용에 관한 기본원칙을 수립하고, 실질적이고 책임있는 인간 통제와 국제법 준수를 보장함으로써 인공지능 기반 무기체계의 안전성·책임성·투명성을 확보하고, 민간인 보호와 인권 존중에 부합하는 책임있는 국방인공지능 활용 체계를 확립하는 데 이바지한다’로 수정해야 함.
• 한국이 2024년 REAIM 정상회의와 유엔총회 결의안에서 약속한 바를 국내법적으로 이행할 수 있도록 ▷국제인도법 및 국제인권법 준수, ▷제네바협약추가의정서 제36조에 따른 무기검토 의무, ▷민간인 보호 등은 ‘국방인공지능 개발과 활용의 원칙’으로 별도의 조문으로 명문화해야 함.

2. ‘자율성’, ‘인간통제’ 등 핵심 개념 정의 조항 추가

• 제2조 정의에서 국방인공지능 규범 논의의 핵심 개념인 ‘자율성(autonomy)’, ‘인간통제(human control)’, ‘AI기반 무기체계(AI-enabled weapon system)’ 등에 대해 별도로 정의해야 함. 또한, 이 법안에서 강조하는 ‘안전성’, ‘신뢰성’, ‘책임성’은 무엇인지에 구체적인 설명이 있어야 함.
• 인공지능기본법을 준용하여 국방인공지능 사업자 및 이용자의 책무와 영향받는 자 권리 구제를 위해 국방인공지능사업자, 이용자, 영향받는자의 정의를 규정할 필요가 있음.

3. 모호한 ‘인적 개입’ 개념을 구체화하고 살상결정 위임 불허 원칙도 명시

• 제3조 기본방향에서 첫째, 국제인도법(IHL) 및 국제인권법을 준수하여야 한다는 원칙, 둘째 국방인공지능의 개발 및 이용의 전 주기에서 안전성ㆍ신뢰성ㆍ책임성을 확보하고, 영향받는 자의 설명요구권과 인적개입 요구권을 보장해야 한다는 원칙을 명문화 해야 함. 셋째 ‘인적개입’이라는 모호한 표현을 ‘맥락에 적합한 인간의 책임있는 판단과 통제’ 등으로 대체하고, 인간 통제의 구체적인 구성요소를 법률에 명문화해야 함. 또한, 인간에 대한 살상 결정을 기계에 위임하지 않는다는 원칙이 명시되어야 함.

4. 국방인공지능위원회의 독립성과 민주적 통제 제도화 

• 위원회 구성은 군, 정부 중심 구조에서 벗어나 시민사회와 외부 전문가, 관계 중앙행정기관 등의 참여를 확대하고, 외부 위원이 전체 위원의 3분의 1 이상이 되도록 함.
• 위원회 기능은 단순한 정책 심의 수준을 넘어 국방인공지능의 위험 관리와 책임성을 강화할 수 있는 방향으로 강화해야 함. 특히 제7조 제8호의 ‘국방인공지능의 안전성 및 신뢰성 확보 등에 관한 사항’은 단순한 심의, 의결로 충분하지 않으며, 국방인공지능의 ‘반인도적 사용 가능성’이나 국제법 위반 가능성을 예방하기 위한 검토와 관리 기능을 명시적으로 포함해야 함.
• ‘인공지능 기술의 국방 분야 개입·도입 및 운용 현황’과 위원회 활동이 정기적으로 국회에 보고될 수 있도록 국회 보고를 의무화하고, 국회의 요구가 있을 경우 관련 정책과 사업 현황을 보고하도록 규정하여 민주적 통제가 가능하도록 해야 함.
• 국방인공지능의 위험성과 책임 문제를 고려할 때, 위원회에 인공지능기술의 반인도적 적용이나 국제법 위반 가능성에 대해 조사 권한을 부여하고, 위원회와는 별도로 국방인공지능의 개발 및 운용과정에 대한 독립적인 감독 기능을 수행하는 감독관 제도를 도입해야 함.

5. 개발 및 특례 조항의 제한적 적용 및 군사AI 금지·제한하는 규정 추가

• 제3장 ‘국방인공지능기술의 개발 및 특례’는 ‘국방인공지능기술의 개발, 활용 및 규제’로 수정하고, 제14조, 제18조에서 고위험영역 인공지능 관련 사업자의 책무, 표적 선택, 교전 개시, 치명적 무력 행사와 같은 핵심 영역에서는 안전 검증을 우회할 수 없도록 특례 조항의 적용 범위를 제한해야 함.
• 제17조에서 민간 인공지능 기술을 도입하는 경우 사전에 해당 기술의 안전성, 편향성, 이중용도 위험 및 국제법 준수 여부 등 평가를 통해 도입 여부를 결정하도록 하고, 민간인공지능 기술의 군사적 활용과 관련하여 이중용도 기술 관리체계를 마련하고, 도입, 승인, 사용, 모니터링 등 단계별 관리 절차를 시행하는 것을 명시해야 함. 또한, 인공지능기본법의 고성능 인공지능(제32조)과 고영향 인공지능(제34조)에서 규정하고 있는 것 이상의 안전성, 신뢰성, 책무성 의무를 사업자에게 부과할 필요가 있음.

6. 안전성 확보 의무조항 강화 및 피해 책임 범위와 기준 명확화

• 안정성 확보 의무 조항은 현재와 같이 ‘할 수 있음’ 수준이 아니라 ‘해야 한다’로 법적 강제력이 있는 의무 사항으로 규정하고, 안전 인증이 없는 시스템 운용은 금지해야 함.
• 인공지능기본법 제34조에서 규정하고 있는 고영향 인공지능 사업자의 책무를 기본적으로 국방인공지능 사업자에게 적용해야 함.
• 국방부 및 산하기관은 인공지능 시스템을 도입할 경우 의무적으로 인권영향평가를 수행하도록 규정해야 함.

7. 특정 국방인공지능에 대한 금지 규정 필요 

• 금지대상, 고위험, 제한된 위험 등 위험도(risk-based)에 따른 분류체계를 도입하여야 함. 특히 의미있는 인간통제 없이 작동하면서 사람을 표적으로 삼는 자율무기의 연구, 개발 및 운용을 금지해야 함. 금지되지 않는 자율 무기에 대해서는 의미있는 인간통제가 어떻게 이루어질 수 있는지, 즉 그에 대한 의사결정 요건, 기술적 요건, 운영적 요건에 대해서 가능한 한 구체적으로 제한하는 규정을 두어야 함.

8. 영향받는 자의 권리구제와 책임자 처벌 

• 인공지능기본법 제3조에서 규정하고 있는 영향받는 자의 설명요구권(인공지능의 최종결과 도출에 활용된 주요 기준 및 원리 등에 대하여 기술적ㆍ합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 제공받을 권리)도 보장받아야 함.
• 국방인공지능에 대해 위험성을 평가하고, 사고를 조사하고, 시정조치를 권고할 수 있는 독립적인 감독기구를 두어야 함.
• 인공지능 오작동 또는 운용 과정에서 발생한 피해에 대해 국가, 기업, 개인의 책임 범위와 기준을 명확하게 규정해야 하며, 책임 규명과 사후 조사가 가능하도록 알고리즘 설계, 데이터 사용 및 운용 과정에 대한 기록 보존과 문서화 의무를 명시해야 함.

PDF로 보기 (한), PDF로 보기 (Eng)

2026년 5월 12일

기업과인권네트워크, 디지털정의네트워크, 정보인권연구소

 

1. 우리단체들은 인공지능에 대한 인권기반접근(Human Rights-Based Approach to AI)을 지지한다. 인공지능에 대한 인권기반접근은, 사람을 권리주체 개인으로 대우하고, 권리주체가 자신의 권리를 행사하고 인권침해와 유린에 대하여 구제수단을 찾을 수 있도록 개인의 역량을 강화하고 법·제도적 환경을 조성하는 접근법이다(A/HRC/43/29, para.3). 유엔 의사표현의 자유 특별보고관은 AI의 투명성, 책무성 및 효과적인 구제수단에 대한 접근의 어려움을 지적하면서, 기업이 인권 실사 등 기업과 인권 이행 원칙을 준수해야 할 인권법적 책임이 있다고 지적하였던 바 있다(A/73/348, para.8; para.21). 유엔인권최고대표사무소는 특히 인권침해 구제의 측면에서 기업과 인권 이행원칙을 적용하는 것이 중요하다고 강조하였다(A/HRC/59/32).
2. 이와 관련한 한국의 상황을 살펴보면, 2026년 1월 22일 제정시행된 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 ‘인공지능기본법’)」의 입법 과정에서 시민사회 역시 인권기반접근을 요구하여 왔다. 특히 시민사회는 인공지능기본법이 인공지능으로 인하여 잠재적/실재적으로 인권에 부정적 영향을 받는 ‘영향받는 자(affected persons)’의 보호와 구제가 중요하다고 강조하였다. 국회를 통과한 법안에는 ▲영향받는 사람의 정의(§2(9)), ▲고영향 인공지능에 대한 기본권 영향평가(§35), ▲소관부처에 대한 신고 및 민원 절차(§40) 등이 규정되었는데, 이는 시민사회의 요구가 일정하게 반영된 결과로 평가할 수 있다.
3. 그럼에도 불구하고 인공지능기본법은 인공지능에 대한 인권기반접근 관점에서 여전히 중대한 결함이 있어 한국 시민사회로부터 비판을 받아 왔다. 현재 이 법률의 소관부처인 과학기술정보통신부는 현재 “인공지능기본법 제도개선 연구반”을 운영하며 인공지능기본법의 개정 방향을 검토 중이다. 우리 단체들은 인공지능기본법을 개정할 때 국제인권규범이 요구하는 인공지능 인권기반접근에 충실하도록 개선하여야 한다고 생각한다.
4. 기업이 인권을 존중하는 책임을 진다는 원칙은 유엔 기업과 인권 이행원칙에서 명시하고 있을 뿐만 아니라 한국정부의 인권정책기본계획(NAP)에도 명시되어 있다. 그러나 인공지능기본법이 이를 제대로 반영하고 있는지에 대하여 우리 단체들은 심각한 의문을 가지고 있다. 이에 인공지능기본법이 국제인권규범에서 요구하는 것처럼 기업의 책임성을 실효적으로 확보하여 인공지능 위험으로부터 영향받는 사람을 효과적으로 보호하고 구제할 수 있도록 이하와 같은 개선을 요구한다.

 

(1) ‘영향받는 자’에 대한 인공지능사업자의 보호 책무를 규정할 것

• ‘영향받는 자’는 “인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중대한 영향을 받는 자”이며(§2(9)), “인공지능의 최종결과 도출에 활용된 주요 기준 및 원리 등에 대하여 기술적ㆍ합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 제공받을 수 있어야 한다(§3②)”. 그러나 이 위 조항의 수범자는 국가이며 그마저도 의무가 아니라 프로그램적 성격을 가지는 책무로 규정되어 있다. 따라서 법률상으로 인공지능사업자는 이를 이행할 의무가 없다는 중대한 결함이 있다. 다만 ‘고영향 인공지능사업자의 책무(§34)’에는 보호방안이 규정되어 있지만, 이 보호방안의 대상은 ‘이용자’ 뿐이다(§34①(3)). 이를 쉽게 설명하자면, 고영향인공지능사업을 수행하는 빅테크 기업은 영향받는자에 대한 보호방안을 마련하지 않아도 법률상 아무런 책임이 없다는 것이다.
• 인공지능기본법상 고영향 인공지능사업자가 보호해야 할 책무가 있는 대상에는 인공지능으로 인하여 부정적인 영향을 받는 사람들이 포함되지 않는다. 가령, 이 법은 병원, 채용회사, 금융회사는 ‘이용자’로 규정하면서 고영향 인공지능사업자가 이들을 보호하도록 그 책무를 규정하고 있지만, 정작, 환자, 채용구직자, 대출신청자는 이에 포함시키지 않았다. 이 문제에 대해 2025년 12월 21일 국가인권위원회는 “실제로 기본권에 중대한 영향을 받는 구직자·환자·대출 신청자 등에 대한 보호조치가 법령상 공백으로 남아 있다”고 개선을 권고하였다. 2026년 1월 5일 감사원 또한 “고영향 인공지능 활용에 따른 잠재적 피해자가 보호 대상에서 제외”되어 있다며, “고용노동부가 가이드라인을 도입하지 않은 채용 분야의 경우 고영향 인공지능으로부터 영향을 받는 사람에 대한 보호에 공백이 예상되는 등 개별 주무부처의 고영향 인공지능 관리방식에 따라 이해관계자 보호에 차이가 발생할 것으로 예상된다.”고 지적하였다.
• (개선요구)
  • 고영향 인공지능사업자의 책무에 ‘영향받는 자’의 보호와 설명을 제공할 수 있는 방안의 수립·운영을 규정할 것
  • 병원, 채용회사, 금융회사 등 업무상 목적으로 고영향 인공지능을 이용하는 사업자에 대해서는 고영향 AI 사업자 책무를 적용할 것

<참고1> 고영향 인공지능사업자의 책무 (예: 채용분야)

* 출처: 과학기술정보통신부(2026). 고영향 인공지능 판단 가이드라인(Guidelines for Determining High-Impact AI Systems). pp.16-17.

 

(2) ‘영향받는 자’가 자신에게 영향을 미치는 인공지능의 개발과 배치에 관한 정책에 참여하여 의견을 제시할 수 있도록 보장할 것

• 인공지능기본법에는 국가인공지능전략위원회(§7), 분과위원회, 특별위원회 및 자문단(§10) 등 국가적인 인공지능 정책 거버넌스에 대하여 규정하고 있다. 그러나 이들 국가 인공지능 정책 거버넌스에는 영향받는 자 또는 해당 이해관계를 대표하는 시민사회단체를 포함하도록 규정하고 있지 않다. 이로 인하여 위원회 구성이 전반적으로 산업계에 편중되어 있다. 국가인권위원회는 국가인공지능전략위원회의 분과위원회 및 특별위원회 구성 시 인권전문가가 산업계·기술계 전문가와 균형 있게 포함될 수 있도록 규정하여야 한다고 권고하였다.
• 인공지능기본법의 이러한 규정은 유엔의 입장에도 반하는 것이다. 유엔 사무총장은 “국제적 의무에 부합하는 신기술의 개발, 확산 및 채택은 권리자의 효과적이고 의미 있는 참여를 통해 향상될 수 있다. 이를 위해 국가는 권리 보유자, 특히 가장 큰 영향을 받거나 부정적인 결과를 겪을 가능성이 높은 권리 보유자가 개발 과정에 효과적으로 참여하고 기여할 수 있는 기회를 창출하고, 신기술의 목표 채택을 촉진해야 한다. 참여와 포괄적인 협의를 통해 국가는 경제적 효율성, 환경적 지속 가능성, 포용성 및 형평성을 갖춘 균형 잡힌 지속 가능한 개발을 추구할 때 어떤 기술이 가장 적절하고 효과적인지 결정할 수 있다.”고 지적한 바 있다(A/73/348, para.47).
• 영향받는 일반 시민과 노동자는 일방적인 인공지능의 수용자나 적용 대상이 아니며, 권리주체로서 존중받아야 한다. 영향받는 사람들이 자신에게 영향을 미치는 국가적 또는 직장의 인공지능 정책의 결정 과정에 참여하고 의견을 제시할 수 있어야 한다는 것은 인공지능시대의 중요한 민주주의 과제이다.
• (개선요구)
  • 국가인공지능위원회, 분과위원회, 특별위원회 및 자문단에 영향받는 자 또는 해당 이해관계를 대표하는 시민사회단체를 포함할 것
  • 사용자 기업은 사업장에서 고영향 인공지능을 배치하거나 이용하기 전에 노동자 및 노동자 대표에게 관련 사항을 알리도록 할 것

 

(3) 인권 침해 위험이 완화될 수 없는 인공지능의 개발과 활용을 금지할 것

• 인공지능기본법은 어떠한 인공지능의 개발과 활용에 대해서도 금지하고 있지 않다. 그러나 한국에서는 공공장소 실시간 원격 생체인식, 개인 예측 치안, 직장과 학교의 감정인식, 인공지능무기 등이 빠른 속도로 개발 또는 배치되고 있다. 인권 침해 위험이 완화될 수 없는 인공지능 시스템에 대해서는 금지하는 규정을 두어야 한다.
• 유엔인권최고대표는 “인권 침해 위험을 국제 인권법을 준수하며 운영할 수 없는 인공지능 애플리케이션을 명시적으로 금지하고 인권 향유에 고위험을 수반하는 인공지능 시스템의 판매 및 사용에 대해 인권 보호를 위한 적정한 안전장치가 마련될 때까지 모라토리엄을 부과할 것”을 각국에 권고한 바 있다(A/HRC/48/31, 59(c)).
• (개선요구)
  • 인권 침해 위험이 완화될 수 없는 인공지능의 개발과 활용을 금지할 것. 여기에 공공장소 실시간 원격 생체인식, 개인 예측 치안, 직장과 학교의 감정인식, 완전자율살상무기를 포함할 것.

 

(4) 기본권 영향평가 제도를 고영향 민간사업자에게 의무화하고 국가인권위원회의 자문을 받을 것

• “인공지능 인권영향평가”는 인공지능이 잠재적 또는 실제적으로 인권에 미치는 부정적 영향을 방지하고 완화하기 위한 인권실사의 핵심적 도구이다. 유엔 의사표현의 자유 특별보고관과 유엔인권최고대표 사무소를 비롯하여 여러 국제인권규범에서 인공지능에 대한 인권영향평가의 중요성을 강조하여 왔다. 유럽연합과 미국 콜로라도주 등 여러 국가와 지방에서 인공지능이 기본권에 미치는 영향을 평가하고 조치하는 제도를 마련하고 있기도 하다.
• 인공지능기본법은 고영향 인공지능이 기본권에 미치는 영향을 평가하도록 하였다(§35). 이를 들어 마치 한국의 인공지능기본법이 인권실사를 의무화하고 있다는 국제적인 오해를 만들고 있으나, 이는 명확히 사실이 아니다. 우선, 인공지능기본법상 고영향 인공지능 사업을 수행하는 ‘민간’ 사업자는 ‘노력’할 의무만이 규정되어 있다. 노력의무만 있으므로 이를 강제할 수 없으며, 당연하게 벌칙도 없다. 공공기관에게는 ‘우선적으로 고려’할 의무가 있으나, 조달 관련 규정에 반영되어야 비로소 영향평가가 실제로 고려될 것이다. 이 법이 금지된 인공지능에 대한 규정을 전혀 두고 있지 않으며 고영향 인공지능의 범위가 매우 좁다는 점을 고려하였을 때, 고영향 인공지능사업자라면 공공기관과 민간사업자 모두 의무적으로 영향을 평가하도록 의무화할 필요가 있다.
• 또한, 이 법이 가치사슬에 대한 고려가 완전히 빠져 있다. 인공지능의 위험은 인공지능 시스템의 가치사슬 전반에서 발생한다. 이 때문에 OECD 인공지능 실사지침에서도 AI 개발사뿐 아니라 배치·운영·활용에 관여하는 다양한 행위자에게 책임있는 기업행위 실사를 요구하고 있는 것이다. 하지만 인공지능기본법은 병원·채용회사·금융회사 등 실제로 고영향 인공지능을 활용하여 개인의 권리에 중대한 영향을 미치는 사업자를 단순한 ‘이용자’로 취급함으로써, 가치사슬 하류(downstream) 영역의 책임 공백을 초래하고 있는 것이다.
• 무엇보다 영향평가가 실효적으로 이루어지기 위해서는 기본권에 영향을 받는 개인과 집단이 누구인지 식별한 후 이들을 영향평가 절차에 참여시키고 협의하도록 권장하여야 하며, 특히 부정적 인권영향을 방지하거나 완화하는 조치에 대해서는 이들의 의견을 수렴하여야 한다. 또한, 고영향 인공지능이 그 영향받는 사람에 대한 투명성을 보장하기 위해서는 영향평가 결과를 일정한 수준으로 일반에 공개하여야 한다. 그러나 현재의 기본권 영향평가는 영향 받는 개인과 집단에 대한 협의와 공개를 고려하고 있지 않다. 형식적인 의례 행위에 그치는 영향평가는 고영향 인공지능사업자의 면죄부로서만 남용될 우려가 있다.
• 한편, 국가인권위원회의 권고대로, 고영향 인공지능이 의도된 목적에 따라 배치·사용되는지를 확인하여야 한다. 또한 ‘신규’ 인공지능 제품 또는 서비스 제공 전 뿐만 아니라, ‘중대한 기능 변경’ 전에도 영향평가를 실시하도록 하여야 한다. 무엇보다 국가기관 등이 영향평가 결과를 확인할 수 있도록 인공지능사업자에게 문서와 자료를 요청할 수 있는 근거를 마련할 필요가 있다.
• 영향평가 제도는 ‘기본권에 미치는 영향을 평가’하는 제도이고, 국가인권위원회는 고영향 인공지능 영향평가 기준 및 가이드라인 수립·개정 과정에 인권위와 인권 전문가가 참여할 수 있는 근거를 마련할 필요가 있다고 권고하였다. 그러나 과학기술정보통신부는 국가인권기구인 국가인권위원회의 이 의견을 수용하지 않았으며, 영향평가의 내용과 방법은 물론 전문기관 자격 등 제도 운용에 대하여 국가인권위원회와 전혀 협의하지 않고 있다. 국가인권기구를 배제하는 기본권 영향평가 제도가 그 취지대로 실효적으로 운용될 수 있을지 매우 우려되는 상황이다.
• (개선요구)
  • 고영향 인공지능사업자인 공공기관과 민간기업 모두에게 영향평가를 의무화하고 조달 관련 법률 등에 반영할 것
  • 영향평가 절차에 영향받는 개인과 집단의 참여와 의견수렴을 보장할 것
  • 고영향 인공지능에 대한 영향평가 결과를 일정한 수준으로 공개할 것
  • 영향평가에서 인공지능이 의도된 목적에 따라 배치·사용되는지를 확인하도록 할 것
  • ‘중대한 기능 변경’ 전에도 영향평가를 실시하도록 할 것
  • 국가기관 등이 영향평가 결과를 확인할 수 있도록 인공지능사업자에게 문서와 자료를 요청할 수 있는 근거를 마련할 것
  • 영향평가의 내용, 방법, 전문기관의 운용 등에 대하여 국가인권위원회와 협의할 것

 

(5) 인공지능의 인권 침해에 대한 국가적 진정과 구제 제도를 효과적으로 마련할 것

• 인공지능기본법은 이 법 위반에 대한 신고나 민원을 받고 과학기술정보통신부가 사실조사를 할 수 있도록 규정하고 있다(§40). 그러나 이 법이 인권을 침해한 인공지능사업자에 대한 실제 제재에 이르기까지 신고, 조사, 명령, 명령 미이행 등 상당히 여러 단계를 거쳐야 한다. 또한 사실조사가 인공지능 산업을 진흥하고자 하는 부처가 ‘필요한 경우’ 선택하는 사항이기 때문에 구제의 실효성이 매우 의심스럽다. 과학기술정보통신부는 2026년 1월 22일 인공지능기본법의 시행 이후 ‘최소 1년 이상’의 규제 유예 기간을 둔다고 밝혔기 때문에 이 법에 따른 실제 사업자 규제가 언제 집행될지는 미지수이다.

<참고2> 계도기간 적용 프로세스

* 출처: 과학기술정보통신부(2025). AI기본법 하위법령 제정방향. p5.

• (개선요구)
  • 규제 유예 기간을 명확히 하고 최소화할 것
  • 이 법을 위반하는 인권 침해를 인지하였거나 신고·민원이 접수된 경우 소관부처 또는 관련 부처(예: 채용의 경우 고용노동부)가 반드시 응답하도록 조치하여 구제의 실효성을 갖출 것

 

(끝)

 

Civil Society Opinion on a Human Rights-Based Approach to AI and the Korean AI Framework Act

May 12, 2026

Digital Justice Network, Institute for Digital Rights,

and Korean Transnational Corporations Watch

 

1. Korean civil society organizations support a Human rights-based approach to Artificial Intelligence (AI). A human rights-based approach to AI is “an approach that views people as individual holders of rights, empowers them and promotes a legal and institutional environment to enforce their rights and to seek redress for any human rights violations and abuses” (A/HRC/43/29, para.3). The UN Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression has pointed to the difficulties surrounding AI transparency, accountability, and access to effective remedies, while emphasizing that companies have a responsibility to respect human rights in line with the UN Guiding Principles on Business and Human Rights, including conducting human rights due diligence (A/73/348, para.8; para.21). The Office of the UN High Commissioner for Human Rights (hereinafter the “OHCHR”) has particularly stressed the importance of applying the Guiding Principles on Business and Human Rights in the context of remedies for human rights violations (A/HRC/59/32).
2. In the Korean context, civil society also called for a human rights-based approach during the legislative process of the Framework Act on the Development on AI and the Creation of a Foundation for Trust (hereinafter the “AI Framework Act”), which was enacted and came into force on January 22, 2026. In particular, civil society emphasized the importance of protecting and providing remedies for “affected persons” who are potentially or actually negatively impacted in their human rights by AI. The bill passed by the National Assembly included provisions such as ▲ the definition of “impacted person” (§2(9)), ▲ impact assessments for high-impact AI (§35), and ▲ reporting and complaint procedures to competent authorities (§40), which may be seen as partially reflecting civil society’s concerns and demands.
3. Nevertheless, the AI Framework Act has been under criticism by civil society for still containing significant shortcomings from the perspective of a human rights-based approach to AI. The Ministry of Science and ICT(hereinafter the “MSIT”), which is currently the competent authority for this law, is operating a “Research Group on Institutional Improvement of the AI Framework Act” and reviewing directions for amending the Act. We believe that when amending the Framework Act on AI, improvements should be made to ensure full compliance with the human rights-based approach to AI required by international human rights norms.
4. The principle that companies have a responsibility to respect human rights is not only explicitly stated in the UN Guiding Principles on Business and Human Rights, but is also reflected in the Korean government’s National Action Plan on Human Rights (NAP). However, we have serious concerns as to whether the AI Framework Act properly reflects this principle. Accordingly, we call for the following improvements so that the AI Framework Act can ensure corporate accountability, consistent with international human rights standards, thereby providing effective protection and remedies for people affected by AI-related risks.

 

(1) Stipulate AI operators’ obligations to protect affected persons

• An “Impacted person” is defined as “a person whose life, physical safety, and fundamental rights are significantly affected by artificial intelligence products or artificial intelligence services” (§2(9)), and such persons “shall be entitled to be provided with a clear and meaningful explanation of the main criteria, principles, etc. utilized in deriving the final output of artificial intelligence, to the extent technically and reasonably possible” (§3②). However, these provisions are directed only at the State and are framed as broad policy responsibilities rather than binding obligations imposed on AI operators. As a result, the Act creates a significant accountability loophole by failing to impose binding legal obligations on AI operators. Although “Responsibilities of business operators regarding high-impact AI” (§34①(3)) provide for protective measures, the beneficiaries of such protections are limited to “users. (§34)” Put simply, this means that big tech companies conducting high-impact AI business bear no legal responsibility even if they fail to establish protective measures for affected persons.
• Under the Act, the subjects whom high-impact AI operators are obligated to protect do not include people negatively affected by AI. For example, while the Act defines hospitals, hiring companies, and financial institutions as “users” and imposes obligations on high-impact AI operators to protect them, it does not include patients, job applicants, or loan applicants within the scope of protection. Regarding this issue, on December 21, 2025, the National Human Rights Commission of Korea recommended legislative improvements, noting that “there remains a legal gap in protection measures for job applicants, patients, loan applicants, and others whose fundamental rights are significantly affected.” On January 5, 2026, the Board of Audit and Inspection also pointed out that “potential victims arising from the use of high-impact AI are excluded from the scope of protection,” and further noted that “in areas such as hiring, where the Ministry of Employment and Labor has not introduced guidelines, gaps in protection for persons affected by high-impact AI are anticipated, and differences in stakeholder protection are expected depending on how each competent ministry manages high-impact AI.”
• (Call for Improvement)
  • Amend the Act to explicitly require operators of high-impact AI systems to establish and implement measures to protect affected persons and provide them with meaningful explanations.
  • Apply the obligations imposed on high-impact AI operators not only to developers and providers, but also to businesses deploying and using high-impact AI systems for operational purposes, including hospitals, hiring companies, and financial institutions.

<Figure 1> Obligations of High-Impact AI Operators (Example: Employment Sector)

* source: MSIT(2026). Guidelines for Determining High-Impact AI Systems. pp.16-17.

 

(2) Guarantee the participation of affected persons in AI governance and decision-making

• The Act provides for national AI policy governance bodies, including the Presidential Council on National Artificial Intelligence Strategy (§7), Sectoral committees, special committees, and advisory groups (§10). However, these national AI governance bodies are not required to include affected persons or civil society organizations representing their interests. As a result, the composition of these committees is generally skewed toward industry interests. The National Human Rights Commission of Korea has recommended that the composition of the Sectoral committees and special committees under the National AI Strategy Council should ensure that human rights experts are included in a balanced manner alongside industry and technology experts.
• These provisions are also inconsistent with international human rights standards articulated by the United Nations. The UN Secretary-General has stated that “The development, diffusion and adoption of new technologies consistent with international obligations can be enhanced by effective and meaningful participation of rights holders. Towards that end, States should create opportunities for rights holders, particularly those most affected or likely to suffer adverse consequences, to effectively participate and contribute to the development process, and facilitate targeted adoption of new technologies. Through participation and inclusive consultation, States can determine what technologies would be most appropriate and effective as they pursue balanced and integrated sustainable development with economic efficiency, environmental sustainability, inclusion and equity” (A/73/348, para.47).
• Individuals and workers affected by AI should not be treated merely as passive recipients of technological deployment, but rather as rights-holders. Ensuring that affected persons can participate in and express their views on national or workplace AI policy decisions that affect them is essential to democratic governance in the age of AI.

 

• (Call for Improvement)
  • Include affected persons or civil society organizations representing their interests in the National AI Strategy Council, Sectoral committees, special committees, and advisory groups.
  • Require employer companies to inform workers and workers’ representatives before deploying or using high-impact AI in the workplace.

 

(3) Prohibit the development and use of AI systems that pose unmitigable risks to human rights 

• In Korea, technologies such as real-time remote biometric identification in public spaces, predictive policing, emotion recognition in workplaces and schools, and autonomous weapons systems are being rapidly developed and deployed. However, the AI Framework Act does not prohibit any category of AI development or use. AI systems whose risks to human rights cannot be adequately mitigated should therefore be explicitly prohibited.
• The OHCHR has recommended that States “Expressly ban AI applications that cannot be operated in compliance with international human rights law and impose moratoriums on the sale and use of AI systems that carry a high risk for the enjoyment of human rights, unless and until adequate safeguards to protect human rights are in place” (A/HRC/48/31, para.59(c)).

 

• (Call for Improvement)
  • Prohibit the development and use of AI whose risks to human rights cannot be mitigated. This should include real-time remote biometric identification in public spaces, predictive policing, emotion recognition in workplaces and schools, and fully autonomous lethal weapons.

 

(4) Mandate fundamental rights impact assessments for high-impact private-sector AI operators and require consultation with the National Human Rights Commission of Korea

• “AI human rights impact assessment” is a core human rights due diligence tool for preventing and mitigating the potential or actual adverse impacts of AI on human rights. Various international human rights standards, including those of the UN Special Rapporteur on freedom of opinion and expression and the OHCHR, have emphasized the importance of AI human rights impact assessments. Several jurisdictions, including the EU and the State of Colorado in the US, have also established systems to assess and address the impacts of AI on fundamental rights.
• The Act requires “Impact assessments of high-impact AI” on fundamental rights (§35). This has created an international misunderstanding that Korea’s AI Framework Act mandates human rights due diligence, but this is clearly not the case. First, under the Act, private-sector operators conducting high-impact AI business are subject only to an obligation to “endeavor.” Because this is merely an obligation to make efforts, it is not meaningfully enforceable and carries no effective sanctions. Public institutions are required to “give priority consideration” to such assessments, but impact assessments will only be meaningfully considered when reflected in procurement-related regulations. Given that the Act contains no provisions prohibiting certain AI systems and that the scope of high-impact AI under the Act is extremely narrow, the Act should be amended to mandate impact assessments for both public institutions and private-sector operators deploying high-impact AI systems.
• In addition, the Act completely fails to consider the AI value chain. AI-related risks arise throughout the entire value chain of AI systems. For this reason, the OECD Due Diligence Guidance for AI also calls not only on AI developers but on a wide range of actors involved in the deployment, operation, and use of AI to conduct responsible business conduct due diligence. However, the AI Framework Act treats businesses such as hospitals, hiring companies, and financial institutions—which actually use high-impact AI in ways that significantly affect individuals’ rights—as mere “users,” thereby creating a responsibility gap in the downstream segment of the value chain.
• Above all, for impact assessments to be effective, individuals and groups whose human rights are affected should be identified, and their participation and consultation should be ensured, particularly to gather their views on measures intended to prevent or mitigate adverse human rights impacts. In addition, to ensure transparency toward affected persons, the results of impact assessments for high-impact AI should be disclosed to the public to a certain extent. However, the current impact assessment framework does not adequately provide for consultation with affected individuals and groups or public disclosure of assessment results. As a result, impact assessments risk becoming merely formalistic compliance exercises rather than effective human rights safeguards.
• Furthermore, as recommended by the National Human Rights Commission of Korea, it should be verified whether high-impact AI is deployed and used in accordance with its intended purpose. Impact assessments should also be conducted not only before the provision of a “new” AI product or service, but also before any “significant functional modification.” Most importantly, there is a need to establish a legal basis allowing State authorities and other public bodies to request documents and materials from AI operators in order to verify the results of impact assessments.
• The impact assessment system is intended to “assess impacts on fundamental rights,” and the National Human Rights Commission of Korea recommended establishing a basis for the participation of the Commission and human rights experts in the process of formulating and revising standards and guidelines for high-impact AI impact assessments. However, the MSIT did not accept the recommendations by the National Human Rights Commission, Korea’s national human rights institution, and has not engaged in any consultation with the Commission regarding the content and methodology of impact assessments or even the operation of the system, including the qualifications of specialized institutions. There are serious concerns as to whether the impact assessment that excludes the national human rights institution can operate effectively in line with its intended purpose.

 

• (Call for Improvement)
  • Mandate impact assessments for both public institutions and private companies operating high-impact AI systems, and reflect such requirements in procurement-related laws and regulations.
  • Guarantee the participation of and consultation with affected individuals and groups throughout the impact assessment process.
  • Disclose the results of impact assessments for high-impact AI systems to a certain extent.
  • Require impact assessments to verify whether AI is deployed and used in accordance with its intended purpose.
  • Require impact assessments to be conducted prior to any “significant functional modification.”
  • Establish a legal basis allowing State authorities and other public bodies to request documents and materials from AI operators in order to verify the results of impact assessments.
  • Consult with the National Human Rights Commission of Korea regarding the content and methodology of impact assessments and the operation of specialized institutions.

 

(5) Establish effective national complaint and remedy mechanisms for AI-related human rights violations

• The Act provides that the MSIT may receive reports or complaints regarding violations of the Act and conduct fact-finding investigations (§40). However, before actual sanctions can be imposed on AI operators that infringe human rights, the process must pass through multiple stages, including reporting, investigation, orders, and noncompliance with orders. Moreover, fact-finding investigations are discretionary measures that may be conducted only “where necessary” by a ministry whose primary mandate includes the promotion of the AI industry. This raises serious concerns regarding the effectiveness and independence of the remedy system. The MSIT has also stated that, following the enforcement of the Act on January 22, 2026, there will be a regulatory grace period of “at least one year,” making it unclear when actual enforcement against AI operators under the Act will begin.

<Figure 2> Process for Applying the Guidance Period

* source: MSIT(2025). Direction for Enacting Subordinate Regulations under the AI Framework Act, p.5.

 

• (Call for Improvement)
  • Clarify and minimize the regulatory grace period.
  • Ensure effective remedies by requiring competent ministries and relevant authorities — including the Ministry of Employment and Labor in employment-related cases — to respond promptly when AI-related human rights violations are identified or when reports or complaints are filed under the Act.

 

— end —

 

About the Organizations 

 

Digital Justice Network launched in 1998 as the Korean Progressive Network Jinbonet, has provided network services for social movements and advocated for digital rights. The organization adopted its current name in 2025. Recently, it has focused its efforts on addressing the power of Big Tech and protecting the rights of those affected by the risks of artificial intelligence. The Digital Justice Network is a member of the Association for Progressive Communications (APC). http://www.digitaljustice.kr

Institute for Digital Rights was established in 2015 as a civil society-based research institute. It has been dedicated to promoting digital rights in Korean society and incorporating them into policy. Recently, the Institute has introduced a human rights-based approach to AI and worked to integrate this into national frameworks such as the AI Basic Act. Furthermore, it has been exploring various civil society activities to advocate for the rights and empowerment of individuals and groups affected by AI. http://idr.jinbo.net

Korean Transnational Corporations Watch is a Korean civil society coalition working on corporate accountability, business and human rights, and environmental justice in relation to the overseas activities and global supply chains of Korean multinational corporations. https://ktncwatch.org

Contact 

For further information, please contact:

Chang, Yeo-Kyung

Executive Director, Institute for Digital Rights

idrsec@proton.me