“Some of our activists are drafting statements with ChatGPT, and I’m worried about what approach we should take.”

Many organizations are likely having similar concerns. With the emergence of various generative AI services—such as chatbots like ChatGPT and Gemini, and tools that create images, music, and videos—an increasing number of citizens are using them for both professional and personal purposes. Civil society activists are no exception. However, while they are being utilized, usually based on individual judgment even for work-related tasks, almost no organization currently has an organizational-level policy on generative AI.

There are many points that civil society organizations (CSOs) must consider when using generative AI. For example, if factual inaccuracies (hallucinations) from generative AI are included in an organization’s official documents, the organization’s credibility can be severely damaged. Security issues may arise if personal or confidential information is uploaded to unreliable commercial services. Furthermore, the output of generative AI might contain biases that conflict with the organization’s values. The process of drafting a statement using generative AI may exclude aspects crucial for activist capacity building and internal organizational deliberation. If activists use AI tools based on individual choice without an organizational policy, there is a high likelihood that issues beyond the organization’s control will emerge.

However, in the Korean context, there is a lack of guidelines available regarding whether it is appropriate for civil society organizations to utilize generative AI services, what principles and policies should govern their use if they choose to do so, and what guidance can be referenced from a human rights perspective. Moreover, the current status of which AI tools activists are using for which tasks has not been documented. This guide originates from the realization that we need to help civil society organizations and activists establish generative AI policies and properly utilize these tools when necessary.

To create this guide, we conducted a survey on which AI tools are actually being used for which tasks, how useful generative AI is perceived to be, and what problems users are experiencing. We gathered opinions not only from domestic activists but also from activists worldwide through the APC network. While the sample size is limited, restricting its statistical significance, we were able to confirm the real concerns and shared understanding of the issues felt by activists. Even those who use generative AI minimally responded, sharing their thoughts.

Furthermore, we held workshops with civil society and labor union activists focusing on generative AI. We shared the survey results and a preliminary policy framework, allowing participants to exchange their experiences and perspectives. Through this process, we reconfirmed that the act of honestly sharing feelings and concerns is crucial, rather than simply reaching a consensus. The policy framework presented in this guide is merely a starting point; the process of each organization creating its own policy that reflects its reality and the voices of its activists is paramount.

While some activists use generative AI with interest, many others still feel uncomfortable with generative AI itself. We clearly state that this guide is not intended to encourage the use of generative AI. The fact that the development of major generative AI models and the provision of services are exclusively controlled by Big Tech companies is also a concern. Although this guide focuses on the commercial generative AI services currently in dominant use, we deeply empathize with the need to overcome these structural limitations.

Despite various limitations, we hope this guide will be of some help to organizations and activists currently contemplating policies related to generative AI.

Recently, the Korean government and industry have been pushing strong industrial support policies with the goal of becoming an “AI powerhouse.”
In our daily lives as well, we are increasingly conversing with and relying on generative AI in both work and everyday activities.

However, there is something we must not forget when developing and using AI.
The source of the vast amounts of data used by AI, including generative AI, is ultimately people, and the subjects of its predictions and decisions are also people.
An even greater problem is that what AI learns from and reflects is the world as it exists today—a world that has long discriminated against and marginalized certain groups of people.

Our society—and AI itself—must protect human dignity and must not discriminate against people or violate human rights.
Yet as this mysterious and complex AI environment deepens, we may lose our way.
Can AI and human rights coexist? How can we find that path?
Will Korea AI Framework Act, which will come into force in January next year, be able to protect human rights?

The Institute for Digital Rights has published an issue report titled A Human Rights–Based Approach to AI that reflects these concerns.
There is nothing extraordinary in it. We have simply gathered cases and institutional examples that approach AI issues from a human rights perspective.
Amid the AI industrialization driven by states and corporations, we sought to examine the relationship between AI and human rights from the standpoint of people who are often hard to see—especially ordinary people who are affected by AI.

In truth, this is not a story unfamiliar to us.
It is that we cannot stop striving to secure the human rights responsibilities of AI and to protect people affected by the risks posed by AI.
At this moment, when everyone is running forward without even knowing where the future is headed, we believed it was important to reaffirm our principles.
If we are to hold expectations about the benefits that AI can bring to people, we must focus even more closely on its impacts on people.
This is the core objective of a human rights–based approach to AI.

We hope you will take a look at the report and join us in discussing how we can build a future in which AI and human rights coexist.

* This publication was produced with the support of the Heinrich Böll Foundation.

[이슈보고서 PDF 보기]
최근 한국 정부와 산업계는 ‘AI 강국’ 실현을 목표로 강력한 산업 지원 정책을 추진하고 있습니다.
우리 주변에서도 일과 생활에서 생성형 AI와 대화하고 여기에 의지하는 일이 많아지고 있습니다.

하지만 인공지능을 개발하고 이용할 때 잊지 말아야 할 사실이 있습니다.
생성형 AI를 비롯해 인공지능이 활용하는 방대한 데이터의 원천은 결국 ‘사람’이며, 그 예측과 결정의 대상이 되는 것 또한 ‘사람’이라는 점입니다.
더욱 큰 문제는 인공지능이 학습하고 반영하는 것이 지금의 우리 세계라는 것입니다. 어떤 사람들을 차별하고 소외시켜 온 그 세계 말이지요.

우리 사회는, 그리고 인공지능은, 인간의 존엄성을 보호해야 하며, 사람을 차별하거나 인권을 침해해서는 안 됩니다.
하지만 인공지능이라는 신묘한 환경이 깊어지면 우리가 길을 잃을지도 모릅니다.
인공지능과 인권이 함께 할수 있을까요? 그 길을 어떻게 찾아야 할까요?
내년 1월부터 시행되는 한국의 인공지능기본법은 인권을 보호할 수 있을까요?

정보인권연구소는 이런 고민을 담아 <인공지능에 대한 인권기반접근> 이슈보고서를 펴냈습니다.
대단한 내용이 있는 것은 아닙니다. 인권에 기반하여 인공지능 문제를 생각하는 사례와 제도들을 모아 보았습니다.
국가와 기업이 주도하는 인공지능 산업화 속에 잘 보이지 않는 사람들, 특히 인공지능으로부터 영향 받는 평범한 사람들의 입장에서 인공지능과 인권의 관계를 생각해 보고자 했습니다.

사실 우리가 모르는 이야기는 아닙니다.
인공지능의 인권적 책임을 확보하고 인공지능의 위험으로부터 영향을 받는 사람을 보호하기 위한 노력을 멈출 수 없다는 것입니다.
하지만 우리가 향하는 미래가 어디인지도 모르고 모두가 뛰어가는 지금 시점에, 원칙을 확인하는 일이 중요하다고 생각했습니다.
우리가 인공지능이 사람에게 가져다 줄 혜택에 대해 기대한다면, 인공지능이 사람에게 미치는 영향에 더욱 초점을 맞추어 살펴야 할 것입니다.
이것이야말로 인공지능에 대한 인권 기반 접근의 핵심적인 목표입니다.

보고서를 한번 살펴보시고, 우리가 어떻게 인공지능과 인권이 함께 하는 미래를 만들 수 있을지 토론해 보면 좋겠습니다.

* 이 자료는 독일 하인리히 뵐 재단의 후원으로 발간되었습니다.

전 세계적으로 기후위기의 심각성이 대두되고 있고, 코로나19 및 여러 전염병이 발생하는 주요 이유 중 하나로 기후위기를 꼽는 지금, 한국 정부 역시 기후위기에 대응할 것을 강력하게 요구받고 있습니다. 이에 한국정부는 지난 2020년 7월 14일, ‘한국형 뉴딜 종합계획’을 발표하면서 ‘디지털 뉴딜’과 ‘그린 뉴딜’에 중점을 둔 계획안을 발표하였습니다. 

한국은 전 세계적으로 인터넷 강국, IT 강국으로 불리우고 있지만, 이와 동시에 ‘기후 악당’으로 불릴 만큼 기후위기 대응에 소극적인 모습을 보여 왔습니다. 이번 보고서에서는 그러한 한국정부의 기후 정책을 살펴보고, 이번 ‘한국형 뉴딜 종합계획’ 중 ICT 정책의 맥락에서 기후위기에 어떻게 대응하고 있는지 파악하고자 하였습니다. 

우리 단체는 이번 보고서의 결론으로 한국 정부의 그린 뉴딜은 아직 부족하다고 보았습니다. 그린 뉴딜의 핵심은 인프라 전체의 변화를 유도하는 것입니다. 재생에너지 공급을 혁신적으로 늘리고 화석 에너지 사용을 줄여야 합니다. 하지만 한국 정부의 그린 뉴딜 정책은 여전히 혁신 기술의 사용에 초점을 맞추고 있으며 혁신적으로 탄소 배출을 줄일 방법은 보이지 않습니다. 

기후위기에 대응함과 동시에 새로운 일자리를 창출하는 것. 그 과정에서 소외되는 사람을 최소화하고 모두에게 그 혜택이 돌아갈 수 있도록 정의로운 변화가 이뤄질 수 있도록 하는 것이 그린 뉴딜이라는 보편적 정의에 입각해 볼 때, 한국 정부의 그린 뉴딜은 아직도 갈 길이 멉니다. 

이에 우리 단체는 다음과 같은 행동을 제시하였습니다. 

• 한국 정부는 명확한 온실 가스 감축 목표를 제시하고 지구 기온 1.5도 감소라는 IPCC 권고안에 따른 구체적인 방안을 제시해야 합니다. 
• 그린 뉴딜은 경제적 사회적 시스템을 바꾸는 계획이 되어야 하며, 따라서 모든 이해 관계자가 모여 토론하는 장을 마련해야 한다. 
• 기후위기에 대응하기 위한 ICT 기술의 도입이 이루어지더라도, 이로 인해 인권침해가 발생해서는 안되며 이로 인해 발생할 수 있는 부정적인 영향을 최소화 해야 한다. 

사단법인 정보인권연구소가 2020년 11월 <유럽연합 「개인정보보호 규정」(GDPR) 등 국제인권기준에 따른 개인정보 보호 법제도 개선방안 연구> 보고서를 발간하였습니다. 이 연구에 진보네트워크센터도 함께 참여하였습니다.

최근 정부와 기업은 데이터 산업 활성화를 위해 개인정보 보호를 완화하는 여러 정책을 추진하고 있습니다. 쇼핑내역은 물론 민감한 건강정보에 이르기까지 많은 개인정보가 정보주체의 동의 없이 광범위하게 가명처리 후 거래되기 시작했습니다. 개인정보 보호법은 지난해 데이터3법 논란에 이어 2차 개정을 눈앞에 둔 상황입니다.

정보주체인 국민들이 지금의 데이터 환경을 신뢰할 수 있을까요. 소비자와 이용자의 개인정보를 부당하게 매매하거나 유출한 기업들은 충분히 책임을 지는 모습을 보여주지 못해 왔습니다. 데이터 산업이 정당하고 투명하지 못하다면 국민에게 어떤 이익이 돌아올 수 있을지 의문입니다. 무엇보다 개인정보 자기결정권은 헌법이 보호하는 기본권으로서 산업 발전을 위하여 이를 부당하게 제한해서는 안 될 것입니다.

데이터 환경은 인공지능 등 기술의 발전으로 갈수록 불투명해지고 있습니다. 그러나 우리 사회에서 정보주체의 권리 보장에 대한 진지한 고민은 4차 산업혁명의 구호 속에 실종되어 가는 듯 합니다. 반면 유럽연합 GDPR 등 국제기준에서는 정보주체가 자신의 개인정보 처리에 대하여 정보를 제공받을 권리, 접근할 권리, 수정할 권리, 삭제할 권리, 처리를 제한할 권리, 이동시킬 권리, 프로파일링 및 자동화된 의사결정에 대하여 행사할 수 있는 권리 등을 정교화해 나가고 있습니다.

또 최근 유럽에서는 기업 등 개인정보를 처리하는 자의 책임성 또한 강화되고 있습니다. 개인정보를 처리하는 자는 제품과 서비스에서 설계에 의한 개인정보 보호(data protection by design)와 기본설정에 의한 개인정보 보호(data protection by default)의 의무가 있고, 특히 고위험 개인정보 처리를 하는 경우 공공은 물론 민간에게도 개인정보 보호 영향평가의 의무가 있습니다. 나아가 개인정보 처리 활동을 기록해야 하고 독립적인 정보보호 책임자(DPO)를 두도록 하고 있기도 합니다. 그러나 안타깝게도 우리의 현행법과 개정안에서는 개인정보 처리자의 책임성 보장이 매우 부실한 상황입니다.

이에 연구보고서는 국내외 현황을 다각도로 살펴보고 정보주체에게 공정하고 투명하고 책임감 있는 개인정보 처리를 위한 정책 권고를 담았습니다. 우리의 개인정보 보호 법제도들은 정보주체의 권리를 충분히 보장하고 개인정보 처리자들의 책임성 또한 강화하는 방향으로 개선해야 할 필요가 있습니다. 또한 인공지능 등 신기술 환경에서 정보 인권을 보장하기 위한 거버넌스와 절차가 마련되어야 하고 국가인권위원회와 개인정보 보호위원회가 제 역할을 해야 합니다. 신용정보법과 개인정보 보호법으로 분산되어 있는 개인정보 보호 체계는 일원화되어야 하고, 정보기관 및 수사기관에 광범위한 예외를 구체적으로 한정할 필요가 있습니다.

국가인권위원회가 발주한 이 실태조사 연구보고서는, 사단법인 정보인권연구소 이사장 이호중 교수(서강대학교 법학전문대학원)가 책임을 맡았습니다. 이은우 변호사(법무법인 지향), 오병일 대표(진보네트워크센터), 장여경 이사(정보인권연구소), 김재완 박사(한국방송통신대학교)가 공동연구원으로 참여하고 희우 활동가(진보네트워크센터)가 연구보조원으로 참여했습니다.

※보고서 전문은 국가인권위원회 또는 [첨부: 유럽연합 「개인정보보호 규정」(GDPR) 등 국제인권기준에 따른 개인정보 보호 법제도 개선방안 연구]를 클릭하여 내려받으실 수 있습니다.

South Korea’s Covid-19 response has been considered successful so far, but at the same time, punishment and control-oriented policies have raised many concerns from a human rights perspective. In particular, excessive collection and disclosure of personal data in the process of epidemiological investigation and contact tracing of infected Covid-19 people resulted in infringement of digital rights . In some cases, patients’ personal data and movements were disclosed, causing them to suffer hate speech on the Internet, and more than 10,000 people’s access information to mobile base stations was collected in the name of tracking contacts. Despite opposition from the National Human Rights Commission of Korea and human rights organizations, electronic positioning devices (so called electronic bracelets) that have been applied to sex offender so far, are also forced to be worn  to violatiors of self-quarantine. it is mandatory to make a list of people entering certain facilities.

Although the policies are based on the public interest of responding to infectious disease, it needs to be improved to minimize human rights violations. It is necessary to check for the effectiveness of the infectious disease response, for any less intrusive means, and for sufficient safeguards to prevent abuse. Because Covid-19 won’t be the last infectious disease. 

This report summarizes the cases and issues of digital rights violations that have been controversial during the response to COVID-19 in S.Korea. Based on the report, the Korean Progressive Network JINBONET and Institution for Digital Rights will conduct further research next year. This report was produced with the support of the Association for Progressive Communications (APC)and will be published in English as well as in Korean. We hope this report will be used as a source of discussion with civil society and experts over the world on policies to better deal with infectious disease, protecting human rights.