AI 기본법 시행, 자세히 알고 계셨나요?

개정 및 신설 내용과 가이드라인, 실무자 반응까지 총정리

---

「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 AI 기본법)」이 1월 22일  시행됐다.  2024년 12월 여·야 합의를 거쳐 국회를 통과한 AI 기본법은 전 세계에서 두 번째로 제정된 AI 관련 기본법으로,  AI 산업  활성화와 기반 조성,  AI  산업에 대한 안전 신뢰 기반에 대한 내용을 담고 있다.

관련 기사: 드디어 통과된 ‘AI 기본법’, 알기 쉽게 정리했습니다

법안은 발의된 기본법에서 제시한 법안에 의거해 구체적이고 현실적인 적용 체계를 마련했다고 볼 수 있다. 더해서 과학기술정보통신부(이하 과기정통부)는 AI 기본법에 대한 이해를 돕기 위해 5가지 가이드라인을 함께 공개했다.

과기정통부는 법안과 가이드라인을 발표하며 “이번 기본법을 통해 현장에서의 법적 불확실성을 제거하고, 건강하고 안전한 국내 AI 생태계가 조성되기를 기대한다”는 입장을 밝혔다. 그렇다면 시행된 AI 기본법과 5종의 가이드라인은 구체적으로 어떤 내용을 포함하고 있으며, 이에 대한 산업 실무자들의 반응은 어떨까?

*통상적으로 ‘AI’로 표현했으나, 정책명 또는 기관명 등의 표현에는 수정 없이 ‘인공지능’으로 표기했습니다.

AI 기본법에서 개정 및 신설된 내용은?

1. 정의의 강화 및 구체화

AI 기본법은 대체로 작년 발의안의 내용을 따라간다. 다만 몇몇 변화도 있는데, 우선 정의된 AI에 대한 용어 정의를 강화 및 구체화했다. AI와 관련된 용어의 정의는 대체로 동일하다. 법안에서 명시한 ‘인공지능’ ‘인공지능기술’ ‘인공지능산업’ ‘인공지능사업자’의 정의는 대부분 그대로 유지됐다.

그렇다면 용어 정의에서 개정된 부분에는 무엇이 있을까?

‘인공지능시스템’ 정의 강화

발의안에서 인공지능시스템은 ‘인공지능 기술을 활용한 시스템’ 정도의 추상적 정의에 가까웠다면, 시행안에서는 “다양한 수준의 자율성과 적응성을 가지고, 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측·추천·결정 등의 결과물을 추론하는 인공지능 기반 시스템”이라는 정의로 구체화됐다. 구체화된 정의에는 ‘자율성’ ‘적응성’ ‘실제 및 가상환경에 영향’ 등의 표현이 명문화된 것을 확인할 수 있다.

‘인공지능 정의’ 영역의 목록화

발의안에서 ‘생명·안전·기본권에 중대한 영향을 미치는 AI’라고 정의된 인공지능의 정의 영역이 시행안에서는 ‘핵시설 관리’ ‘범죄 수사·체포용 생체인식’ ‘교통 시스템’ ‘공공서비스 의사 결정’ 등으로 목록화 됐다.

생성형 인공지능 정의 독립

‘AI의 한 유형’으로 분류된 생성형 AI가 시행안에서 ‘입력 데이터의 구조와 특성을 모방하여
글·소리·그림·영상 등 결과물을 생성하는 인공지능 시스템’으로 정의된 별도 규율 대상으로 분리됐다.

생체인식 구체화

‘생체정보 활용’ 정도의 포괄적 표현이 시행법에서는 ‘얼굴’ ‘지문’ ‘홍채’ 등으로 구체화됐다.

2. 시행안에서 신설된 사항

시행안에는 발의안에 포함되지 않았던 몇몇 조항이 신설되기도 했다. 신설된 조항 예시는 다음과 같다.

인공지능취약계층의 참여 보장 및 반영

법안은 AI 서비스 이용에 어려움을 겪는 장애인·고령자 등을 대통령령으로 정하는 ‘인공지능취약계층’으로 규정하고, 이들의 참여를 보장하고 의견이 반영될 수 있도록 노력해야 한다는 내용을 신설했다. 이에 따라 제6조 인공지능 기본계획의 수립에도 AI 제품 및 서비스에 대한 인공지능취약계층의 접근과 이용을 보장한다 등의 사항이 포함됐다.

인공지능 서비스 이용비용 지원

국가와 지방자치단체가 경제적 여건으로 AI 제품 및 서비스를 이용하지 못하는 사람에 대해 예산 범위에서 그 비용의 일부 또는 전부를 지원하는 정책이 신설됐다. 비용 지원 요건과 대상 등 필요 사항은 대통령령으로 정한다.

벤처투자모태조합을 통한 지원

중앙행정기관장은 AI 분야의 창업 활성화를 위해 중소벤처기업부장관과 협의해 ‘벤처투자모태조합’을 활용해 지원 할 수 있다. 이를 위한 지원 자금은 국가나 지방자치단체 또는 공공기관의 출자금, 조합에 출자를 희망하는 자의 출자금, 그 밖의 부대수입 등으로 조성한다.

인공지능 개발·활용 연구를 위한 수행 기관 설립 및 운영

과기정통부 장관은 필요한 경우 대통령령으로 정하는 바에 따라 인공지능의 개발·활용에 대한 연구를 수행하는 기관을 설립하거나 운영할 수 있다.

고영향 인공지능 영향 평가에 인공지능취약계층 특성 반영

고영향 인공지능을 이용한 제품 또는 서비스를 제공하는 사업자는 사람의 기본권에 미치는 영향을 평가하기 위해 노력하는 것 외에도 제품 또는 서비스의 성격을 고려해 인공지능취약계층의 특성이 반영될 수 있도록 해야 한다.

가이드라인의 세부 내용은?

지금까지 발의안과 비교해 AI 기본법 시행안에 대한 내용을 구체적으로 살펴봤다. 그렇다면 과기정통부가 공개한 5가지의 가이드라인에는 어떤 내용이 담겨있을까?

1. 고영향 인공지능 판단 가이드라인

고영향 인공지능 판단

가장 먼저 살펴볼 「고영향 인공지능 판단 가이드라인」에서 다루는 고영향 인공지능은 ‘사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미칠 위험이 있는 인공지능시스템’으로 정의된다.

판단은 두 가지 단계로 이뤄지는데, 우선 법안에서 제시하는 영역에 해당해야 한다. 영역에 해당한다면, AI가 사람에 대한 중대한 영향이나 위험을 초래할 우려가 있는지 검증한다. 만약 영역에 해당하는 AI가 후자의 기준에도 부합한다면 고영향 인공지능으로 분류되는 것이다. 판단 기준은 입법취지에 따라 주로 ‘부정적 영향’에 초점을 둔다.

고영향 인공지능사업자의 책임

고영향 인공지능에 해당하는 AI 사업자는 이용자에게 고영향 인공지능 기반 운용 사실을 사전 고지해야 한다. 더해서 신뢰성 및 안정성 확보를 위해 관리 감독 등 법안에서 규정한 조치를 이행해야 한다. 다만 개발사업자가 법상 고영향 인공지능사업자의 책무를 이행해 이용자에게 AI 시스템을 제공한다면, 중복 규제를 피하기 위해 일부 책무를 면제 받을 수 있다.

고영향 인공지능 확인절차

사업자는 자사의 AI가 고영향 인공지능에 해당하는가에 대한 확인을 요청할 수 있다. 사업자가 고영향 인공지능에 대한 확인 요청서를 제출하면, 과기정통부 검토→전문위원회 자문→판단 및 회신의 절차를 거친다. 해당 절차에서 주요하게 고려하는 사항은 다음과 같다.

1. 법 제2조제4호 각 목(에너지법·먹는물관리법 등)의 하나의 영역에 활용되는지 여부 및 목적
2. 기본권에 초래할 수 있는 위험이나 영향이 있는가(중대성, 빈도 등)
3. 고영향 인공지능 해당 여부에 대한 사전검토 결과
4. 고영향 인공지능 해당 여부에 대한 전문위원회 자문 결과
5. 그밖에 과기정통부 장관이 해당 여부 확인을 위해 필요한 자료로서 정하는 사항

2. 최첨단 인공지능 안전성 확보 가이드라인

최첨단 인공지능 적용 대상

「최첨단 인공지능 안정성 확보 가이드라인」에서는 ‘최첨단 인공지능’에 대해 다룬다. 법안에서 제시하는 다음 세 가지 요건을 충족하면 최첨단 인공지능의 적용 대상이 된다.

1. 학습에 사용된 누적 연상량 10^26 FLOPs 이상
2. 최첨단 인공지능기술 적용해 구성·운영
3. 사람의 생명이나 신체 안전, 기본권, 공공 안전에 중대한 영향을 미칠 가능성

적용 대상의 의무

위 세가지 요건을 모두 충족하면 최첨단 인공지능 적용 대상이며, ‘안정성 확보 의무 적용 대상’에 해당한다. 해당하는 사업자는 안정성 확보 조치 이행 사항을 문서로 작성해 과기정통부 장관에게 제출해야 한다.

3. 인공지능 투명성 확보 가이드라인

적용 대상

「인공지능 투명성 확보 가이드라인」은 이용자에게 최종적으로 AI 제품 및 서비스를 제공하는 인공지능사업자에게 부과되는 의무인 ‘인공지능 투명성 확보 의무’를 다룬다. 단순히 AI 제품이나 서비스를 이용한 결과물을 자신의 서비스에 활용한다면 적용 대상이 아니다.

투명성 의무

인공지능 투명성 확보 의무는 세 가지 의무를 포함하고 있다.

1. 사전 고지 의무: AI 사업자가 고영향 인공지능 또는 생성형 AI를 이용한 제품·서비스를 제공하는 경우, 제품·서비스가 AI에 기반해 운용된다는 사실을 이용자에게 사전에 고지해야 한다.
2. 표시 의무: 생성형 AI를 활용한 제품·서비스를 제공하는 경우, 결과물이 생성형 AI에 의해 생성됐다는 사실을 표시해야 한다.
3. 딥페이크의 표시 의무: AI 시스템을 이용해 딥페이크 결과물을 제공하는 경우 결과물이 AI에 의해 생성됐다는 사실을 이용자가 명확히 인지할 수 있도록 고지 또는 표시해야 한다.

사전 고지 방법

1. 서비스 이용약관, 서비스 가입 절차 및 계약서에 생성형 AI 또는 고영향 인공지능 표시
2. S/W, 모바일 어플리케이션 등의 서비스 제공 화면상에 생성형 AI 또는 고영향 인공지능 표시
3. 오프라인 서비스의 경우 이용 전 충분히 인식할 수 있는 관련 장소에 개시

4. 인공지능 영향평가 가이드라인

인공지능 영향평가란

「인공지능 영향평가 가이드라인」에서는 고영향 인공지능을 사용해 제품·서비스를 제공하는 사업자가 사전에 사람의 기본권에 미치는 영향을 평가하기 위해 받아야 하는 ‘인공지능 영향평가’에 대해 다룬다. 이는 국민의 기본권을 보호함과 동시에 글로벌 상호운용성을 확보하기 위함이다. 평가는 사업자가 자율적으로 필요하다고 판단하는 경우에 수행할 수 있으며, 전문성을 보유한 제3자에게 의뢰할 수 있다.

인공지능 영향평가 수행 단계

인공지능 영향평가는 ‘사전 준비→본 평가 수행→사후’ 단계로 진행된다. 사전 준비 단계에서는 평가 필요성을 검토하며, 제품·서비스가 고영향 인공지능에 해당하는가를 평가한다.

본 평가 수행 단계에서는 ‘인공지능 제품·서비스가 기본권에 미치는 영향을 체계적으로 식별·분석’한다는 목표를 가진다. 이를 위해 제품·서비스의 직·간접적 피영향자를 분석하며, 평가대상이 되는 AI 제품·서비스의 작동원리를 상세히 분석한다. 이후 ‘시나리오 기반 위협 분석’ ‘기본권 식별’ ‘기본권 영향 판단’ 등의 조사 과정을 거쳐 최종적으로 평가 과정에서의 피드백에 따른 운영 정책· 절차 업데이트 등의 후속 조치가 이뤄진다. 영향평가의 결과는 사업자의 판단에 따라 자율적으로 공개 여부를 결정할 수 있다.

5. 고영향 인공지능사업자 책무 가이드라인

고영향 인공지능사업자 책무

「고영향 인공지능사업자 책무 가이드라인」은 고영향 인공지능사업자에게 부과되는 법안에 명시된 책무를 다룬다. 부과되는 책무는 다음과 같다.

1. 위험관리방안의 수립· 운영
   사업자는 고영향 인공지능의 설계·개발·운영 과정에서 발생 가능한 법적, 사회적 위험 관리를 위한 계획을 수립해야 한다. 계획은 인공지능의 전 수명주기에 걸쳐 발생할 수 있는 위험을 식별하고 분석, 평가해 적절한 처리 절차를 포함하는 방향으로 작성해야 한다.
2. 인공지능이 도출한 최종결과에 활용된 학습용 데이터의 개요 등에 대한 설명 방안 수립· 시행
   개발사업자는 인공지능의 주요 작동원리, 기능 및 한계를 문서화해 투명성 확보에 기여해야 한다. 문서에는 학습 구조, 알고리즘 구조, 인공지능 모델 등이 포함될 수 있으며, 시스템 아키텍처 또는 알고리즘이 조정된 경우 문서를 수정할 수 있다.
3. 이용자 보호 방안 수립· 운영
   개발 및 이용사업자는 데이터 수집 및 관리 과정에서 데이터의 수집 목적, 처리 방식 등을 문서화해 관리하고, 데이터 활용의 적법성과 신뢰성을 확보하기 위해 노력해야 한다. 필요하면 SMS-P(정보보호 및 개인정보보호 관리체계 인증), CSAP(클라우드 서비스 보안인증) 등을 도입할 수 있다.
4. 고영향 인공지능에 대한 관리· 감독
   개발사업자는 인공지능이 제품·서비스 목적에서 벗어난 방식으로 작동하거나 비정상적인 결과를 도출하는 경우, 사람이 이를 식별하고 개입할 수 있도록 설계해야 한다. 인공지능이 특정 조건이나 임계값을 초과할 경우, 자동으로 경고를 발생시키고 사람의 검토 및 승인을 유도하는 제어 절차를 포함할 수 있다.

   이용사업자는 비정상적 행동이나 예외 상황 발생 시 이를 분석하고, 필요시 시스템 동작을 일시중지하거나 수정할 수 있는 권한과 도구를 갖춰야 한다.

5. 안정성· 신뢰성 확보 위한 조치 내용을 확인할 수 있는 문서 작성· 보관
   개발 및 이용사업자는 안전성·신뢰성 확보를 위해 사용하는 인공지능 관련 주요 정보를 서면 또는 전자문서의 형태로 문서화하며, 필요 시 정기적으로 점검·갱신하여 최신 상태를 유지하기 위해 노력해야 한다. 문서에는 문서 ID, 버전, 작성 담당자, 작성일을 기록하고 대상 인공지능의 전반적인 내용과 작동 방식, 구성요소 등을 이해할 수 있도록 작성돼야 한다.

   관계기관, 이용자 등이 열람을 요청한 문서에 영업비밀 등 이 포함된 경우, 관련 법령에 따라 해당 내용을 제외한 부분만 선별하여 제공할 수 있다.

6. 그 밖의 고영향 인공지능 안정성· 신뢰성 확보 위해 위원회에서 심의· 의결된 사항

AI 기본법, 시장의 반응과 현황은 어떨까?

지금까지 시행된 AI 기본법과 정부에서 발표한 가이드라인의 주요 내용에 대해 알아봤다. 과기정통부는 이번 AI 기본법의 주요 내용을 다음과 같은 8가지로 요약한다.

1. 국가 인공지능 행정체계(거버넌스) 확립
2. 인공지능 연구 개발 및 학습용 데이터의 구축·제공
3. 인공지능 도입·활용 지원 및 실증기반 조성
4. 국제 협력 및 해외 시장 진출 지원
5. 인공지능 집적단지 지정
6. 투명성 확보 의무 도입
7. 안전성 확보 의무 도입
8. 고영향 인공지능 판단 및 사업자의 책무 도입

그렇다면 AI 기본법에 대한 실무자들의 반응은 어떨까?

실무자들의 반응은

익명을 요청한 한 AX 조직 관계자는 “IT 전문가들은 인지하고 있으나, 대부분 아직 개념적 이해 수준에 머물러 있다”는 평가를 전했다. 그는 특히 실체화 단계에서 판단 기준이 문제가 될 것이라고 분석했는데, 정책이 정적인 상태로 공유되고 있는 반면 AI 기반 서비스와 저작물은 빠르게 늘어나고 있는 탓에 기술 발전 속도와 간극이 발생하고 있다고 판단하기 때문이다.

한 디지털 에이전시 관계자 또한 실무 기준에서 아직 AI 기본법이 충분하지는 않다는 입장을 밝혔다. 그는 “법안은 주로 원칙과 기준 중심으로 큰 방향성을 제시하고 있지만, 실제 기업이 어디까지 활용해도 될지, 어떤 기준을 지켜야 할 지에 대한 구체적인 운영지침에 대해서는 여전히 모호한 부분이 존재하는 것 같다”고 말했다.

정부 가이드보다 먼저 움직이는 현실

익명의 디지털 에이전시 관계자는 “정부의 AI 기본법이 아직 충분히 세부적이지 못한 부분이 있다고 판단해 AI 활용 범위, 데이터 기준, 책임 주체, 클라이언트 커뮤니케이션 방식까지 내부의 기준을 먼저 정리하려는 움직임을 보이고 있다”고 밝혔다.

앞서 AI 기본법을 아직 개념적인 상태에 머물러 있다고 평가한 익명의 AX 관계자 또한 “아직 기업은 어디까지를 허용된 규제 범위로 보고 서비스를 설계해야 하는지에 대한 실질적인 고민을 안고 있다”며 “이러한 환경 속에서 기업이 동적 변화에 대응 가능한 보안 체계, 유연한 정책 구조, 빠른 의사결정 체계, 반복 가능한 제품 개발 패턴을 시스템 차원에서 함께 갖출 것을 권장한다”고 덧붙였다.

AI 기본법에 아직 우려 있는 현실… 정부 입장은

이러한 상황에 과기정통부는 기업의 혼란을 최소화하고, 현장에서 충분히 준비할 시간을 제공하기 위하여 최소 1년 이상 규제를 유예할 방침이다. 유예 기간 동안 사실조사, 과태료 관련 계도기간을 운영하며 사실조사는 인명사고, 인권 훼손 등 중대한 사회적 문제 발생과 같은 극히 예외적인 경우에만 실시한다.

법안 발의 이후 시행안에서 개정 및 신설된 내용도 다수 존재하고, 관련 가이드라인 또한 배포했으나 산업 실무자들은 아직 AI 기본법에 대해 혼란을 겪고 있는 것으로 해석된다. 정부가 공표한 유예 기간 내 AI 기본법을 둘러싼 정부와 시장의 이해 사이의 간극이 조속히 메워지길 희망해 본다.

Writer. 이민호
by. 디지털 인사이트

*해당 글은 소마코 제휴사 디지털 인사이트의 저작물로 무단전재 및 재배포를 금지합니다.