인공지능의 건전한 발전과 신뢰기반 조성에 필요한 기본적인 사항을 규정하는 것을 목적으로 하는 『인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안』 (이하 “AI기본법”)*이 2024년 12월 26일 국회 본회의를 통과했습니다. AI기본법은 정부 이송 절차를 앞두고 있으며, 이송 후 15일내에 대통령의 재의요구권(거부권) 행사가 없다면, 법률로 공포 및 시행됩니다. AI기본법이 공포 및 시행된다면 대한민국은 EU에 이어 두번째로 인공지능 관련 일반법을 두고 있는 국가(또는 지역)가 됩니다. AI기본법의 주요 내용은 다음과 같습니다.

* 제22대 국회에서 발의된 19개 법안이 병합됨:
(여) 정점식·안철수·김성원·배준영·정희용 의원안 5건 / (야) 조인철·민형배·권칠승·한민수·황희·이훈기·김우영·이정헌·황정아·이해민·정동영·최민희 의원안 12건 / (여‧야 공동) 조승래‧이인선 의원안 2건

 

1. 주요 내용

(1) AI기본법은 인공지능 개발 및 육성, 인공지능 윤리 및 신뢰성 확보를 위한 정부 지원 거버넌스 체계를 수립했습니다.

□ 인공지능 개발 및 육성을 위한 국가 시책 마련

  • 과학기술정보통신부장관(이하과기정통부장관”)은 유관부처와 3년마다 인공지능기술 및 인공지능산업의 진흥과 국가경쟁력 강화를 위한 기본계획을 수립하여야 합니다(제6조).
  • 인공지능 기술 개발·이용 활성화(제13조) 및 기술 표준화(제14조) 관련 사업에 대한 정부지원을 통하여 산업 기반을 조성하고, 국가기관 및 기업의 인공지능 도입(제16조), 중소기업 및 창업 지원(제17조 내지 제18조), 전문인력 양성(제21조), 해외시장 진출 지원(제22조) 등을 통하여 인공지능기술 개발 및 산업 활성화를 촉진하도록 하였습니다.
  • 특히, 학습용데이터의 활용(제15조) 및 데이터센터 활성화(제25조)와 관련해서는 별도로 시책을 추진하도록 하여, 인공지능 시대의 ‘새로운 화폐’로도 불리는 데이터 관련 지원이 충분히 이루어질 수 있도록 하였습니다.

□ 인공지능 윤리 및 신뢰성 확보를 위한 국가 시책 마련

  • 정부는 인공지능의 안전성과 신뢰성, 인공지능기술이 적용된 제품에 대한 접근성 등과 관련된 인공지능 윤리원칙(제27조)과 인공지능의 안전한 이용을 위한 신뢰 기반 조성을 위한 시책(제29조)을 마련하도록 하였습니다.

□ 인공지능 유관 기관·단체 등의 법적 근거 마련

  • 인공지능신뢰 기반 조성을 위하여 2024년 9월 출범한 국가인공지능위원회의 법적 근거를 마련하였습니다(제7조).
    • 국가인공지능위원회는 대통령을 위원장으로 하며, 민간위원이 위원의 과반을 구성하도록 하여 민간이 주도하여 인공지능 정책을 마련하도록 하였습니다.
  • 또한 인공지능정책센터(제11조), 인공지능안전연구소(제12조), 한국인공지능진흥협회(제26조) 등 설립에 대한 법적 근거를 마련하여 인공지능 관련 정책 개발 및 업무 수행 등이 전문적이고 체계적으로 이루어질 수 있도록 하였습니다.

(2) AI기본법은 인공지능 윤리 및 신뢰성 확보를 위해 인공지능사업자에게 구체적인 의무를 부과하고 있습니다.

  • AI 기본법의 규율 대상이 되는 인공지능은 고영향 인공지능*과 생성형 인공지능**으로, 법은 인공지능사업자를 각 인공지능을 개발하여 제공하는 자(“인공지능개발사업자”)와 인공지능을 이용하여 제품 또는 서비스를 제공하는 자(“인공지능이용사업자”)로 구분하여 부과되는 의무를 달리하고 있습니다.
    * “고영향 인공지능”은 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서, 법에서 열거하는 영역 중 하나에 해당하는 경우를 의미
    ** “생성형 인공지능”이란 입력한 데이터의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 의미
    • AI기본법은 EU의 AI Act와 같이 위험 기반 접근 방식을 취하여 고영향 인공지능에 대하여 특별한 규율/규제를 하고는 있으나, EU AI Act와는 달리 인공지능의 위험을 4단계*로 구분하고 인간 기본권에 대한 명확한 위협으로 간주되는 특정 유형의 인공지능을 명시적으로 금지하고 있지는 아니합니다.
      * 금지된 위험, 고위험, 제한된 위험, 최소한의 위험 

[인공지능사업자의 주요 의무]

의무 내용
고영향 및 생성형
인공지능 투명성 확보
(제31조)
  • 고영향 또는 생성형 인공지능이용사업자: 제품 또는 서비스가 인공지능에 기반하여 운용된다는 사실을 이용자에 사전 고지
  • 생성형 인공지능사업자: 생성형 인공지능 또는 이를 이용한 제품 또는 서비스 제공 시 결과물이 인공지능에 의하여 생성되었다는 사실을 표시
  • 인공지능사업자: 인공지능을 이용한 결과물(딥페이크) 제공 시
    해당 결과물이 인공지능에 의하여 생성되었다는 사실을 고지⋅표시
대규모 인공지능 안전성 확보
(제32조)
  • 대규모 인공지능사업자: 일정 규모 이상의 인공지능(소위 “대규모 인공지능”)에 대하여 다음 조치를 이행하고, 그 결과를 과기정통부장관에 제출
    • 인공지능 수명주기별 위험 식별, 평가 및 완화
    • 인공지능 모니터링 및 위험관리 체계 구축
고영향 인공지능 확인
(제33조)
  • 인공지능사업자: 인공지능이 고영향 인공지능에 해당하는지에 대한 사전 검토 의무를 부담
    • 필요한 경우 고영향 인공지능 해당 여부에 대한 확인을 과기정통부 장관에 요청할 수 있음
고영향 인공지능
안전성·신뢰성 확보
(제34조)
  • 고영향 인공지능사업자: 다음의 각 조치를 이행하여야 함
    • 위험관리방안의 수립⋅운영
    • 인공지능 설명방안(학습용데이터 개요 포함) 수립·시행
    • 이용자 보호 방안의 수립·운영
    • 고영향 인공지능에 대한 사람의 관리·감독
    • 안전성·신뢰성 확보 조치 문서 작성
    • 그 외에 국가인공지능위원회에서 정한 사항
고영향 인공지능 영향평가
(제35조)
  • 고영향 인공지능이용사업자: 사전에 사람의 기본권에 대한 영향평가를 받기 위하여 노력하여야 함
    • 국가기관은 고영향 인공지능을 이용한 제품 또는 서비스를 이용하려는 경우에 영향평가를 받은 고영향 인공지능을 우선적으로 고려
국내대리인 (제36조)
  • 일정 규모 이상의 해외 인공지능사업자: 국내대리인 지정·신고 의무를 부담
    • 국내대리인은 (i) 대규모 인공지능 안전성 확보조치 결과 제출, (ii) 고영향 인공지능 확인신청 및 (iii) 고영향 인공지능 안전성·신뢰성 확보조치 이행 지원을 대리

 

  • (사실조사) 과기정통부장관은 제40조제1항에 따라 투명성 확보 의무, 안전성 확보 의무, 고영향 인공지능 안전성·신뢰성 확보 의무와 관련하여 (i) 위반되는 사항을 발견하거나 혐의가 있음을 알게 된 경우, (ii) 위반에 대한 신고를 받거나 민원이 접수된 경우에 사실조사를 실시할 수 있습니다. 구체적인 사실조사 대상은 아래와 같습니다.
    • 제공되는 결과물이 인공지능에 의해 생성되었다는 사실에 대한 표시 및 고지 의무(제31조제2항 및 제3항)
    • 인공지능 위험 식별·평가·완화, 위험관리체계 구축 등 안전성 확보 조치 이행 및 이행 결과 제출 의무(제32조제1항 및 제2항)
    • 고영향 인공지능 위험관리, 설명, 이용자 보호 등 수립·운영 등 고영향 인공지능의 안전성·신뢰성 확보 조치 이행 의무(제34조제1항)
  • (처벌) 한편, 투명성 확보 조치, 국내대리인 지정, 사실조사에 따른 중지 또는 시정명령 이행 등 규정을 위반한 인공지능사업자는 제43조에 따라 3천만원 이하의 과태료를 받게 됩니다. 과태료 부과 대상은 아래와 같습니다.
    • 고영향 인공지능 및 생성형 인공지능이용사업자 중 인공지능에 기반하여 운용된다는 사실에 대한 사전 고지 의무(제31조제1항)를 이행하지 않은 자
    • (해외 사업자의 경우) 국내대리인을 지정(제36조제1항)하지 않은 자
    • 과기정통부장관이 시행하는 사실조사에 따라 부과된 중지 또는 시정명령(제40조제3항)을 이행하지 않은 자

 

2. 시사점

  • AI기본법이 시행될 경우 인공지능 기술 개발, 제품 및 서비스 제공에 대한 규제 불확실성이 제거되고 인공지능 산업 진흥을 위한 지원 정책이 체계적으로 추진되어 국내 인공지능 혁신 생태계가 활성화되는 동시에 AI 규범 및 기술 주도권을 선점하게 될 것으로 기대됩니다.
  • 다만, AI기본법은 인공지능산업 지원에 관하여 정부 또는 정부기관이 추진하여야 할 정책 등을 규정하고 있으나, 아직 그 구체적인 내용은 나와 있지 않으며, 또한 AI기본법의 규율 대상이 되는 고영향 인공지능의 범위, 의무 이행을 위한 구체적 기준 및 절차 등은 시행령에 위임되어 있고, 위험관리와 설명 및 이용자 보호 방안의 수립·운영, 사람의 관리·감독, 안전성·신뢰성 확보 조치 문서 작성(제34조제1항) 등에 관한 사항들은 향후 발표되는 고시 및 가이드라인 등을 통해 구체화될 것입니다..
  • 따라서 고영향 또는 생성형 인공지능을 이용하여 사업을 영위하고 있는 혹은 영위하려는 사업자는 AI기본법상 인공지능사업자에 해당하는지, 해당한다면 개발사업자 또는 이용사업자 중 어디에 해당하는지를 확인하고, 부과되는 의무사항 및 정부 지원 등에 대해 사전에 상세히 검토하고 대비할 필요가 있으며, 이와 관련된 정부의 정책 수립 동향이나 시행령, 고시, 가이드라인 등의 제정 동향 등도 면밀히 모니터링할 필요가 있겠습니다.
    • 또한 사전에 안전성·신뢰성 검·인증을 받았거나(제30조제3항 및 제4항) 사람의 기본권에 미치는 영향을 평가한(제35조제1항 및 제2항) 고영향 인공지능이용사업자는 국가기관의 우선 구매 대상으로 고려되므로, 국가기관의 우선구매제도를 이용하고자 하는 사업자는 관련 검·인증 및 영향평가를 미리 준비하여야 할 것입니다.

 

About Shin & Kim’s ICT Group

법무법인(유) 세종은 다양한 산업 간 융합과 혁신이 창출되는 ICT 분야에 차별화된 전문성과 인적 네트워크(윤종인 전 개인정보보호위원회 위원장, 김영호 전 행정안전부 차관, 최재유 전 과학기술정보통신부 차관 등)를 보유하고 있으며, AI센터에서도 AI 등 신기술을 활용하는 기업들의 법 위반 리스크 및 비즈니스 리스크 최소화를 위한 전문적인 자문을 제공하고 있습니다. ICT 산업 전반에 대한 규제 동향 파악 및 대관, 입법컨설팅, 규제 영향력 분석과 기업의 전략 수립 등에 대한 법률자문을 제공하고 있으므로, 보다 전문적인 내용이나 궁금하신 사항이 있으면 언제든지 연락 주시기 바랍니다.

 

[English version] National Assembly passes the AI Basic Act