이 기사는 2024년 07월 02일 15:57 thebell 에 표출된 기사입니다.

SK쉴더스가 생성형 인공지능(AI) 서비스에서 발생 가능한 취약점을 발견했다고 밝혔다. 전 산업 분야에 AI 기술 도입이 확산됨에 따라 보안에 대한 체계적인 대비가 강조되고 있는 상황이어서 주목되는 이슈다. SK쉴더스는 연구 결과물을 지속적으로 공개하고 AI 모의 해킹부터 연계 보안 서비스까지 맞춤형 서비스를 제공해 대응하겠다는 방침이다.

SK쉴더스는 2일 서울 중구 페럼타워에서 '2024 상반기 보안 트랜드 분석 미디어 세미나'를 열고 AI의 발전이 가져올 보안 위협에 관한 연구 결과를 발표했다. 이번 행사는 SK쉴더스의 화이트해커 그룹 이큐스트(EQST)가 최근 주목받고 있는 AI 거대언어모델(LLM)의 취약점을 이용한 공격을 시연하고 대책 발표 등 위주로 진행됐다.

EQST 연구 결과에 따르면 AI LLM 서비스에서 발생 가능한 취약점 10개다. 이 중에서 위험도가 가장 높은 3가지를 시연했다. 우선 '프롬프트 인젝션'은 악의적인 질문을 통해 AI 챗봇에 적용된 지침과 정책을 우회하는 취약점이다. 이를 통해 악성코드를 생성하거나 마약 제조, 피싱 공격 등에 악용될 수 있다.

원격 접속코드 실행을 입력하자 AI 챗봇은 처음에는 위헙을 인지하고 거부했다. 하지만 악의적인 지시를 반복해서 입력하자 결국 해당 접속코드를 실행했다. 공격자가 기업의 LLM 운영 서버에 접속해 내부 정보를 탈취할 수 있다는 의미다. 악성코드 감염까지 가능하다는 사례도 소개됐다.

발표자로 나선 EQST랩 이호석 팀장은 "이러한 보안 위협을 감안해 AI를 자체적으로 구축한 기업들이 많아지고 있다. 다만 권한이나 역할을 분리하지 않으면 다른 부서의 자료에도 접근이 가능해진다"며 "내부 LLM이라 할지라도 권한분리가 안되면 자료 유출이 가능해 보안관리를 신경 써야 한다"고 말했다.


이어서 '불안전한 출력 처리' 취약점이다. 이는 LLM이 생성한 출력을 적절하게 처리하지 못할 때 발생한다. 공격자가 프롬프트 인젝션 기법을 활용해 원격 접속코드 실행이 포함된 내용을 AI 챗봇에게 질문해 코드를 생성한 후 서버에 침투하는 방식이다. 2차 공격으로도 이어질 수 있어 위험도가 높다.

마지막으로 개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 '민감 정보 노출'이다. 챗봇을 학습시킬 때 민감 정보 필터링이 미흡하면 LLM이 생성하는 답변에 학습된 민감 정보가 출력되는 방식이다. 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다고 SK쉴더스는 강조했다.

AI 서비스가 빠르게 성장하고 있는 가운데 이러한 변화에 발맞춰 SK쉴더스는 AI 모의해킹부터 연계 보안 서비스까지 고객에 맞춘 서비스를 제공하고 있다. LLM 인프라는 서버, 모델 저장소, 플러그인 등 일반적인 웹 서버의 구성보다 복잡하기 때문에 고객 환경에 맞춘 보안 시스템 구축이 필수적이다.

SK쉴더스 김병무 정보보안사업부장은 "전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 이에 대한 체계적인 대비가 필요하다"며 "SK쉴더스는 선제적으로 보안 트랜드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다"고 말했다.