AI 피싱 공격 1년 새 442% 급증
오픈AI·구글 'AI 안전성' 외면에 비판 ↑

AI로 생성한 이미지. 챗GPT 제공

생성형 인공지능(AI)이 사이버공격의 도구이자 표적이 되며 새로운 보안위협의 중심에 서고 있다. 최근에는 AI로 합성한 음성을 활용한 보이스피싱뿐 아니라 대형언어모델(LLM)을 기반으로 한 피싱 메일, 악성 스크립트 공격까지 등장했다. 동시에 AI가 검색엔진, 자율주행, 군사시스템 등 핵심 인프라에 투입되면서 해커가 이런 AI시스템을 침투·조작하면 그 피해규모가 상상을 뛰어넘을 수 있다는 우려도 커지고 있다.

하지만 최근 들어 오픈AI와 구글 등 글로벌 빅테크들은 AI모델 공개 전 시행해야 할 안전성 검증 절차를 대폭 축소하거나 핵심 보고서조차 생략하고 있다. 빅테크들이 AI 경쟁에서 앞서기 위한 속도전에만 몰두하고 가장 중요한 AI 안전성은 뒷전으로 밀리고 있다는 지적이 나온다.

◇AI 활용한 공격 지속적 ↑… 악용 우려도 증가= 글로벌 보안업체 크라우드스트라이크가 최근 발표한 '2025 글로벌 위협 보고서'에 따르면 지난해 하반기 기준 AI기반 피싱 공격은 전년 동기 대비 442%나 증가했다. 해커들이 LLM을 활용해 음성 피싱과 피싱 이메일 등 정교한 사회공학적 공격을 수행하고 있다. 특히 북한과 중국의 사이버공격 조직은 이런 AI기반 기술을 적극적으로 악용하고 있다. 중국 연계 해커 조직은 지난해 사이버 공작 활동을 전년 대비 150% 늘렸고 제조·금융·미디어 등 주요 산업을 겨냥한 표적 공격은 최대 300% 증가했다.

AI가 단순히 공격 수단으로만 쓰이는 것은 아니다. 해커들은 클라우드 기반 AI시스템에 침투해 무단 질의를 수행하거나 데이터를 탈취하는 'LLM 재킹' 방식의 공격도 감행하고 있다. 보고서는 "생성형AI가 복잡한 사이버공격 캠페인에서 핵심적인 역할을 했다"며 "생성형AI는 공격을 가능케 하는 동시에 해커의 표적이 되기도 한다"고 경고했다.

◇테스트 줄인 오픈AI, 보고서 안 낸 구글= 하지만 AI 악용 증가세에도 글로벌 AI기업들의 대응은 오히려 뒷걸음질 치고 있다. 모델 안전성을 확보하려는 노력이 갈수록 줄어드는 추세다. 파이낸셜타임스(FT)에 따르면 오픈AI는 'o3' 모델을 출시하면서 사전 테스트 기간을 기존 수개월에서 수일로 대폭 줄인 것으로 알려졌다. GPT-4 모델은 출시 전 6개월 이상 평가가 이뤄졌지만 'o3'의 경우 외부 검증 기간이 일주일도 채 되지 않았다는 것이다.

오픈AI 내부 평가에 참여한 관계자는 "기술이 덜 발전했을 때는 오히려 더 철저한 검증이 있었다. 지금은 무기화 가능성이 더 커졌지만 상업화 속도가 우선시된다"라며 "재앙의 전조일 수 있다"고 말했다. 또 다른 관계자도 "위험한 기능이 모델 출시 수개월 뒤에야 확인된 사례도 있었다"며 "빠른 출시 경쟁 속에서 공공 안전은 뒷전으로 밀릴 수밖에 없다"고 설명했다.

구글 역시 안전성 관련 약속을 제대로 이행하지 않았다는 지적을 받고 있다. 구글은 지난해 미국 백악관 및 G7 정상회의에서 "모든 주요 모델 공개 시 안전성 보고서를 의무적으로 공개하겠다"고 자발적으로 약속한 바 있다. 모델의 위험성, 제한 사항, 적절한 사용 사례 등을 담는 문서다. 하지만 지난 3월 최신 LLM '제미나이 2.5 프로'를 내놓을 때는 안전성 보고서 없이 모델 배포부터 했다.

◇경쟁 과열, 책임은 실종…"규제 필요"= 오픈AI는 절차를 축소한 게 아니라 효율화한 것이고 안전성에는 문제가 없다는 입장이다. 회사는 "속도와 철저함 사이에서 균형을 맞추고 있다"고 밝혔다. 또 구글 딥마인드의 경우 "사전 테스트는 완료됐으며 관련 보고서도 곧 공개할 예정"이라고 해명했다. 다만 보고서가 공개되지 않은 상황이 한 달 넘게 이어지면서 형식만 남은 해명이란 비판도 제기된다

이처럼 AI 기술 발전 속도에 비해 안전성 확보 노력이 뒷받침되지 않는다면 AI가 언제든지 무기로 악용될 수 있다는 경고가 이어지고 있다. 산드라 바흐터 옥스퍼드대 인터넷연구소 교수는 "이런 행태는 투명성을 외면하고 기술 경쟁에만 집중하는 것"이라며 "만약 이게 자동차나 항공기였다면 안전 점검도 없이 출시를 서두르지는 않았을 것"이라고 비판했다.

케빈 뱅크스턴 AI 거버넌스 전문가 또한 "이들 기업이 스스로 약속한 가장 기본적인 안전성 약속조차 이행하지 않는다면 이 분야에선 더 이상 자율 규제가 통하지 않을 것"이라며 "정부 차원의 강력한 투명성 요구와 법제화가 절실하다"고 말했다.

유진아기자 gnyu4@dt.co.kr

Copyright © 디지털타임스. 무단전재 및 재배포 금지.