【와티비커뮤니티-WATVcommunity】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 스포츠뉴스 : 안구정화 놀이터홍보 놀이터후기공유 피해사례공유

로그인

채팅

글쓰기

[IT뉴스]AI 에이전트, ‘반복 승인’이 병목, 앤트로픽이 제시한 해법은?

온카뱅크관리자

2026-10-01 06:07:25

<div id="layerTranslateNotice" style="display:none;"></div> 최상근 앤트로픽 테크 리드, ‘삼성 AI 포럼 2026’서 안전한 에이전트 설계 전략 발표 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="4T2tOHd8Tk">
 <figure class="figure_frm origin_fig" contents-hash="1ec9358ab85e3282ae240d65a4dee8b150b38b22612d0767d759c4c0faca65c3" dmcf-pid="8yVFIXJ6Tc" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/01/552796-pzfp7fF/20261001060035729skht.jpg" data-org-width="640" dmcf-mid="frnV5BwaTE" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/01/552796-pzfp7fF/20261001060035729skht.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] 인공지능(AI) 에이전트가 오랜 시간 여러 단계를 거쳐 복잡한 업무를 수행하는 단계로 진화하면서 사람이 행동 하나하나를 확인하는 ‘승인 피로’가 새로운 자동화 병목으로 떠오르고 있다. 대부분의 권한 요청을 결국 허용하면서도 매번 사람의 확인을 거치게 하면 사용자의 주의를 소모하고 AI 에이전트의 자율성을 떨어뜨릴 수 있다는 지적이다.
 최상근 앤트로픽 테크 리드는 30일 서울 삼성전자 서초사옥에서 열린 ‘삼성 AI 포럼 2026’에서 ‘클로드를 안전하게 업무에 적용하기’를 주제로 발표하고 엔지니어링과 연구개발(R&amp;D) 현장에서 AI 에이전트를 안전하게 자동화하기 위한 설계 방향을 제시했다.
 최 테크 리드는 AI 에이전트가 오랜 시간 여러 단계를 거쳐 복잡한 업무를 수행하게 되면서 파일 수정과 명령 실행, 외부 도구 사용 등 실제 행동도 크게 늘고 있다고 설명했다. 문제는 행동할 때마다 사람에게 허가를 요구하면 AI가 일을 대신해도 사용자가 화면 앞에서 계속 ‘허용’을 눌러야 한다는 점이다.
 그는 “약 93% 정도의 액션은 사용자가 승인하기 때문에 액션 하나하나에 대해 일일이 허가를 받는 것은 사용자의 주의를 너무 많이 요구하고 자동화 효율을 크게 떨어뜨린다”며 “승인 시스템 자체를 더 자동화하는 것이 중요하다”고 말했다.
 앤트로픽이 공개한 클로드 코드 사용 데이터에서도 사용자에게 뜨는 권한 요청 가운데 약 93%가 결국 승인되는 것으로 나타났다.
 ◆ 매번 ‘허용’ 누르지 않게…에이전트에 3중 방어선
 앤트로픽이 제시한 해법은 모든 행동을 사람이 감독하는 대신 에이전트가 애초에 할 수 있는 행동의 범위를 좁히는 것이다. 이를 위해 환경, 외부 콘텐츠, 모델 등 세 단계에 방어선을 둔다.
 첫 번째는 외부 시스템과 격리된 실행 환경인 샌드박스나 가상머신을 활용해 에이전트가 접근할 수 있는 파일과 네트워크 범위를 운영체제 단계에서 제한하는 방식이다. 특정 폴더에서만 파일을 수정하도록 하거나 신뢰할 수 있는 사이트만 미리 승인해 두고 나머지 접근을 막는 식이다. 최 테크 리드는 “환경 안에서는 모델이 어떠한 행동을 취하더라도 괜찮도록 애초에 디자인하는 것”이라며 “사람이 모델의 모든 행동을 일일이 검사하고 승인할 필요가 구조적으로 없어지는 것”이라고 설명했다.
 비밀번호나 인증키 같은 민감정보는 아예 에이전트 바깥에 두는 방식도 제시했다. 그는 이를 직원 개개인에게 회사의 마스터키를 지급하는 대신 필요할 때 보안부서를 통해 사용하도록 하는 것에 비유했다. 에이전트가 핵심 인증정보를 직접 갖고 있지 않으면 오작동하더라도 이를 이용한 정보 유출을 구조적으로 막을 수 있다는 설명이다.
 두 번째 방어선은 외부 콘텐츠다. 특히 AI가 외부 서비스나 도구를 연결해 쓰도록 하는 MCP의 경우 외부 개발자가 만든 도구를 기업이 지속적으로 통제하기 어렵다는 점을 지적했다. 특정 시점에 점검했더라도 외부 개발자가 이후 업데이트할 수 있고, 문서나 설명에 숨겨진 지시문이 삽입돼 AI가 잘못된 행동을 하도록 유도하는 프롬프트 인젝션 위험도 있다는 설명이다.
 최 테크 리드는 이런 외부 도구에는 가능한 한 쓰기 권한을 막고 읽기 전용처럼 제한적인 권한만 부여할 것을 권고했다. 실제 업무에 투입하기 전에는 정상적인 사용 환경뿐 아니라 공격 상황을 가정한 보안 시험도 거쳐 문제가 없는 것을 확인해야 한다고 강조했다.
 마지막 방어선은 모델 단계다. 행동의 위험 여부를 판별하는 시스템이 에이전트가 하려는 행동을 확인하고 안전하다고 판단하면 자동으로 실행하도록 한다. 반대로 위험 가능성이 있다고 판단되면 사람에게 판단을 넘겨 직접 확인하도록 한다.
 다만 너무 많은 행동을 위험하다고 판정하면 다시 사용자가 계속 승인을 눌러야 하는 문제가 생긴다. 최 테크 리드는 “실패 사례를 지속적으로 반영해 잘못 걸러내는 경우와 위험한 행동을 놓치는 경우를 모두 줄여야 한다”고 설명했다.
 앤트로픽은 세 방어선이 한 번에 작동하도록 일부러 겹쳐 설계한다. 한 단계에서 위험한 행동을 놓치더라도 다른 단계에서 다시 걸러내기 위해서다.
 ◆ “반도체 기밀, 샌드박스 탈출해선 안 돼”
 이 같은 권한 설계는 실제 코드와 설계 문서를 수정하고 시스템까지 실행해야 하는 엔지니어링과 R&amp;D 현장에서 더욱 중요하다. 에이전트에 높은 권한을 줄수록 생산성은 올라가지만 잘못된 판단이 실제 시스템에 미치는 영향도 함께 커지기 때문이다.
 최 테크 리드는 질의응답에서 “완전히 치명적이고 중요한 행동에 대해서는 환경 단계에서 애초에 그런 행동을 완전히 차단해 둬야 한다”며 “위험이 다소 있지만 수용 가능한 행동은 추가로 분류 시스템을 사용해 기존 위험을 크게 줄이면서 에이전트의 자율성을 최대한 활용하고 사람의 승인은 최소화할 수 있다”고 말했다.
 현장에서는 삼성전자 DS 부문에서 클로드 코드를 사용할 경우 국가 규제 대상 정보와 반도체 기밀을 어떻게 보호해야 하느냐는 질문도 나왔다.
 이에 최 테크 리드는 “삼성전자 반도체 관련 기밀이 샌드박스를 탈출해 외부로 유출돼서는 안 된다”고 강조했다. 이어 AI가 복잡한 행동을 연속적으로 수행하더라도 격리된 환경을 벗어날 수 없는지 공격자 관점에서 반복적으로 확인하는 보안 시험을 충분히 수행해야 한다고 조언했다.
 기업 정보 유출을 막기 위한 데이터 관리도 강조했다. 최 테크 리드는 사용자가 입력한 내용을 서버에 저장하지 않는 제로 데이터 리텐션 방식을 활용하면 정보 유출 가능성을 낮출 수 있지만, 원본 입력 내용을 저장하지 않더라도 캐시 등에는 관련 정보가 남을 수 있다고 설명했다. 이 때문에 환경 설정과 위험 행동을 판별하는 시스템을 함께 운영해야 한다는 것이다.
 최 테크 리드는 “에이전트의 자율성을 최대한 살리면서 인간의 통제력도 어느 정도 유지하고 위험 요소를 최대한 줄이는 방식이 필요하다”고 강조했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

SKT·카카오·KT, 10월 중 '모두의 AI' 첫선…전국민 무료 AI 말 끊어도 되나?…MS 손잡은 LG 씽큐 온, ‘끼어들기 대화’ 가전으로

댓글 총 0개

업체홍보/구인 더보기

놀이터홍보 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기