우리 회사가 쓰는 AI 정작 그 AI는 안전할까? (3편: 대응과 자가진단 편)

세 편에 걸친 이야기의 마지막입니다. 첫 편에서는 "우리가 쓰는 AI 자체도 보안 구멍이 될 수 있다"는 큰 그림을 그렸고, 두 번째 편에서는 그 위협이 실제로 어떤 얼굴로 나타나는지 하나씩 들여다봤습니다. 

이제 남은 질문은 딱 하나입니다. "그래서 뭘 어떻게 준비하나."

'대응'이라는 말은 코드와 전문 용어로 뒤덮인 개발자만의 영역처럼 들리기 쉽습니다. 세부 구현이야 실무자의 몫이 맞습니다. 그러나 정작 대표와 의사결정자가 쥐고 있어야 할 건 기술이 아니라, 몇 가지 큰 원칙과 "우리 회사가 지금 어디쯤 서 있나"라는 감각입니다. 이 감각만 잡으면 기술을 몰라도 방향을 읽을 수 있습니다. 

아래에서는 그 원칙을 하나씩 짚고, 마지막에 우리 상태를 스스로 점검하는 자가진단 아홉 가지를 드립니다. 정부와 KISA가 대응 매뉴얼까지 펴낼 만큼 무거워진 주제지만, 겁먹을 일은 아닙니다.

---

1. 대응의 큰 원칙: 한 방에 막는 대신 '겹겹이' 막는다

구체적인 방법으로 들어가기 전에, 대응 전체를 관통하는 원칙 하나를 먼저 잡아야 합니다. 세부 기법이 아무리 많아도 결국 이 한 문장으로 수렴하기 때문입니다.

"완벽하게 한 번에 막으려 하지 말고, 겹겹이 막아라."

AI 보안은 한 방에 끝나지 않습니다. AI가 위험한 답을 하지 않도록 '착하게 교육'하는 기술이 있긴 한데, 이것 하나만으로는 새로운 공격 앞에서 번번이 뚫립니다. 그래서 이 교육은 완벽한 해결책이 아니라 여러 방어막 중 한 겹으로만 취급해야 합니다.

은행 금고를 떠올리면 감이 옵니다. 입구 경비원 한 명으로 끝내지 않습니다. 정문 출입 통제, 로비의 CCTV, 두꺼운 금고문, 그 안의 개별 잠금까지 여러 겹을 둡니다. 한 겹이 뚫려도 다음 겹에서 걸리게 하려는 설계입니다. AI도 똑같습니다. 들어오는 질문을 걸러내는 입구, AI가 내놓은 답을 검사하는 출구, 권한을 나눠 피해 범위를 좁히는 칸막이, 이상 징후를 지켜보는 감시망을 겹쳐 둡니다.

관점을 이렇게 바꾸면 마음이 한결 편해집니다. 위협을 0으로 만드는 게 목표가 아니라, 사고가 나도 피해를 작게 묶어두는 게 목표입니다. 그럼 지난 편에서 나눠본 '세 개의 방'별로, 어떤 방어막을 겹쳐야 하는지 살펴보겠습니다.

---

2. 첫 번째 방 지키기 - 좋은 재료, 검문소, 그리고 자물쇠

첫 번째 방은 'AI라는 직원 자체'였습니다. 잘못 배우거나, 배운 걸 엉뚱하게 흘리는 문제였죠. 여기 걸어둘 방어막은 크게 네 가지입니다.

첫째. 재료를 잘 씁니다.

사람이 편식하면 건강을 잃듯, AI도 편향되거나 출처가 불분명한 데이터로 배우면 삐뚤어집니다. 학습에 쓰는 자료는 믿을 만한 곳에서 가져오고, 그 안에 개인정보가 섞여 있으면 이름·연락처 같은 걸 미리 지우거나 가려서 넣어야 합니다. 자체 모델을 만드는 회사가 아니어도 무관하지 않습니다. AI에게 참고하라고 넣어주는 사내 문서에도 똑같은 원칙이 적용되니까요.

둘째. 입구와 출구에 검문소를 둡니다.

위험한 질문이 AI에 닿기 전에 한번 거르고(입력 검사), AI가 내놓은 답이 사용자에게 나가기 전에 다시 한 번 봅니다(출력 검사). 개인정보나 기밀이 답변에 묻어 나오거나, 지어낸 거짓이 섞여 있으면 이 출구에서 잡아냅니다. 업계에서는 이 장치를 '가드레일'이라고 부릅니다. 도로 밖으로 차가 튕겨 나가지 않게 잡아주는 그 가드레일과 역할이 같습니다.

셋째. AI에게 준 '지시서'를 단속합니다.

모든 AI 서비스 뒤에는 "너는 이런 역할이고, 이런 건 절대 답하지 마라"라고 적어둔 내부 지시서가 있습니다. 이게 통째로 새어 나가면 공격자가 안전장치의 구조를 훤히 보고 우회로를 짭니다. 그래서 이 지시서는 민감 자산으로 따로 관리하고, 누가 언제 바꿨는지 기록을 남깁니다.

넷째. 자료 창고마다 자물쇠를 다르게 채웁니다.

AI가 참고하는 내부 문서 창고는, 질문하는 사람의 권한에 따라 열리는 칸이 달라야 합니다. 열람 자격이 없는 직원의 질문에 대외비 문서가 딸려 나오지 않게, 애초에 접근 가능한 칸을 사람별로 갈라두는 것입니다.

여기에 하나를 더 얹습니다. AI의 답을 사람이 아니라 '다른 시스템이 곧바로 실행'하는 구조라면 특히 조심해야 합니다. AI가 짜준 명령문이나 코드를 검증 없이 그대로 돌리면, 그 안에 섞인 위험한 구문이 진짜로 작동해 버립니다. AI의 말은 '검증된 명령'이 아니라 '검토가 필요한 초안'으로 대접하는 편이 안전합니다.

---

3. 두 번째 방 지키기 - 열쇠는 조금만, 결정은 사람이

두 번째 방은 손발이 달린 AI, 즉 스스로 메일을 보내고 데이터를 뒤지고 주문까지 넣는 '에이전트'의 방이었습니다. 틀린 답이 틀린 '행동'으로 번지는 곳이라, 방어의 결도 달라집니다.

가장 먼저 챙길 건 '권한'입니다. 지난 편에서 급한 김에 신입에게 회사 도장과 법인카드를 통째로 쥐여주는 상황에 빗댔었죠. 해법은 단순합니다. 딱 그 일에 필요한 열쇠만 쥐여주는 것입니다. 특정 자료 조회만 하면 되는 AI에 파일 삭제나 외부 송금 권한까지 열어둘 이유가 없습니다. 권한을 좁혀두면, 설령 AI가 속더라도 벌어질 수 있는 피해의 크기 자체가 줄어듭니다.

되돌리기 어려운 행동에는 사람의 최종 결재를 겁니다. 돈을 보내거나 계약을 확정하거나 데이터를 지우는 것처럼 한번 저지르면 주워 담기 힘든 일은, AI가 알아서 실행하게 두지 않습니다. 마지막 버튼은 사람이 누르게 하는 것입니다. 사소한 조회나 초안 작성까지 일일이 승인받게 하면 AI를 쓰는 의미가 없으니, 위험이 큰 행동에만 이 관문을 걸어 균형을 잡습니다.

비상 정지 장치도 반드시 있어야 합니다. AI가 정해둔 선을 넘어 이상하게 굴 때, 즉시 작업을 멈추고 권한을 회수할 수 있는 스위치입니다. 공장 기계에 빨간 비상 정지 버튼이 붙어 있는 것과 같은 이치입니다. 평소엔 쓸 일이 없어도, 없으면 사고가 걷잡을 수 없이 커집니다.

마지막은 '부품의 출처'입니다. 요즘 AI 시스템은 남이 만든 모델과 외부 도구, 오픈소스 부품을 가져다 조립해 씁니다. 이 부품이 처음부터 오염돼 있거나 구멍 뚫린 낡은 버전이면, 우리가 아무리 조심해도 안에서부터 샙니다. 그래서 부품은 공식 배포처에서만 받고, 받은 게 중간에 바꿔치기되지 않았는지 확인하고, 보안 구멍이 알려지면 제때 최신 버전으로 갈아 끼웁니다. 택배 상자를 열기 전에 송장과 봉인을 확인하는 습관과 다르지 않습니다.

---

4. 세 번째 방 지키기 - 우리 몫과 만든 곳의 몫을 가른다

세 번째 방은 'AI가 너무 똑똑해져서' 생기는 위협이었습니다. 공격자의 실력을 끌어올리거나, AI가 알아서 판단하다 통제를 벗어나는 문제였죠. 여기서는 역할을 나눠 보는 게 중요합니다.

이 방의 근본 대책은 상당 부분 AI를 '만드는 곳'의 몫입니다. 모델이 위험한 능력을 함부로 내보이지 않게 학습 단계에서 다듬고, 위험한 요청을 걸러내는 분류기를 붙이고, 새 모델을 처음부터 전면 공개하지 않고 통제된 환경에서 조금씩 여는 단계적 배포를 하는 일은 모델 개발사가 감당합니다.

그렇다고 우리 몫이 없는 건 아닙니다. 오히려 실질적인 선택은 우리에게 있습니다.

첫째. 믿을 만한 곳의 AI를 씁니다.

안전장치와 관리 체계를 갖춘 공급사인지, 문제가 생겼을 때 책임지고 대응하는 곳인지 따져보는 것입니다.

둘째. 스스로 판단하는 AI일수록 목줄을 짧게 잡습니다.

목표만 던지면 여러 단계를 알아서 처리하는 AI는 편리한 만큼 예측이 어렵습니다. 활동 범위를 좁게 정해두고, 앞서 말한 비상 정지 장치를 꼭 함께 둡니다.

국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 시행되면서, 사람의 생명·안전·기본권에 영향을 줄 수 있는 AI는 사람이 직접 관리·감독할 의무가 생겼습니다. "AI가 알아서 했다"는 더 이상 통하지 않습니다.

세 번째 방의 대비는 첨단 기술의 문제라기보다, 결국 사람이 어디까지 개입할지를 정하는 문제에 가깝습니다.

---

5. 우리 회사, 지금 어디쯤일까 - 자가진단 아홉 가지

원칙을 알아도 우리 회사에 적용하지 않으면 소용이 없습니다. 그래서 지금까지의 이야기를 비전문가도 예·아니오로 답할 수 있는 아홉 개 질문으로 압축했습니다. 

부서 회의에서 함께 답을 맞춰 보시길 권합니다. '아니오'가 나오는 항목이 곧 가장 먼저 손봐야 할 지점입니다.

첫 번째 방(AI 자체)에 대한 질문입니다.

• 직원이 AI에 넣어도 되는 정보와 넣으면 안 되는 정보를, 회사 차원의 규칙으로 정해 공유했나?
• AI가 내놓은 답을 되돌리기 어려운 실제 업무(송금·발송·시스템 실행 등)에 쓰기 전에, 사람이 한 번 검토하나?
• AI가 참고하는 내부 자료에 대한 접근 권한이, 사람의 열람 자격에 따라 나뉘어 있나?

두 번째 방(손발·공급망)에 대한 질문입니다.

• 스스로 일을 처리하는 AI에, 그 일에 딱 필요한 만큼의 권한만 줬나?
• 돈·계약·삭제처럼 되돌리기 어려운 행동은, 사람이 최종 승인한 뒤에만 실행되나?
• AI가 이상하게 작동할 때, 즉시 작업을 멈추고 권한을 회수할 방법이 있나?
• 가져다 쓰는 외부 AI 서비스·부품이 믿을 만한 출처인지 확인하고, 보안 업데이트를 챙기나?

마지막은 회사 전체의 운영에 대한 질문입니다.

• 우리 회사가 AI를 어디에 쓰는지 목록으로 파악하고, 챙기는 담당자를 정해뒀나?
• 누가·언제·무엇을 했는지 AI 사용 기록이 남아, 사고가 나면 되짚어 볼 수 있나?

아홉 개를 모두 '예'로 채운 회사는 드뭅니다. 그래도 낙담할 필요는 없습니다. 이 목록의 진짜 쓸모는 만점을 받는 게 아니라, 우리의 가장 약한 고리가 어디인지 눈으로 확인하는 데 있으니까요.

정리하면, 이번 3편의 요지는 이렇습니다.

• 완벽한 차단은 없다. 입구·출구·권한·감시를 '겹겹이' 둬서 사고가 나도 피해를 작게 묶는 게 목표다.
• 권한은 좁게 주고, 되돌리기 어려운 행동은 사람이 최종 승인하며, 비상 정지 장치를 반드시 둔다.
• 아홉 가지 자가진단으로 우리의 가장 약한 고리부터 찾아 손본다.

세 편에 걸쳐 큰 그림과 위협의 실체, 그리고 대응까지 함께 걸어왔습니다.

앞서 회사 전반의 보안을 다룰 때도 강조했듯, 보안은 전산팀에만 떠넘길 일이 아니라 회사가 흔들리지 않기 위한 기본기입니다. AI 보안 역시 다르지 않습니다.

대표를 비롯한 의사결정자가 "우리가 AI를 어디에 쓰고, 사고가 나면 무엇을 잃는가"를 큰 틀에서 쥐고, 실무자가 구체적인 점검과 조치를 맡는 것. 완벽한 체계를 갖추는 것보다, 오늘 이 질문을 처음 꺼내는 것이 훨씬 중요합니다.

그 첫걸음에 이 세 편이 지도가 되었기를 바랍니다.