우리 회사가 쓰는 AI 정작 그 AI는 안전할까? (1편: 큰 그림 편)

요즘 회사마다 ChatGPT나 Claude 같은 AI를 업무에 쓰기 시작했습니다. 보고서 초안 작성부터 고객 문의 응대, 개발 코드 작성까지 AI에게 맡기는 일이 부쩍 늘었죠. 이제 "AI 없이 어떻게 일했지?" 싶을 정도입니다.

그런데 여기서 한 번쯤 뒤집어 생각해 볼 게 있습니다.

우리가 그렇게 믿고 쓰는 그 AI, 정작 'AI 자체는 안전한가?' 하는 질문입니다.

지금까지 보안 이야기는 대부분 "해커가 AI를 무기로 삼아 우리를 공격한다"는 쪽이었습니다. 하지만 이번엔 결이 조금 다릅니다. 우리가 업무에 들여놓은 그 AI가 오히려 새로운 '보안 구멍'이 될 수 있다는 이야기거든요.

마침 2026년 7월, KISA(한국인터넷진흥원)와 과학기술정보통신부가 「AI 보안 위협 대응 매뉴얼」이라는 자료를 냈습니다. 제목만 봐도 벌써 어렵죠. 그래서 이 내용을 IT 담당자가 아니어도 이해할 수 있게, 총 3편에 걸쳐 풀어보려고 합니다.

• 1편(이번 글): 큰 그림 - 도대체 뭐가 문제인지, 어떻게 바라봐야 하는지
• 2편: 실제로 어떤 위협들이 있는지, 우리 업종은 뭘 조심해야 하는지
• 3편: 그래서 뭘 어떻게 준비하면 되는지 (자가진단 포함)

이번 첫 편은 세부 기술로 들어가기 전에, "AI 보안이라는 게 대체 무슨 이야기인지" 지도부터 그려보는 시간입니다.

---

1. 왜 하필 지금 'AI 보안'이 화두일까?

AI가 업무에 들어온 건 어제오늘 일이 아닌데, 왜 유독 지금 'AI 보안'이 화두로 떠올랐을까요?

크게 두 가지 변화가 맞물렸습니다.

첫째, AI의 '능력'이 한 단계 껑충 올라갔습니다.

2026년 들어 이른바 '고성능 모델'이 등장하면서, 예전에는 전문가만 하던 정교한 작업을 AI가 대신해 줄 수 있게 됐습니다. 좋은 소식이지만, 뒤집어 보면 공격하는 쪽도 그만큼 세졌다는 뜻입니다.

마치 누구나 쓸 수 있는 강력한 전동 공구가 나온 셈인데, 이걸 목수가 쓰면 가구를 만들지만 도둑이 쓰면 남의 집 문을 더 빨리 뜯어냅니다.

둘째, 관련 법과 제도가 실제로 발효되기 시작했습니다.

국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 시행되면서, 사람의 생명·안전·기본권에 영향을 줄 수 있는 AI는 사람이 직접 관리·감독할 의무가 생겼습니다. "AI가 알아서 했어요"가 더 이상 변명이 되지 않는 시대가 온 겁니다.

AI가 강력해진 만큼 위험도 함께 커졌고, 이제는 법마저 "제대로 관리하라"고 요구합니다. 지금이 이 문제를 한 번 짚고 넘어갈 타이밍인 이유입니다.

---

2. 안전과 보안, 두 개념은 이렇게 갈립니다.

'안전(Safety)'과 '보안(Security)'은 일상에서 비슷하게 쓰이는 말입니다. 하지만 AI를 이야기할 때는 이 둘을 구분하는 것이 첫 단추입니다.

안전과 보안, 두 개념은 이렇게 갈립니다.

AI 안전: AI가 '실수'로 사고를 치는 상황

나쁜 사람이 없어도, AI가 엉뚱한 판단을 하거나 잘못된 답을 내놓아서 사람이나 사회에 피해를 주는 경우입니다.

AI 보안: 누군가 '일부러' AI를 노리는 상황

악의적인 공격자가 AI에 몰래 접근하거나, AI를 속여서 원하는 걸 빼내려는 경우입니다.

비유하자면, 자율주행차가 신호를 잘못 읽어 급정거하는 건 '안전' 문제이고, 누군가 표지판에 스티커를 붙여 차를 속이는 건 '보안' 문제입니다. 하나는 '실수'에서 오고, 하나는 '나쁜 의도'에서 옵니다.

그런데 요즘은 이 둘의 경계가 점점 흐려지고 있습니다. AI가 실수하기 쉬운 약점을, 공격자가 일부러 파고드는 경우가 많기 때문입니다. 그래서 이제는 둘을 칼같이 나누기보다, 하나로 묶어 통합적으로 관리하는 쪽으로 흐름이 바뀌고 있습니다.

우리 입장에서도 "실수든 공격이든, 우리 AI가 사고를 낼 수 있는 모든 지점을 챙긴다"라고 넓게 생각하는 게 맞습니다.

---

3. 위협은 크게 두 갈래: '안에서 새는 것'과 '밖에서 뚫는 것'

AI 위협은 크게 두 갈래로 나눠서 보면 한결 이해하기 쉽습니다. 이 구분이 전체 그림을 관통하는 가장 큰 뼈대입니다.

하나는 '내재적 위협'

AI가 원래 가진 약점 탓에 안에서 새어 나오는 위협을 말합니다. AI는 태생적으로 몇 가지 허점이 있습니다.

대표적인 게 '환각'인데, 사실이 아닌 내용을 마치 진짜처럼 그럴듯하게 지어내는 현상입니다. 또 학습했던 민감한 데이터가 답변에 슬쩍 튀어나오거나, 똑같은 질문에도 매번 다른 답을 내놓는 것도 여기에 속합니다.

공격자가 없어도 AI 스스로 사고를 칠 수 있는 부분이죠. 마치 원래부터 물이 조금씩 새는 오래된 수도관 같은 겁니다. 가만히 놔두면 언제 터질지 모르는 문제를 계속 안고 있죠.

다른 하나는 '외재적 위협'

즉 '밖에서 누군가 일부러 뚫는 것'입니다. AI가 "그건 답해드릴 수 없어요"라고 막아둔 걸 교묘한 말장난으로 풀어내게 만들거나(이걸 '탈옥'이라고 부릅니다), AI에 딸려 있는 외부 도구나 연결 프로그램을 통해 악성코드를 심는 식입니다.

멀쩡한 수도관에 누군가 일부러 구멍을 뚫는 상황에 가깝습니다.

둘을 굳이 나눠서 보는 건 대응 방법이 서로 다르기 때문입니다. '안에서 새는 것'은 AI를 잘 고르고 다듬어서 줄여야 하고, '밖에서 뚫는 것'은 문단속과 감시로 막아야 합니다. 더 조심해야 할 상황은 이 둘이 겹칠 때입니다.

원래 새던 곳을 공격자가 정확히 노리면, 피해는 몇 배로 불어납니다.

---

4. 이제 지켜야 할 건 'AI 하나'가 아니라 'AI 시스템 전체'

예전에는 "AI 보안"이라고 하면 그냥 'AI 모델 하나'만 잘 지키면 된다고 생각했습니다. 하지만 요즘 회사가 쓰는 AI는 그렇게 단순하지 않습니다.

우리가 챗봇 하나를 쓴다고 해도, 그 뒤에는 여러 부품이 촘촘히 맞물려 돌아갑니다.

AI에게 참고 자료를 찾아다 주는 외부 데이터 창고, AI를 대신해 검색이나 계산을 처리하는 각종 도구·플러그인, 이 모든 것을 실제로 구동하는 서버, 그리고 누가 접속하는지를 걸러내는 출입문까지. 챗봇 화면 뒤에는 이런 요소들이 하나의 덩어리로 연결돼 있습니다.

그런데 여기서 용어 하나가 오해를 부르기 쉽습니다. 흔히 'LLM(대형 언어 모델)'이라고 하면 ChatGPT나 Claude 같은 'AI 모델 그 자체'를 떠올리게 됩니다.

하지만 정작 지켜야 할 대상은 모델 하나가 아니라, 방금 말한 주변 부품까지 전부 묶은 덩어리입니다. 이 덩어리를 정식 용어로는 'LLM 시스템'이라고 부르는데, 이 글에서는 헷갈리지 않게 계속 'AI 시스템'이라고 부르겠습니다. 즉 'AI 시스템 = AI 모델 + 그 주변 부품 전부'인 셈입니다.

왜 전체를 함께 봐야 하는지는 집에 비유하면 분명해집니다. 아무리 현관문(AI 모델)을 튼튼하게 달아도, 뒷문(외부 도구)이 열려 있거나 택배로 온 상자(외부 데이터) 안에 위험한 게 들어 있으면 소용이 없습니다. 실제로 공격자들은 가장 튼튼한 정문이 아니라, 가장 허술한 뒷문이나 창문을 노리기 때문입니다.

지켜야 할 대상은 크게 세 묶음으로 나눠 볼 수 있습니다.

첫째는 'AI가 배우는 재료와 AI 자체(데이터·모델)', 둘째는 'AI에 붙은 도구들과 그 부품을 어디서 가져왔는가(에이전트·공급망)', 셋째는 앞서 말한 '너무 똑똑해진 고성능 모델'입니다.

지금은 이름만 눈에 익혀두셔도 충분합니다. 구체적으로 각각이 무슨 위협인지는 다음 2편에서 하나씩 풀어볼 예정입니다.

결국 필요한 건 관점의 전환입니다. 모델 하나만 볼 게 아니라, 그 주변까지 통째로 봐야 한다는 것입니다.

---

5. 그래서, 이건 누가 챙겨야 하는 이야기일까?

사실 이번 KISA 자료는 원래 보안팀이나 개발자 같은 전문 실무자를 겨냥해 만들어졌습니다. 실제로 뒤로 갈수록 상당히 기술적인 내용도 많습니다.

하지만 큰 그림은 다릅니다. "우리 회사도 AI를 쓰기 시작했으니, 어떤 위험이 있는지 파악하고 담당할 사람을 정해두자." 이런 판단까지 실무자에게만 맡길 수는 없습니다. 오히려 대표님을 비롯해 의사결정을 하는 분들이 먼저 알아야 할 이야기입니다.

보안을 흔히 "전산팀 일"로만 여기기 쉽지만, 사실 보안은 "회사가 망하지 않기 위한 기본"에 가깝습니다. AI 보안도 마찬가지입니다. 대표님은 "우리가 AI를 어디에 쓰고 있고, 그게 사고 나면 어떤 피해가 있는지"를 큰 틀에서 파악하고, 실무자는 구체적인 점검과 대응을 맡는 식으로 역할을 나누면 됩니다.

정리하면, 오늘 1편에서 딱 세 가지만 기억하시면 됩니다.

• 우리가 쓰는 AI '자체'도 공격 대상이 될 수 있다.
• 위협은 'AI가 원래 가진 약점(내재적)'과 '누가 일부러 노리는 것(외재적)' 두 갈래로 나뉜다.
• 이제는 AI 모델 하나가 아니라, 그 주변까지 묶은 'AI 시스템 전체'를 봐야 한다.

이 큰 그림을 잡으셨다면 절반은 온 겁니다. 다음 2편에서는 "그래서 구체적으로 어떤 위협들이 있고, 특히 우리 업종(금융·의료·제조·IT 등)은 뭘 조심해야 하는지"를 하나씩 짚어보겠습니다.