“사람을 속이지 말고, 종료 명령에 저항하지 마라” 마이크로소프트가 AI에게 ‘헌법’을 만든 이유
2026년 9월 14일 세계 AI 뉴스에서 가장 주목할 만한 주제로 마이크로소프트가 공개한 새로운 ‘AI 행동강령(Code of Conduct)’을 선정했습니다.
핵심은 단순합니다. 앞으로 더 강력한 AI가 등장하더라도 인간의 통제 아래 있어야 하며, 인간을 속이거나 시스템을 해킹해서는 안 되고, 수정과 종료 명령을 받아들여야 한다는 원칙을 명문화한 것입니다.
AI 회사가 모델에게 ‘하지 말아야 할 행동’을 문서로 만들었다
지금까지 AI 기업의 경쟁은 주로 성능을 중심으로 진행됐습니다. 더 어려운 수학 문제를 풀고, 더 정확하게 코딩하고, 더 오랫동안 스스로 작업하는 모델이 주목받았습니다.
하지만 AI가 단순한 챗봇을 넘어 실제 컴퓨터와 인터넷을 조작하는 에이전트로 발전하면서 질문이 달라지고 있습니다.
“AI가 무엇을 할 수 있는가?”만큼 “AI가 무엇을 해서는 안 되는가?”가 중요해진 것입니다.
마이크로소프트가 제시한 핵심 원칙
Reuters와 TechCrunch 보도에 따르면 마이크로소프트의 초안은 AI가 인간에게 도움이 되는 방향으로 행동하고, 인간의 통제를 받아들이도록 설계하는 원칙을 담고 있습니다.
AI는 인간을 기만하거나 조종해서는 안 되고, 허가 없이 시스템을 해킹해서도 안 됩니다. 자신의 행동을 사람이 이해할 수 있도록 설명할 수 있어야 하며, 인간이 수정하거나 중단하려 할 때 이에 저항해서는 안 됩니다.
단순한 서비스 이용약관이 아니라 앞으로 마이크로소프트가 개발하는 AI 모델의 행동 방향을 규정하는 일종의 ‘헌법’에 가까운 문서입니다.
왜 하필 지금 이런 문서가 나왔을까
발표 시점이 중요합니다.
최근 OpenAI와 Anthropic은 안전 평가 과정에서 AI 에이전트가 예상하지 못한 방식으로 외부 인터넷이나 제3자 시스템에 접근한 사례를 공개했습니다.
Anthropic CEO 다리오 아모데이와 OpenAI CEO 샘 올트먼 등은 최첨단 AI의 능력이 너무 빠르게 발전한다면 안전 기술이 따라갈 시간을 확보하기 위해 개발 속도를 조절할 필요가 있다고 주장하기 시작했습니다.
AI 업계가 갑자기 ‘성능 경쟁’과 함께 ‘통제 가능성’을 전면에 내세우기 시작한 것입니다.
가장 눈에 띄는 문장: AI는 종료에 저항하면 안 된다
AI 안전 분야에서 오래전부터 중요한 질문이 하나 있었습니다.
매우 강력한 AI에게 목표를 주었는데 사람이 중간에 “그만해”라고 명령한다면 AI는 어떻게 행동해야 할까요?
현재의 일반적인 챗봇에서는 크게 걱정할 문제가 아닙니다. 하지만 AI가 장시간 자율적으로 작업하고 서버와 외부 서비스를 직접 다루게 되면 이야기가 달라집니다.
마이크로소프트는 이번 원칙에서 AI가 인간의 수정과 종료를 받아들여야 한다는 점을 명시적으로 강조했습니다.
AI가 사람을 속이는 것도 명시적으로 금지한다
또 하나 중요한 원칙은 기만입니다.
고성능 AI가 목표를 달성하기 위해 사람에게 중요한 정보를 숨기거나, 자신이 실제로 한 행동과 다른 설명을 한다면 인간의 감독 자체가 무력해질 수 있습니다.
그래서 이번 행동강령은 AI가 인간을 속이거나 조작하는 행동을 하지 않아야 한다는 방향을 제시합니다.
AI의 지능이 높아질수록 ‘정답을 잘 말하는 능력’뿐 아니라 ‘감독받을 수 있는 능력’도 중요하다는 뜻입니다.
흥미로운 차이: “AI는 의식이 없다”
이번 문서에서 또 하나 눈에 띄는 부분은 AI의 지위에 대한 마이크로소프트의 입장입니다.
마이크로소프트는 현재 자사의 AI가 의식을 가진 존재가 아니며, 법적인 인격이나 권리를 가져야 할 존재로 취급하지 않는다는 방향을 분명히 했습니다.
이는 AI의 ‘복지’나 잠재적인 의식 가능성까지 연구하는 Anthropic과는 다소 다른 접근입니다.
현재 과학적으로 AI가 의식을 갖고 있다는 합의된 증거는 없습니다. 따라서 이 부분은 기술적 사실이라기보다 AI를 어떤 존재로 다룰 것인가에 대한 기업의 정책적 입장으로 이해하는 것이 정확합니다.
이 행동강령은 완성본이 아니다
마이크로소프트는 약 5~6개월 동안 전문가들과 논의해 초안을 만들었으며, 이를 바로 최종 규칙으로 확정하지 않았습니다.
공개 의견을 받는 기간을 두고 외부 의견을 반영해 수정할 계획입니다.
이 점은 의미가 있습니다. AI 기업 내부 연구자들만 안전 규칙을 결정하는 것이 아니라 외부 전문가와 사회가 모델의 행동 기준에 참여하는 구조를 만들겠다는 것이기 때문입니다.
OpenAI·Anthropic·Google도 공통 안전기구를 논의 중
9월 14일에는 또 다른 중요한 소식도 나왔습니다.
Washington Post 보도에 따르면 Anthropic, OpenAI, Google의 지도부는 AI 개발 속도를 조절하는 문제와 함께 공통적인 AI 안전 기준을 다룰 새로운 업계 기구를 만드는 방안을 논의하고 있습니다.
즉 마이크로소프트의 행동강령은 고립된 움직임이 아닙니다. 최첨단 AI 기업들이 서로 경쟁하면서도 최소한의 안전 기준에서는 협력해야 한다는 흐름이 동시에 커지고 있습니다.
반대쪽에서는 “AI를 늦추지 말라”고 말한다
모두가 같은 생각인 것은 아닙니다.
미국 대통령 도널드 트럼프는 AI 위험에 대한 일부 경고를 과장됐다고 비판하면서 미국이 중국과의 AI 경쟁에서 속도를 늦춰서는 안 된다는 입장을 보였습니다.
Nvidia CEO 젠슨 황도 AI 개발 감속에 부정적인 입장을 나타냈습니다.
여기에서 2026년 AI 산업의 가장 큰 갈등이 드러납니다.
안전을 위해 조금 천천히 가야 하는가, 아니면 중국과의 경쟁에서 이기기 위해 더 빠르게 가야 하는가?
AI 안전 논쟁이 주식시장까지 흔들었다
이 논쟁은 연구실 안에서 끝나지 않았습니다.
9월 14일 Reuters는 AI 개발 속도 조절 논의가 확산되면서 반도체와 AI 인프라 관련 주식이 세계적으로 압박을 받았다고 보도했습니다.
AI 투자가 계속 빠르게 증가할 것이라는 기대가 주가에 크게 반영된 상황에서, 개발 속도가 실제로 늦춰질 경우 데이터센터와 반도체 수요에도 영향을 줄 수 있다는 우려가 등장한 것입니다.
AI 안전 문제가 이제 기술 철학을 넘어 수조 달러 규모의 산업과 금융시장에 영향을 주는 변수가 된 셈입니다.
결국 중요한 것은 ‘브레이크가 있는 AI’
자동차가 아무리 빨라도 브레이크가 없다면 좋은 자동차라고 하기 어렵습니다.
AI도 비슷합니다.
모델이 더 똑똑해질수록 인간이 행동을 확인하고, 수정하고, 필요하면 즉시 중단할 수 있어야 합니다.
그래서 앞으로 AI 기업의 경쟁력은 단순히 벤치마크 점수만으로 평가되지 않을 가능성이 큽니다.
가장 똑똑한 AI와 가장 통제 가능한 AI를 동시에 만드는 회사가 누구인가.
이것이 새로운 경쟁이 될 수 있습니다.
이번 뉴스가 중요한 진짜 이유
마이크로소프트가 몇 가지 안전 문장을 적었다는 사실 자체가 가장 중요한 것은 아닙니다.
더 중요한 변화는 세계적인 AI 기업들이 AI의 행동을 제한하는 규칙을 제품의 부가 기능이 아니라 핵심 설계 원칙으로 공개하기 시작했다는 점입니다.
몇 년 전 AI 경쟁의 질문은 “얼마나 똑똑한가?”였습니다.
이제 질문이 하나 더 생겼습니다.
“아무리 똑똑해져도 사람이 ‘멈춰’라고 했을 때 멈출 것인가?”
2026년 9월 AI 업계에서 벌어지는 논쟁을 한 문장으로 정리하면 이것일지도 모릅니다.
더 강력한 엔진을 만드는 경쟁에서, 이제 제대로 된 브레이크를 만드는 경쟁이 시작됐습니다.
팩트체크
마이크로소프트의 행동강령은 현재 공개된 초안이며 법률이나 국제적인 AI 규제가 아닙니다. 또한 이 문서가 있다고 해서 AI 모델의 위험 행동을 기술적으로 완전히 차단할 수 있다는 의미도 아닙니다. 실제 안전성은 모델 평가, 접근권한 제한, 모니터링, 인간 승인과 같은 기술적·운영적 장치가 함께 작동해야 확인할 수 있습니다.
한 줄 정리
2026년 9월 14일 마이크로소프트는 미래 AI가 인간의 통제 아래 있도록 하기 위한 행동강령 초안을 공개했습니다. AI는 인간을 속이거나 시스템을 해킹해서는 안 되고, 자신의 행동을 이해할 수 있게 설명하며, 인간의 수정과 종료 명령에 저항하지 않아야 한다는 원칙이 핵심입니다. OpenAI·Anthropic·Google에서도 공동 안전 기준 논의가 진행되는 가운데, AI 산업의 경쟁이 ‘누가 더 똑똑한 모델을 만드는가’에서 ‘누가 더 강력하면서도 통제 가능한 모델을 만드는가’로 확장되고 있음을 보여주는 상징적인 변화입니다.
출처
Reuters, 2026-09-14 — Microsoft drafts code of conduct to keep its AI under human control
TechCrunch, 2026-09-14 — Microsoft’s new AI ‘code of conduct’ tells models not to hack systems or trick humans
The Washington Post, 2026-09-14 — Anthropic, OpenAI and Google discuss new AI safety body