I. 배경 — 애로의 정보 역설을 뒤집다

나델라는 7월 12일 X에 올린 글에서 1972년 노벨경제학상 수상자 케네스 애로가 제시한 ‘정보의 역설’을 언급했다. 애로의 역설은 지식재산 거래에서 판매자가 구매자에게 자신의 기술이나 지식의 가치를 설득하려면 그 내용을 미리 공개해야 하는데, 일단 공개하고 나면 구매자가 굳이 돈을 지불할 유인이 사라진다는 문제를 가리킨다. 나델라는 AI 시대에는 이 구도가 뒤집혔다고 본다. 이제는 반대로 구매자, 즉 AI를 도입하는 기업이 자신이 산 것을 쓸모 있게 만들기 위해 자신의 지식을 내줘야 하는 처지에 놓였다는 것이다.

II. 역 정보의 역설이란 — 두 번 지불하는 구조

나델라는 기업이 AI에 돈으로 한 번, 그리고 AI 성능을 높이기 위해 제공하는 독점적 지식으로 한 번 더 대가를 치르는 구조라고 평가했다. AI는 사용할수록 기업의 프롬프트, 워크플로, 에이전트 활용 방식, 피드백, 수정 내용, 평가 등을 학습하며, 기업은 AI 성능을 높이기 위해 독점적인 업무 지식과 운영 노하우를 지속적으로 제공하게 된다. 시간이 지날수록 모델 제공자는 고객에 대해 더 많은 것을 배우지만, 고객은 제공자가 무엇을 학습하는지 알기 어려운 비대칭 구조가 심화된다는 것이 그의 진단이다.

III. 학습 잔여물의 축적 — 수정이 곧 지식이 되는 과정

나델라는 특히 사람이 모델의 답변을 수정하는 과정을 조직의 핵심 노하우가 축적되는 과정으로 짚었다. 이런 수정과 평가, 추적 정보가 경쟁사는 돈으로도 살 수 없는 조직의 지식 자산이라는 것이다. AI를 소비하는 행위 자체가 새로운 지능을 만들어내는 과정이며, 그렇게 생성된 지능은 기업이 소유해야 한다고 그는 주장했다. 그는 모든 수정이 조직의 지식으로 응축되며, 이는 경쟁사가 결코 살 수 없는 종류의 지식이자 흔적 하나, 수정 하나, 평가 하나씩 눈에 띄지 않게 스며든다고 표현했다.

공개 데이터를 활용한 모델 학습은 AI 발전을 위해 필요하지만, 모델 제공업체가 고객의 사용 데이터를 학습하면서도 고객의 모델 증류나 자체 학습은 제한하는 현재 구조는 불균형하다고 그는 지적했다. 학습이 한 방향으로만 이뤄질 경우 경제적 가치가 지식을 만드는 기업이 아니라 학습 인프라를 보유한 기업에 집중될 수 있다는 것이다.

IV. 나델라의 처방 — 신뢰 경계와 ‘정렬시킬 권리’

클라우드 시대에는 기업이 데이터를 축적했다면, AI 시대에는 학습을 축적하는 만큼 보호 대상도 데이터에서 학습 메커니즘으로 확대되어야 한다고 나델라는 강조했다. 기업이 장기적으로 경쟁력을 유지하려면 데이터뿐 아니라 메모리, 추적 정보, 평가, 피드백, 적응된 모델 가중치까지 축적되는 ‘신뢰 경계’를 구축해야 하며, 기업의 동의 없이는 이러한 학습 결과와 ‘지능의 부산물’이 외부로 넘어가서는 안 된다고 그는 못박았다.

구체적으로 기업은 자체 평가 체계를 구축하고 조직의 메모리와 업무 맥락, 피드백, 모델 출력물에 대한 소유권을 유지해야 하며, 생성된 결과를 자체 모델의 파인튜닝이나 학습에 활용할 권리를 가져야 한다고 그는 주장했다. 이를 기업의 책임에 맞게 AI를 정렬할 권리로 규정했다. 또한 특정 모델에 종속되지 않는 오케스트레이션 계층을 구축해 여러 모델을 자유롭게 교체·활용할 수 있어야 하며, 특정 범용 모델이 사라져도 기업만의 워크플로와 평가 체계, 조직의 ‘베테랑 역량’은 그대로 유지되어야 한다고 설명했다.

V. 시장의 반응과 이해상충 — 마이크로소프트의 이중적 위치

이 발언은 발표 직후부터 이중적이라는 지적을 받았다. IT 전문매체 더레지스터는 마이크로소프트가 오픈AI에 130억 달러 넘게 투자하며 코파일럿을 구축해온 당사자라는 점에서 이 경고가 아이러니하다고 꼬집었다. 실제로 마이크로소프트는 최근 3분기 실적 발표에서 나델라의 ‘신뢰 경계’ 개념을 애자일365(Agent 365)라는 실제 제품으로 소개했다. 나델라는 이를 기업의 기존 거버넌스, 아이덴티티, 보안, 관리 체계를 에이전트까지 확장하는 통제 계층이라고 설명했으며, 회사 측은 코파일럿과 애저 AI 파운드리가 이런 문제에 대한 마이크로소프트의 해법이라고 소개했다.

VI. 산업 전반의 반응 — 팔란티어식 ‘하드 바운더리’와의 공명

나델라의 에세이는 팔란티어 CEO 알렉스 카프의 발언을 직접 인용하며, 기술 고객들이 원하는 것은 자신들의 컴퓨트, 모델, 데이터 스택, 그리고 알파(초과수익)에 대한 통제권이라고 언급했다. 이는 팔란티어가 오랫동안 강조해온 ‘하드 바운더리(hard boundary)’ 전략과 맞닿아 있다. 시장에서는 이번 에세이가 마이크로소프트뿐 아니라 팔란티어, 스노우플레이크 등 기업이 자체 데이터·모델 스택을 통제할 수 있게 돕는 기업들에 대한 투자 테마로도 해석되고 있다.

VII. 결론 및 투자 시사점

나델라의 ‘역 정보의 역설’은 엔터프라이즈 AI 도입이 본격화되는 시점에서, 기업이 AI 벤더와의 관계에서 놓치기 쉬운 구조적 리스크를 짚었다는 점에서 의미가 크다. 다만 그 처방이 마이크로소프트 자사 제품(애자일365, 코파일럿, 애저 AI 파운드리)으로 연결된다는 점에서, 산업 전체의 경고인 동시에 경쟁 구도 속 포지셔닝이라는 이중적 성격을 함께 지닌다.

VIII. 함께 보면 좋은 글

AI 모델 경쟁 구도·빅테크 전략과 함께 보면 좋은 이전 세미데일리 포스트를 소개한다. (엔터프라이즈 AI 데이터·거버넌스를 직접 다룬 이전 포스트가 없어, AI 모델·빅테크 전략 테마 중 관련성이 높은 글로 연결했다.)

I. Background — Inverting Arrow’s Information Paradox

In his July 12 X post, Nadella referenced the “information paradox” put forward by 1972 Nobel laureate economist Kenneth Arrow. Arrow’s paradox describes a dilemma in intellectual property transactions: a seller must reveal enough about their technology or knowledge to convince a buyer of its value, but once revealed, the buyer has little incentive left to pay for it. Nadella argues this dynamic has flipped in the AI era — now it’s the buyer, the enterprise adopting AI, that must give up its own knowledge to make what it purchased actually useful.

II. The Reverse Information Paradox — Paying Twice

Nadella describes companies paying for AI twice: once with money, and again with the proprietary knowledge they must continuously provide to improve AI performance. The more a company uses AI, the more it learns from that company’s prompts, workflows, agent usage patterns, feedback, corrections, and evaluations — meaning the enterprise keeps handing over proprietary operational know-how to sharpen the model. Over time, his diagnosis goes, the model provider learns increasingly more about the customer, while the asymmetry deepens because the customer has little visibility into what the provider is learning in return.

III. Accumulating “Intelligence Exhaust” — How Corrections Become Knowledge

Nadella singled out the process of humans correcting model outputs as the moment an organization’s core know-how gets distilled and accumulated. These corrections, evaluations, and traces become an organizational knowledge asset no competitor could ever buy. He argued that the act of consuming AI is itself a process that creates new intelligence — and that intelligence should belong to the enterprise that generated it. Every correction, he wrote, becomes institutional knowledge — knowledge a competitor could never buy, seeping in trace by trace, correction by correction, evaluation by evaluation.

He acknowledged that training models on public data is necessary for AI progress, but argued the current structure — where model providers train on customer usage data while restricting customers from distilling or training their own models on the outputs — is fundamentally imbalanced. If learning flows in only one direction, he warned, economic value could concentrate not with the companies generating the knowledge, but with the companies that own the training infrastructure.

IV. Nadella’s Prescription — A Trust Boundary and “The Right to Align”

Where the cloud era was about accumulating data, Nadella argued the AI era is about accumulating learning — meaning what needs protecting must expand from data alone to the learning mechanism itself. To maintain long-term competitiveness, he said, enterprises need a genuine “trust boundary” that accumulates not just data but memory, traces, evaluations, feedback, and adapted model weights — and that these learning outputs and “byproducts of intelligence” must never leave the enterprise without its consent.

Concretely, he argued enterprises should build their own evaluation systems, retain ownership over organizational memory, work context, feedback, and model outputs, and hold the right to use those generated outputs for their own fine-tuning or training — a concept he framed as “the right to align” AI to a company’s own responsibilities. He also called for building a model-agnostic orchestration layer, allowing enterprises to freely swap between models, so that even if a given general-purpose model disappears, a company’s own workflows, evaluation systems, and “veteran capability” remain intact.

V. Market Reaction and the Conflict of Interest — Microsoft’s Dual Position

The essay drew skepticism almost immediately. Trade outlet The Register called the warning ironic given Microsoft’s own multibillion-dollar investment — north of $13 billion — in OpenAI and its role in building Copilot on top of it. Indeed, on its most recent quarterly earnings call, Microsoft introduced the productized version of Nadella’s “trust boundary” concept: Agent 365. Nadella described it as a control layer extending a company’s existing governance, identity, security, and management frameworks to agents, with the company positioning Copilot and Azure AI Foundry as Microsoft’s own answer to the very problems he raised.

VI. Industry Echoes — Resonance With Palantir’s “Hard Boundary”

Nadella’s essay directly quoted Palantir CEO Alex Karp, noting that technical customers want control over their compute, models, data stack, and alpha. This closely echoes the “hard boundary” strategy Palantir has long emphasized. Some in the market are reading this essay as an investment theme extending beyond Microsoft itself, toward companies like Palantir and Snowflake that help enterprises control their own data and model stacks.

VII. Conclusion and Investment Implications

Nadella’s “Reverse Information Paradox” carries real weight in identifying a structural risk enterprises can easily overlook in their relationships with AI vendors, at a moment when enterprise AI adoption is accelerating. That said, since the prescription flows directly into Microsoft’s own products (Agent 365, Copilot, Azure AI Foundry), the essay carries a dual character — part industry-wide warning, part competitive positioning.

VIII. Related Reading

For further context on AI model competition and big-tech strategy, see these related semidaily posts. (No prior post has directly covered enterprise AI data governance, so these are the closest AI model/big-tech strategy themes available.)