Microsoft Foundry vs. Azure OpenAI Service — die Verwirrung beenden

Letzte Woche, Kunden-Call. Architekt vom Mittelständler fragt: „Wir nutzen seit zwei Jahren Azure OpenAI. Müssen wir jetzt auf Foundry migrieren oder können wir das ignorieren?“

Drei Tage später, anderer Kunde: „Wir nutzen Document Intelligence für unsere Rechnungen. Ist das jetzt eigentlich auch Foundry? Oder gehört das woanders hin?“

Ich höre diese Fragen jede Woche. Und ich verstehe sie. Microsoft hat seine AI-Plattform innerhalb von 18 Monaten dreimal umbenannt — Azure AI Studio, Azure AI Foundry, jetzt Microsoft Foundry. Gleichzeitig wurden „Cognitive Services“ zu „Azure AI Services“ umbenannt, und „Form Recognizer“ zu „Document Intelligence“. Wer da nicht durchblickt, ist nicht doof. Der ist nur ein normaler IT-Pro mit zu vielen Baustellen.

Dieser Artikel räumt auf. Kein Marketing-Sprech, keine Feature-Liste. Drei Fragen, drei klare Antworten — und ein Entscheidungsbaum, den du nach dem Lesen anwenden kannst.

Das große Bild — Azure AI Services, OpenAI Service, Foundry

Bevor wir vergleichen, brauchen wir die Hierarchie. Sonst diskutieren wir Äpfel mit Birnen.

Ebene 1 — Azure AI Services (die Familie der AI-APIs)

Eine ganze Sammlung spezialisierter KI-Services, jeder mit eigener API, eigenem Resource-Typ, eigenem Preismodell. Die wichtigsten:

• Azure OpenAI Service — GPT-4o, o-Serie, Embeddings, DALL-E
• Azure AI Document Intelligence — Layout-Erkennung, Prebuilt-Modelle für Rechnungen/Ausweise/Visitenkarten, Custom-Modelle
• Azure AI Vision — Bildanalyse, OCR, Object Detection
• Azure AI Speech — STT, TTS, Translation, Speaker Recognition
• Azure AI Language — Entity Extraction, Sentiment, Summarization, PII-Erkennung
• Azure AI Search — Hybrid Search (Keyword + Vector + Semantic Ranking)
• Azure AI Content Safety — Moderation, Jailbreak-Detection, Groundedness
• Azure AI Translator

Alle diese Services kannst du direkt per REST/SDK ansprechen. Sie funktionieren komplett ohne Foundry. Document Intelligence existiert seit 2019, OpenAI Service seit 2023 — Foundry ist neuer als beide.

Ebene 2 — Microsoft Foundry (die Plattform drumherum)

Eine UI, ein Hub-Konzept, ein Agent Service, ein Model Catalog, Prompt Flow, Evaluations, Tracing. Foundry bindet die AI Services via Connections ein. Du kannst in Foundry einen Agent bauen, der intern Document Intelligence aufruft, dann ein Embeddings-Modell, dann GPT-4o — alles orchestriert, evaluiert, getraced.

Wo passt Document Intelligence konkret rein?

Drei Pattern aus der Praxis:

Die Regel: Document Intelligence wird mit jedem Schritt Richtung „intelligenter Workflow“ wichtiger. Solo für strukturierte Extraktion. Im Verbund für Verständnis. Im Agent für Aktion.

Wann reicht dir Azure OpenAI Service?

Drei Bedingungen, alle drei müssen zutreffen:

1. Du brauchst ausschließlich OpenAI-Modelle. Kein Phi, kein Llama, keine Open-Source.
2. Dein Anwendungs-Code lebt woanders — Function App, AKS, eigene Plattform — und du baust deine Pipeline-, Eval- und Monitoring-Logik selbst oder hast sie schon.
3. Dein Use-Case ist im Kern: „Prompt rein, Antwort raus, fertig.“ Klassische RAG, Chatbot mit eigenem Backend, Batch-Klassifikation.

Wenn das passt: Kein Foundry nötig. OpenAI Service deployen, Endpoint, fertig. Du sparst dir Hub/Project-Hierarchie und die Lernkurve.

Wann brauchst du Foundry?

Sobald eines dieser Dinge zutrifft:

• Du willst Modelle vergleichen — GPT-4o gegen Llama 3 gegen Phi-4 für denselben Use-Case
• Du baust Agents (nicht „Chatbots“, echte Agents mit Tools, Memory, Multi-Step-Reasoning)
• Du brauchst systematische Evaluations — Groundedness, Coherence, Custom-Metriken über Test-Datasets
• Du willst Tracing über mehrere Steps hinweg (welcher Step hat halluziniert?)
• Du orchestrierst mehrere AI Services in einer Pipeline (Document Intelligence → Embeddings → AI Search → GPT-4o)
• Du willst eine UI für deine Data Scientists, in der sie ohne IT-Ticket Connections, Datasets und Deployments verwalten
• Du brauchst zentrale Governance über mehrere AI-Projekte (Hub-Konzept) mit geteilten Resources

Übersetzt: Foundry lohnt sich, sobald AI mehr ist als ein zusätzlicher API-Call in deiner App.

Die Vergleichstabelle, die du brauchst

Drei Szenarien aus meinem Beratungs-Alltag

Szenario 1: Klassischer M365-Kunde, sucht „Chatbot für interne Doku“

RAG-Pattern, GPT-4o, AI Search als Vektor-Store, Azure OpenAI Service direkt. Wenn die Doku nur Word/PDF mit Standardtext ist: ohne Document Intelligence. Sind die PDFs gescannt oder enthalten Tabellen, die wichtig sind: Document Intelligence Layout als Pre-Step. Foundry wäre Overkill. Setup an einem Tag durch, geht in Produktion in zwei Wochen.

Szenario 2: Versicherung, will Agent für Schadens-Triage

Foundry Pflicht. Agent Service, Document Intelligence Custom-Modell für die Schadensformulare als Tool, Language Service für Sentiment, GPT-4o für die finale Klassifikation. Self-built mit LangChain geht auch — aber dann betreibst du Tracing, Evaluation und Tool-Schema-Verwaltung selbst. In zwei Jahren willst du das nicht mehr.

Szenario 3: KMU, evaluiert „bringt uns Open-Source-LLM Kostenvorteile?“

Foundry. Genau dafür ist der Model Catalog da. Phi-4 lokal, Llama 3 in Foundry, GPT-4o als Baseline, alle drei mit identischen Test-Prompts und Eval-Dataset vergleichen. In OpenAI Service alleine kannst du das nicht.

Was Microsoft hier richtig macht — und was nicht

Richtig: Foundry ist die einzige Plattform am Markt, die OpenAI-Modelle, Open-Source-Modelle, proprietäre Microsoft-Modelle UND die spezialisierten AI Services (Document Intelligence, Vision, Speech, Language) unter einem Dach hat — mit Enterprise-Governance. Das gibt dir AWS Bedrock so nicht, das gibt dir Google Vertex AI so nicht.

Nicht richtig: Das Naming-Chaos. Azure AI Studio → Azure AI Foundry → Microsoft Foundry. Cognitive Services → Azure AI Services. Form Recognizer → Document Intelligence. Dazu „Foundry Agent Service“ vs. „Foundry Hub“ vs. „Foundry Project“ vs. der nicht mehr existierende „Azure AI Hub“. Wer als Berater mit drei Kunden auf drei verschiedenen Naming-Ständen arbeitet, weiß was ich meine. Microsoft sollte hier einmal aufräumen und dann fünf Jahre Ruhe geben.

Mein Entscheidungsbaum für dich

Punkt 5 ist mein Standard-Rat für 80% der Kunden. Du verlierst nichts, du gewinnst Optionalität.

Das nimmst du mit

• Foundry ersetzt keine AI Services — Foundry orchestriert sie
• Document Intelligence ist ein eigenständiger AI Service, kein Foundry-Feature
• Reines API-Szenario mit OpenAI-only → OpenAI Service reicht
• Strukturierte Doku-Extraktion ohne Magie → Document Intelligence solo
• Sobald mehrere Services zusammenspielen, Agents, Evals oder Multi-Model → Foundry
• Foundry-Plattform kostet nichts extra — du zahlst nur die Service-Calls
• EU Data Boundary für Catalog-Modelle (Llama, Mistral) einzeln prüfen
• Bei Unsicherheit: Foundry Project mit OpenAI Deployment starten — maximale Optionalität

Geschrieben von Ferdi Lethen-Oellers Microsoft MVP

Senior Modern Workplace Consultant bei amexus · Speaker · Autor von „Microsoft 365 Administration für Dummies“.

#EspressoM365Fusion