© pixabay
TOP 100

KI-Souveränität im Mittelstand

5. August 2026
9 Min.
Von Sandy Strasser

Künstliche Intelligenz – was vor einigen Jahren noch als verheißungsvoller Problemlöser angekündigt wurde, ist mittlerweile im Alltag vieler mittelständischer Unternehmen angekommen. Doch wo genau: In einzelnen Tools? In ersten automatisierten Abläufen? Oder schon tief in der Wertschöpfung? Denn zwischen „Wir nutzen KI“ und „KI macht unser Unternehmen produktiver“ liegt ein entscheidender Unterschied. Welcher das ist und weshalb sich nicht jede Art von Unternehmenswissen für die Verarbeitung durch KI eignet, verraten Michael Graf (Vice President Sales & Marketing) und Yeghishe Mkhitaryan (Vice President Business Development) von der CONWEAVER GmbH.

Klicken Sie auf den unteren Button, um den Inhalt von open.spotify.com zu laden.

Inhalt laden

top100.de: Hallo zusammen, ich freue mich sehr, dass Sie beide heute meine Gäste sind!

Michael Graf: Einen schönen guten Tag, wir freuen uns auch!

Herr Graf, als Ausgründung des Fraunhofer Instituts für Graphische Datenverarbeitung IGD unterstützt CONWEAVER seit mehr als 15 Jahren Unternehmen dabei, deren Daten und individuelles Wissen aus verschiedenen Systemen miteinander zu verbinden. Geben Sie uns einen kleinen Einblick in Ihre Arbeit.

Unser Arbeitsalltag ist sehr abwechslungsreich, weil wir mit unseren Produkten und Leistungen unseren Kunden helfen möchten, ihre Daten und Informationen zu nutzen. Das ist bei jedem Kunden individuell. Die Systemlandschaften sind ebenfalls sehr individuell. Diesem Thema begegnen wir damit, dass wir in unserem Unternehmen bereichsübergreifend eng zusammenarbeiten. Wir versuchen immer, das Ganze ganzheitlich zu betrachten, die Probleme der Kunden zu lösen, und stehen dadurch bei uns intern in einem intensiven Austausch mit Projektmanagern, Implementierern, aber auch mit der Produktabteilung.

© compamedia (KI-generiert)
Mit dem intelligenten Einsatz von KI lassen sich Datensilos aufbrechen und damit die Wertschöpfung eines Unternehmens vorantreiben.

Was treibt Unternehmen beim Thema KI aktuell stärker an: die Ambition zur Innovation, Kostendruck, Wettbewerbsdruck oder der Fachkräftemangel?

YM: Es gibt nicht den einen Faktor, der am stärksten wirkt. Wir sehen in der Praxis eher eine Mischung aus unterschiedlichen Treibern. Einer ist zweifelsfrei der Fachkräftemangel. Unternehmen müssen schneller, effizienter und wissensbasierter arbeiten, können dafür aber nicht unbegrenzt zusätzliche Fachkräfte gewinnen. Hier wird KI deshalb von vielen Unternehmen als Hebel gesehen, um begrenzte personelle Ressourcen effizienter einzusetzen. Und auch, um das Unternehmenswissen zu bewahren, es besser nutzbar zu machen und auch, um die Mitarbeiter zu entlasten. Den Wettbewerbsdruck könnte man hier an erster Stelle sehen, insbesondere durch den steigenden und intensiver werdenden internationalen Wettbewerb.

Der Kostendruck, etwa durch die gestiegenen Energie- und Materialkosten, ist ebenfalls ein wichtiger Faktor und Treiber. Wenn man über die reine Ambition zur Innovation spricht, so sehen wir, dass dies zwar eine Rolle spielt, aber nicht der primäre Treiber ist und allein meistens auch nicht ausreicht, um KI tief in die Prozesse zu integrieren. Entscheidend ist, dass KI dort wichtig wird, wo ein konkreter wirtschaftlicher und operativer Druck herrscht und ein entsprechender Mehrwert erwartet wird.

MG: In den Gesprächen oder auch in der Arbeit mit unseren Kunden zeigt sich, dass dieser Wettbewerbsdruck enorm ist. Viele Kunden haben tatsächlich Kosteneinsparungsziele von 30 %, die sie erfüllen müssen. Wir sind außerdem stark in der Fertigungsindustrie unterwegs. Entwicklungszyklen, die in der Vergangenheit einige Jahre dauerten, müssen heute fast in der Hälfte der Zeit realisiert werden, vor allen Dingen, um im Wettbewerb mit chinesischen Konkurrenten bestehen zu können.

© unsplash
KI bringt Bewegung in den Markt: Wer Daten schneller zielgerichtet nutzt, verschafft sich entscheidende Wettbewerbsvorteile.
© unsplash
Entwicklungszyklen, die in der Vergangenheit einige Jahre dauerten, müssen mit KI heutzutage fast in der Hälfte der Zeit realisiert werden.

Herr Mkhitaryan, als Transformationsexperte bekommen Sie und Ihre Kollegen diverse Einblicke in Unternehmen unterschiedlichster Branchen. Wenn man all diese Unternehmen im Gesamten betrachtet: Wo steht Deutschland in Sachen KI derzeit? Bei der Nutzung einzelner Tools, bei ersten Prozessänderungen oder bereits bei strategischer KI-Integration?

Wie so oft bei den sogenannten Game-Changer-Technologien, zu denen auch KI gehört, ordnet man die Unternehmen, die solche Technologien einsetzen, in unterschiedliche Kategorien ein: Die Ersten sind meistens die Pioniere, die sogenannten Early Adopter, die den Mut und auch die entsprechenden Möglichkeiten haben, diese Technologien als erste einzusetzen. Und dann gibt es die Zögerer, die abwarten und schauen, welche wirtschaftlichen Effekte dadurch möglicherweise entstehen und welche Risiken es gibt, und diese Technologien später in ihren Unternehmen einsetzen.

Was wir außerdem beobachten, ist, dass der Großteil KI bisher eher isoliert nutzt. Das bedeutet, in Form einzelner Pilotprojekte oder einzelner Tools für bestimmte Aufgaben, etwa für Texte oder Recherchen. Eine nachhaltige und ganzheitliche Prozessveränderung ist momentan noch nicht zu beobachten. Die Herausforderung liegt in der Lücke zwischen funktionierenden KI-Tools und einer produktiven und abgesicherten Prozessintegration. Dafür braucht man belastbare Daten, belastbaren Kontext, entsprechende Schnittstellen und vor allen Dingen klare Verantwortlichkeiten.

Welche konkreten Entscheidungen müssen getroffen werden, bevor KI tief in Kernprozesse implementiert werden kann?

JM: Die fachliche Wertschöpfung als Kern der Unternehmung ist als Erstes zu betrachten: Welches konkrete Problem soll KI lösen? Der Einsatz von KI ist kein Selbstzweck, sondern dient als Unterstützungstechnologie. Nicht jeder Anwendungsfall rechtfertigt den Einsatz von KI. Deshalb ist es wichtig, mit einer Strategie die definierten Geschäftsziele herauszuarbeiten und die passenden Use-Cases zu entwickeln. Diese müssen allerdings mit messbaren Erfolgskriterien versehen werden.

Weiter muss man sich Gedanken über die Datenstrategie machen. KI-Tools und KI-Modelle sind sehr datensensitiv. Das bedeutet, dass bestimmte Voraussetzungen und Herausforderungen auf Datenseite berücksichtigt werden müssen: Welche Daten dürfen genutzt werden? In welcher Qualität liegen sie vor? Welche Zugriffsrechte sind zu berücksichtigen? Wie ist die Compliance geregelt? Wie wird die Kontextualisierung sichergestellt?

Wenn diese Fragen geklärt sind, muss die KI in eine geeignete Architektur überführt werden: Soll sie nur als einzelnes Tool eingesetzt werden oder Bestandteil einer unternehmensweiten Daten- und Prozesslandschaft werden? Zusätzlich müssen die fachliche Verantwortung, die Ergebnisvalidierung, das Risikomanagement und nicht zuletzt auch das Change-Management berücksichtigt werden. Denn KI und der Einsatz solcher Technologien verändern zweifelsfrei Rollen und bestimmte Aufgaben, Kompetenzen und Verantwortlichkeiten innerhalb der fachlichen Prozesse.

© CONWEAVER GmbH

Sehr viele Mittelständler verfügen über enormes Prozess- und Produktwissen. Warum kann KI all das trotzdem oft nur schwer zielführend verarbeiten?

JM: Die meisten KI-Modelle zeigen schon sehr beeindruckende Ergebnisse, weil sie ein unglaubliches Allgemeinwissen der Menschheit in sich beherbergen. Das bedeutet aber nicht automatisch, dass dieses Wissen in genau dieser Form dafür geeignet ist, sofort in industriellen Prozessen eingesetzt zu werden, denn diese erfordern wiederum spezifisches Beziehungswissen. Und das besitzen die KI-Modelle nicht beziehungsweise nicht in ausreichender Form, um halluzinationsfrei eingesetzt werden zu können. Das ist einer der wichtigsten Faktoren, weshalb KI-Modelle unbedingt auf sauberen, kontextualisierten Daten aufgebaut werden müssen. Die notwendigen Daten sind jedoch über unterschiedliche Systeme verteilt und fragmentiert. Das Wissen ist in vielen Fällen implizit und befindet sich in unterschiedlichen Datenbanken, in den Köpfen von Spezialisten, in Dokumenten oder in Zeichnungen. Um daraus eine gesicherte Wissensbasis herzustellen, braucht man eine klare Datenstrategie und entsprechende Aktivitäten, die aus diesen Daten die notwendige Grundlage schaffen, damit KI in den Unternehmen tatsächlich funktioniert.

© unsplash
KI entfaltet erst dann ihr gesamtes Potenzial, wenn die Wissensbasis lückenlos ist und die dahinterliegenden Kontexte eindeutig sind.

Woran erkennt man eindeutig, ob ein KI-Projekt langfristig wirtschaftlich tragfähig ist?

JG: KI-Projekte sind langfristig und nachhaltig tragfähig, wenn sie dauerhaft einen messbaren Nutzen erzeugen. Das Thema Kostensenkung ist hier eines der wichtigsten Elemente: Kann ich durch den KI-Einsatz nachhaltig und dauerhaft Kosteneffizienz erreichen? Kann ich die Durchlaufzeiten in meinen Prozessen deutlich reduzieren? Können Entscheidungen hinsichtlich ihrer Qualität und Nachhaltigkeit verbessert werden?

Wenn ein KI-Projekt nur funktioniert, indem ständig manuell oder mit Workarounds nachgesteuert werden muss, deutet das darauf hin, dass damit keine nachhaltige Wirtschaftlichkeit erreicht werden kann. Entscheidend sind daher messbare Effekte, eine kontinuierliche Überwachung und vor allen Dingen die Skalierbarkeit. KI darf nicht nur in einem Pilotprojekt oder in einzelnen Use-Cases eingesetzt werden, sondern muss dauerhaft über den gesamten Prozess hinweg funktionieren.

MG: Wir beobachten, dass einige Unternehmen zahlreiche KI-Initiativen gestartet haben, ohne eine klare Strategie. Diese Unternehmen merken inzwischen die Folgen. Auch in den Medien wird deutlich, dass viele Unternehmen branchenübergreifend feststellen, wie stark die Kosten dadurch steigen können. Wenn zahlreiche KI-Projekte parallel laufen und bei großen Hyperscalern viele Tokens verbraucht werden, führt das zu erheblichen Kosten. Wenn von Anfang an keine klare Strategie und kein konkreter Business-Case zugrunde liegen, an dem der Erfolg gemessen werden kann, gerät man schnell in eine Falle: Man setzt zwar eine neue und faszinierende Technologie ein, doch der Kosten-Nutzen-Faktor steht letztlich in keinem angemessenen Verhältnis.

Nach dem Motto „Der Weg ist das Ziel“ sollte man in Sachen KI also nicht handeln. Herr Mkhitaryan, was unterscheidet ein Unternehmen, das KI-Tools nutzt, von einem Unternehmen, das KI in eigene Wertschöpfung übersetzt?

JM: Das ist eine interessante Frage des Mittels und des Zwecks. Ein Unternehmen, das KI nutzt und nur punktuelle Lösungen einsetzt, verbessert natürlich einzelne Tätigkeiten. Aber ein Unternehmen, das KI als Teil der Wertschöpfung versteht und sie in die eigene Wertschöpfung übersetzt, verändert Abläufe und Entscheidungen. Es entwickelt damit KI-gestützte Prozesse und auch Geschäftsmodelle. Erst dadurch erreicht das Unternehmen einen echten Wettbewerbsvorteil.

© Alexandr Mitiuc (Fotolia)
Nur eine klare Strategie in Kombination mit konkreten Business-Cases führen beim Thema KI zum "Big Picture".

Herr Mkhitaryan, wie können Unternehmen von KI profitieren, ohne sich komplett an ein bestimmtes KI-Modell oder einen einzelnen Anbieter zu binden? Wie groß ist das Risiko, dass Unternehmen durch KI in neue Abhängigkeiten geraten?

Dieses Risiko ist real, und wir beobachten solche Vorgänge auch in vielen Unternehmen. Wir empfehlen Kunden und Architekten deswegen, die langfristige, kontextualisierte Wissensschicht des eigenen Unternehmens deutlich von den KI-Modellen zu trennen. Die KI-Modelle verändern sich, werden immer besser und auch die Anbieter wechseln. Um nicht in eine enorme Abhängigkeit zu geraten, gehen innovative Unternehmen bei ihren Architekturen so vor, dass sie die Daten- und die Kontextschicht unabhängig von diesen Modellen ganzheitlich organisieren als eine Art langfristiges Unternehmensgedächtnis. Schließlich gehören die Daten und das Wissen den Unternehmen. Die Art und Weise, dieses Wissen nutzbar zu machen und so zu verarbeiten, dass es einen dauerhaften Nutzen bringt, ist das Spielfeld der KI-Modelle. Mit einer solchen Aufgabenteilung verfügen Unternehmen über eine langfristig tragfähige Architektur.

© compamedia (KI-generiert)
Wer die Wahl hat, hat die Qual: Die Suche nach einem passenden KI-Anbieter will gut überlegt sein.

Zum Abschluss noch Ihr wichtigster Rat an Entscheider aus dem Mittelstand, die KI nutzen wollen:

MG: Aus unserer Sicht ist immer das Wichtigste, dass man KI nicht um der Technologie willen einsetzt, sondern relativ früh für sich versteht: Wir sind als Unternehmen im Wesentlichen dazu da, unsere Wertschöpfungskette, unsere Produkte und unsere Dienstleistungen zu verbessern. Die eingesetzte Technologie muss sich diesem Ziel unterordnen. Wenn man zu Beginn einen strategischen Weitblick besitzt und intelligente Entscheidungen trifft, dann hat man bereits einen wichtigen Schritt gemacht. Wenn man anschließend ins Operative kommt, sollte man in agilen, kleinen Schritten vorgehen. So kann man immer wieder prüfen: Hatten wir bei der Planung tatsächlich den richtigen Blick, oder müssen wir nachsteuern? Werden die Kosten möglicherweise zu hoch? Oder entdecken wir auf dem Weg weitere „low hanging fruits“? Man sollte vermeiden, nur deshalb direkt mit KI loszulegen, weil sie gerade der große Hype ist. Am Ende ist entscheidend, vom eigenen Kerngeschäft auszugehen und dieses zu verbessern.

JM: Solche KI-Transformationen sollte man außerdem unbedingt auch als Führungsaufgabe sehen und nicht als reines IT-Projekt. Erst mit einer klaren Strategie und den definierten Use-Cases, entsteht der eigentliche Mehrwert für die Unternehmensprozesse. Und ganz wichtig: Nehmen Sie die Mitarbeiter mit. KI verändert die Prozesse und greift in die Prozesse ein. Sie kann entsprechende wirtschaftliche und auch organisatorische Strukturen beeinflussen. Nur mit einer Kultur der Offenheit, verbunden mit Experimentierfreude, wird KI tatsächlich zum Erfolgsfaktor in den Unternehmen. KI ist kein einzelner Sprint, sondern ein Marathon innerhalb der Unternehmensprozesse, innerhalb der Organisation, den man gemeinsam mit den Mitarbeitern läuft. Also planen Sie langfristig und bauen Sie systematisch Kompetenz damit auf.

© CONWEAVER GmbH
Yeghishe Mkhitaryan, Vice President Business Development bei CONWEAVER
© CONWEAVER GmbH
Michael Graf, Vice President Sales & Marketing bei CONWEAVER

Eine Kultur der Offenheit und Experimentierfreude für das eigene Team schaffen – ein Weg, der in jedem Fall erstrebenswert ist. Schließlich erfordert ein Marathon im wörtlichen Sinne ja auch einen langen Atem.

Und damit wären wir auch schon am Ende unseres Gesprächs. Ein großes Dankeschön an Sie beide, dass Sie sich die Zeit genommen haben, KI im Mittelstand aus Expertensicht näher zu beleuchten!

MG: Vielen Dank auch von unserer Seite für die Möglichkeit, unsere Expertise einzubringen!

JG: Herzlichen Dank!

Sehr gerne!