#71 TecPod: „AI Ready by Design – Das Data Center für AI fit machen“

00:00:02:

00:00:22: Hallo und herzlich willkommen zu einer neuen Folge unseres Tagpots.

00:00:27: AI ist aktuell in aller Munde, doch während viel über Modelle, Chatbots- und Use Cases gesprochen wird gerät eine entscheidende Frage oft in den Hintergrund.

00:00:36: Welche Infrastruktur braucht es eigentlich, um AI-Anwendungen zuverlässig, sicher und wirtschaftlich zu betreiben?

00:00:43: Genau darüber sprechen heute Janik Schneider und Katharina Brockmann – die beiden nehmen sie mit hinter die Kulissen moderner Data Center und zeigen warum AI weit mehr ist als nur ein Softwarethema!

00:00:54: Sie erfahren, welche Rolle Stromversorgung, Kühlung, Netzwerk, Storage und Compute spielen.

00:01:00: Wie sich bestehende Infrastrukturen weiterentwickeln lassen und warum der richtige Architekturansatz wichtiger ist als die nächste GPU-Generation.

00:01:08: Viel Spaß beim Zuhören!

00:01:10: Willkommen zu unserem TechPod rund um moderne Data Center Infrastruktur.

00:01:14: Heute sprechen wir über ein Thema an dem im Moment kaum jemand vorbeikommt – künstliche Intelligenz oder kurz AI.

00:01:20: Mein Name ist Janik Schneider und ich beschäftige mich schon seit Jahren mit den Data Centers unserer Kunden.

00:01:24: An der Hoopsmesse twenty-sixundzwanzig durfte ich gemeinsam mit meiner Kollegin Carti einen Vortrag zum Thema AI im Datacenter halten.

00:01:31: Damit auch hallo von mir, mein Name ist Katharina Brockmann.

00:01:35: Ich beschäftige mich bei der AU hauptsächlich mit Themen rund ums Datacentre und Infrastruktur also um Server Virtualisierung Storage und Datacenternetzwerk.

00:01:44: Und damit zur Frage Mit was beschäftigen wir uns heute eigentlich konkret?

00:01:48: Wir möchten uns heute nämlich nicht anschauen, welcher Chatbots die besten Antworten liefert oder welches Referenzmodell gerade das Beste ist.

00:01:54: Sondern wir schauen uns an was im Rechenzentrum passieren muss damit die AI-Anwendung überhaupt zuverlässig sicher und wirtschaftlich betrieben werden können.

00:02:01: Dazu haben wir gemeinsam auf der diesjährigen Hausmesse einen Vortrag gehalten Der hieß Infrastructure AI Ready by Design.

00:02:07: Was kann man sich darunter vorstellen?

00:02:09: Muss für AI jetzt das komplette Datacenter neu gebaut werden?

00:02:11: Wie der Name von unserem Vortrag schon vermuten lässt, ging es um die Datacenter-Infrastruktur und wie wir sie eben am besten für AI Workloads gestalten.

00:02:20: Und nein!

00:02:20: Wir müssen dafür nicht das komplette Datacentre neu aufbauen.

00:02:24: Wir haben uns am Anfang angeguckt was der Status quo ist also wo unsere Kunden mit ihrer Datacentrinfrastruktur gerade stehen.

00:02:32: und da ist aus den letzten Jahren der FlexPod bekannt.

00:02:35: Der hat sich über viele Jahre und bei vielen Kunden durchgesetzt und bewiesen.

00:02:39: Und ist im Prinzip eine vorkonfigurierte, validierte IT-Plattform für moderne Rechtszentrum.

00:02:45: Wichtig dabei ist das es ein standardisiertes Designestatt einer individuellen Einzelarchitektur.

00:02:50: Das heißt ich kann entsprechend skalieren mit einer gewissen Sicherheit dahinter und wir bewegen uns im Bereich der Converged Infrastruktur.

00:02:57: Das heisst diese Skalierung die ich vornehmen kann auch individuell gestaltbar an dieser Stelle.

00:03:04: So ein standardisiertes Design gibt es in irgendeiner Art und Weise von jedem Hersteller, dann halt unter einem anderen Namen und entsprechend mit den Produkten der einzelnen Herstellern.

00:03:12: Beim FlexPod handelt sich eben um die Herstelle Cisco und NetApp, die da in der partnerschaftlichen Zusammenarbeit dieses Design entwickelt haben.

00:03:21: Nach diesem Statusquo haben wir uns dann angeschaut, mit was sich unsere Kunden aktuell typischerweise beschäftigen im Bereich ihrer Infrastruktur.

00:03:28: Einige betreiben da eine etablierte Plattform und wollen die eben modernisieren und verbessern.

00:03:33: andere stehen vor einem Übergang bzw.

00:03:35: Plattformwandel zum Beispiel der Wechsel der Virtualisierungsplattform.

00:03:39: ich denke hypervisor sind ein Thema mit dem wir uns alle beschäftigen aktuell wieder.

00:03:43: andere möchten weg vom individuell gebauten Einzellösungen und hin zu einem Standard Stack womit wir wieder im Bereich dieses standardisierten Designs oder dem FlexPod wären.

00:03:53: Und bei allen Kunden kommen dann eben Themen dazu wie Security, Cyber Resilience, Cloud Integration und so weiter.

00:04:00: Und zunehmend auch AI-Anforderungen spüren wir ganz deutlich – Wir haben fast täglich neue Anfragen oder Anforderungen aus den Infrastrukturen Fachabteilungen von unseren Kunden.

00:04:11: Wie sehen diese AI-Aufforderungen?

00:04:13: in welchem Bereich begegnet uns die AI mittlerweile?

00:04:16: Gute Frage.

00:04:17: Zunächst denkst du natürlich klassisch an Chatbots wie ChatGBT und so weiter, aber eben nicht nur hier – wir haben es auch im Bereich von Betrieb- und Automatisierung im Einsatz oder bei Kapazitäts- und Energieoptimierung.

00:04:30: ebenfalls findet man's im Bereich der Security Compliance & Risikoerkennung oder bei der Analyse von Daten wegen.

00:04:37: oder der Steigerung bei der Infrastruktur Effizienz.

00:04:40: Also insgesamt haben wir AI Workloads eben nicht nur im Bereich von Innovationen und Neuem, sondern auch um Stabilität, Kostekontrolle und Skalierbarkeit herzustellen.

00:04:54: Und damit kommen wir zu dem Punkt warum ihr euch als unsere Kunden jetzt auf AI WorkLoads den Betrieb von diesen AI Work Loads vorbereiten solltet.

00:05:04: AI ist nämlich kein reines Software-Thema, wir benötigen dafür Infrastrukturressourcen und genau an den Stellen entstehen oft Engpässe.

00:05:11: Und wie man die vermeiden kann?

00:05:13: Schauen wir uns jetzt entlang von der Infrastruktur an!

00:05:15: Genau, AI hat nämlich erhöhte Anforderungen an unsere Infrastruktur.

00:05:19: Die kennen wir ja schon bekanntermaßen, Compute, Netzwerk, Storage – das hat jeder von uns.

00:05:24: Jetzt kommt AI mit erhöhten Anforderung.

00:05:26: Das heißt ich habe höhere Density also sprich ich muss mehr Leistung pro Rack erzeugen.

00:05:31: da werden irgendwann Stromzufuhr und Kühlung limitierend.

00:05:35: Im Netzwerk sprechen wir über Ost-West Traffic, der dominiert – das heißt es ist genau der Traffic zwischen Servern und Storage, der einfach sehr viel leistungsfähiger sein muss.

00:05:46: Im Storage Bereich müssen Daten nahe parallel und schnell verfügbar sein.

00:05:49: Und das Ganze part sich mit Themen wie Automatisierung und Security die natürlich alle diese Lösungen betreffen!

00:05:57: Und was bedeutet das konkret jetzt?

00:05:59: Also, was mache ich als Kunde mit den gestiegenen Anforderungen an die einzelnen Komponenten.

00:06:03: Es gibt leider kein Produkt, dass sich all diese Probleme löst sondern ich kann immer nur Teilprobleme lösen und es ist entscheidend welche Architektur ich wähle und wie sie zusammenpasst.

00:06:13: Wenn ich die falsche Reihenfolge wähle drohen vielleicht Fehlinvestition oder technische Sackgassen.

00:06:18: Wie kann also so eine Architek-Tour aussehen?

00:06:20: Was steckt denn dahinter?

00:06:21: So eine Architektur kann aussehen wie die von der AU entwickelte AI Factory.

00:06:28: Dabei handelt sich so mehr als ein klassisches Rechenzentrum mit ein paar zusätzlichen GPUs, Mit der AI Factory haben wir eine end-to-end Plattform auf der Infrastruktur, Platform Software, AI Software Betrieb und dann eben auch die Use Cases zusammen spielen.

00:06:42: Also wenn ich es mir jetzt als Schichtenmodell vorstellen würde, beginnen wir ganz unten mit der Ebene der Integration.

00:06:48: Also Strom-, Kühlung-, Platz- oder die Basisthemen und Komponenten, die dann eben ein Fundament bilden.

00:06:55: Darauf bauen dann Storage-Netzwerk und Computkomponent auf also so die klassischen Data-Center-Komponentinnen und da drauf kommen dann Betriebssysteme, Container.

00:07:05: auch ist... Virtualisierung.

00:07:08: Meine Plattform Ebene kommt da drauf.

00:07:11: und ganz zum Schluss, ganz oben drüber liegt dann eben die AI Software oder die konkreten Anwendungen mit denen ich meine AI Software betreibe.

00:07:20: Security and Observability begleiten idealerweise alle Ebenen.

00:07:24: also die betrachte ich im besten Fall von vornherein im Aufbau von dieser AI Factory und ergänzt sie nicht erst nachträglich.

00:07:32: so verhindere ich denn auch entsprechende erste Sackgassen.

00:07:36: Insgesamt haben wir also die AI Factory, die Energie und Daten mit einer Plattform verbindet sie.

00:07:41: Und daraus dann den nutzbare AI-Plattform bildet und nutzbares AI Services bereitstellt.

00:07:49: Im Bereich der AI stellt sich jeder vermutlich eine wichtige Frage, mit der wollen wir uns auch jetzt beschäftigen.

00:07:55: Brauche ich denn für AI Workloads immer ne GPU?

00:07:58: Nein nicht zwingend!

00:08:00: Viele Kunden rennen gerne los und starten erstmal direkt mit der GPU aber das ist vielleicht nicht unbedingt der richtige Weg.

00:08:05: Bestimmte AI Workloads lassen sich schon auf CPU ausführen.

00:08:08: Für kleinere oder wenige anspruchsvolle Szenarien kann das durchaus schon funktionieren, aber mit steigenden Anforderungen umfangreicher im Kontext oder der Anbindung von externen Wissensbeständen stößt die der CPU-Ansatz gerne an seine Grenzen.

00:08:21: GPU sind auf sehr viele parallele Berechnung ausgelegt – das macht sie für zahlreiche AI Worklords besonders geeignet.

00:08:28: Dabei ist ein Satz besonders imprägnant, die GPU ist schnell, aber sie wartet oft!

00:08:32: Und worauf wartet sie?

00:08:33: auf Daten, auf Netzwerk, auf Storage oder auf andere GPUs.

00:08:37: Oder auf Prozesse die hinter der eigentlichen Berechnung liegen.

00:08:40: Denkpass ist deswegen nicht zwangsläufig die reine Rechenleistung sondern sehr häufig die Wege zwischen den Komponenten also die Schnittstellen.

00:08:46: und damit sind wir beim Fundament.

00:08:48: eine iStack beginnt nicht bei der gpu er beginnt bei Strom, Kühlung und Platz.

00:08:53: Wie gehen wir da also sinnvoll vor?

00:08:55: Also wo fange ich als potenzielle Kunde am besten an?

00:08:59: Zunächst soll ich meine Umgebung erst mal bewerten.

00:09:01: Danach folgt die Planung und anschließend setze ich schrittweise neue Komponenten um, also der vielleicht schon bekannte PDCA-Zyklus Plan Do Check Act kann mich hier auf jeden Fall weiterhelfen weil AI wird sich weiterentwickeln ebenso wie die Modelle, die Plattform und die Anforderungen.

00:09:18: Ich vergleichs ganz gerne mit dem ja Hypervisor Thema, das kam ja auch vor Jahrzehnten auf und ist mittlerweile nicht mehr wegzudenken.

00:09:25: So ähnlich würde es mit AI vermutlich auch sein, dabei wird es aber immer wieder Umbrüche geben, es wird Weiterentwicklungen geben, aber es wird uns die nächsten Jahre immer weiter begleiten.

00:09:34: Unternehmen müssen dabei ihre Infrastruktur jetzt nicht komplett neu erfinden und es ist sehr wichtig bestehende Infrastrukturen zu ergänzen und weiterzuentwickeln.

00:09:41: Das heißt wir haben uns das zu Herzen genommen und eine Referenzarchitektur entwickelt.

00:09:47: Bisher gibt es schon diverse Referenzarchitekturen und validierte Designs verschiedener Hersteller.

00:09:52: Die können auch eine sehr gute Ausgangspase darstellen, wir haben jedoch festgestellt dass die selten zu hundert Prozent zu jedem Unternehmen oder auch zu unseren Kunden und ihren Anforderungen passen.

00:10:03: Genau deshalb sind wir als AU hergegangen gemeinsam mit der FullStacks und haben das AU Advisory konzipiert.

00:10:10: Das reicht von GPU bis zu Interferenzentpunkten und benennt am Ende alle relevanten Komponenten in der Infrastruktur sowie auch unterschiedliche Implementierungsgrößen.

00:10:20: Wichtig dabei ist die Abgrenzung, es handelt sich da nicht um den Installationsleitfaden sondern eben lediglich um ein Design Guide so Themen wie Multiklasteszenarien, Hybrid Cloud, Large Scale LLM Pre-Training Wie installiere ich am Ende, nach welchen Best Practices installiere Ich am Ende und so weiter?

00:10:40: Die werden im Anschluss in individuellen Solutions Design Workshops betrachtet.

00:10:45: Unser Advisory hilft also die richtigen Fragen in der richtigen Reihenfolge zu stellen.

00:10:50: Lass uns doch mal die wichtigsten Ebenen des Texts in kompakter Form durchgehen.

00:10:53: Beginnen wir mit Storage.

00:10:55: Gerne!

00:10:55: Im Storage Bereich sind für AI Workloads besonders wichtig parallele Lesezugriffe.

00:11:02: Unser Design setzt deshalb auf eine NVMe-basierte Allflasharchitektur, die sowohl horizontal als auch vertikal skalierbar ist.

00:11:10: Zudem nutzt man dann eine gemeinsame Storage-Plattform für Entwicklung, Test und Produktion und haben dadurch mit einer einheitlichen Administration der Systeme sichergestellt.

00:11:19: Zusätzlich spielen Security Funktionen Recovery Funktionen wie Snapshots, Instant Clones usw.

00:11:27: Eine wichtige Rolle und die Anbindung der Modell Repositories über S-III und auch die dynamische Bereitstellung Passage Standard Volumes durch NetApp Trident sind betrachtet und berücksichtigt.

00:11:38: im Design

00:11:39: Aber auch die Netzwerkkomponenten spielen eine wichtige Rolle.

00:11:42: Hier setzen wir auf stabile und performante Verbindungen zwischen Storage & Compute.

00:11:45: Deshalb nutzen wir die Cisco Nexus Reihe.

00:11:48: Unabhängig von der Architektur kann außerdem die Kommunikation zwischen GPUs relevant werden.

00:11:52: Hier sprechen wir von Wandbreiten bis zu vierhundert Gigabit.

00:11:55: Stichwort GPU, sie finden sich klassischerweise im Computerbereich.

00:11:59: Beim Computer ist uns die Integration in die bestehende standardisierte Architektor sehr wichtig.

00:12:05: Wir setzen da auf ein Cisco UCS, um eben im FlexPod Umfeld zu bleiben.

00:12:11: Und hier können wir die Compute Notes und die PCI-Notes dabei kombinieren und zentral über Cisco Interseitern verwalten.

00:12:18: Wichtiger Vorteil von diesem Ansatz – wir bauen uns keine separaten AI-Silos sondern nutzen die bestehenden Komponenten und können sie abhängig von ihrer Eignung entweder direkt nutzen oder gezielt erweitern.

00:12:30: Jetzt haben wir viele bei hardware gesprochen aber auch die Software ist natürlich nicht so vernachlässigen.

00:12:34: Wir sprechen von Virtualisierung im Sinne von Red Hat OpenShift Virtualization.

00:12:38: Das erlaubt es mir, v.a.

00:12:39: um Container auf einer Plattform zu betreiben.

00:12:42: Außerdem bieten wir Red Hat und Nvidia diverse Tools für Entwicklung, Bereitstellung und Skalierung von AI-Anwendungen.

00:12:48: Unser Verrennsgeist bietet aber auch Spielraum für unterschiedliche Ausbaustufen!

00:12:52: Genau, denn nicht jedes Unternehmen benötigt dieselbe Ausbaustufe.

00:12:56: Unsere Kunden stehen die meisten an ganz unterschiedlichen Stellen wenn es ums Thema AI geht und das Advisory bietet deshalb unterschiedliche Ausbausstufen und wir unterscheiden dazwischen den Stufen mit und bick.

00:13:09: Wir gucken zunächst die Mit-Variante an da.

00:13:12: dabei handelt sich so eine Variante für einen kontrollierten Einstieg beziehungsweise eine mittlere Implementierungsgröße soll das sein.

00:13:18: am Ende Die Architektur kann in eine bestehende Flexport-Umgebung bzw.

00:13:24: in die bestehenden Architektur beim Kunden integriert werden und als Referenzwert haben wir da so sechzehn bis achtzehnt leichtzeitige produktive Nutzer, wobei der Wert eine reine Referenz ist – eben für einen konkreten Use Case zu verstehen ist und nicht als allgemeine Leistungsgarantie.

00:13:41: Stichwort Use Cases sind ebenfalls im Advisory zu finden und da dann auch konkret nachzulesen.

00:13:46: Jetzt hast du schon erwähnt diese sechzehn bis achtzehn gleichzeitig Nutzer.

00:13:50: Dabei muss man verstehen, die sind wirklich darauf ausgelegt dass gleichzeitig in derselben Sekunde ein Prompt abgesetzt wird.

00:13:57: Darauf berechnen wir die Stallierung unserer Modelle oder unserer Referenzarchitektur und die gibt es natürlich auch noch einer größeren Ausbaustufe.

00:14:05: weil der Big Variante sprechen wir davon bis zu sechshundert gleichzeitigen Usern, also gleichzeitig abgesetzten Prompts.

00:14:12: Und damit kann ich mehrere Tausend Mitarbeitern bedienen weil die setzen natürlich nicht alle in der gleichen Sekunde den Prompt ab.

00:14:19: heißt hier kann ich wirklich eine sehr große Umgebung betreiben und dass es wirklich dafür da eine ausschließlich für AI genutzte Infrastruktur bereitzustellen also letztendlich einen Großkunde.

00:14:30: aber auch diese Projekte sind bei uns sehr gefragt und werden schon regelmäßig umgesetzt.

00:14:35: Das klingt alles schon mega gut, wenn jetzt jemand nach dem Podcast hier sagt, das klingt voll sinnvoll.

00:14:40: Aber wo fange ich denn an?

00:14:42: Was wäre deine Antwort?

00:14:44: Der erste Schritt beim belastbaren Assessment, dabei unterstützen wir auch gerne also welche Use-Cases unterstützt werden und welche Daten benötigt.

00:14:50: Wo liegen diese Daten?

00:14:51: Welche Anforderungen bestehen an Datenschutzverfügbarkeit und Betrieb?

00:14:55: Anschließend folgt dann der Bestandsaufnahme der IS-Situation meiner Infrastruktur.

00:14:59: Strom, Kühlung, Rackspace, Infrastrukturkomponenten, Compute Storage-Netzwerk aber auch Plattform und Betriebsprozesse drüber werden betrachtet.

00:15:08: Und dann eben der ist Stand einmal aufgenommen.

00:15:11: Anschließend identifizieren wir die Engpässe und priorisieren sie nach den nächsten Schritten.

00:15:16: also welchen Engpass muss ich als erstes angehen?

00:15:20: Vielleicht reicht es danach schon für den ersten Use Case dass sich im Sinne von einer Erweiterung umsetzen kann.

00:15:27: Vielleicht muss ich aber auch erst mein Netzwerk modernisieren oder andere Themen angehen.

00:15:32: Vielleicht liegt da auch mein Engpass im Data Center Fundament, dass sich mehr Strom erstmal anschaffen muss oder mehr Kühlung?

00:15:38: Ja und erst wenn diese Engpässe beseitigt sind sollte ich mich mit Entwicklung meiner AI-Plattform beschäftigen.

00:15:42: Das Ziel ist keine möglichst große AI-Platform sondern eine Architektur die zum Use Case passt zuvorlässig betrieben werden kann und spätere Weiterungen nicht blockiert.

00:15:50: Das EU-Advisory dient dabei als anpassbare Referenzgeit unterschiedlicher Ausbaustufen.

00:15:55: Ergänzend ist ein AI Workshop vorgesehen, in dem Design und Implementierung gemeinsam betrachtet werden können.

00:16:01: Bei wem das Interesse geweckt hat, wählt sich gerne bei seinem vertrieblichen Ansprechpartner der EU.

00:16:05: Das Advisory ist nicht geheim – es gibt zum Download als PDF – und wer mal einen Blick reinwerfen darf sehr gerne!

00:16:11: Und damit sind wir auch schon am Ende dieser Folge angekommen.

00:16:14: Vielen Dank euch fürs Zuhören und denkt dran….

00:16:17: AI Ready bedeutet nichts, schon heute jede Antwort zu kennen.

00:16:20: Es bedeutet eine Infrastruktur zu schaffen mit der man die nächsten Fragen sicher beantworten kann.

00:16:25: Vielen Dank dass Sie heute dabei waren!

00:16:28: Wir hoffen die Folge hat Ihnen einige praktische Impulse gegeben wie sich bestehende rechten Zentrums Infrastrukturen Schritt für Schritt fit für AI Anforderungen machen lassen ohne alles neu denken zu müssen.

00:16:40: Wenn Sie Fragen zur AI Factory, zur Referenzarchitekturen oder zur Bewertung Ihrer bestehenden Infrastruktur haben, freuen wir uns auf Ihre Nachricht an podcast.au.de.

00:16:51: Bis zur nächsten

00:16:52: Folge!

00:16:53: Das

00:16:53: war der AU-TechPort.

00:16:57: Innovationen, News und Hipes aus der Welt der Daten – direkt auf Deine Ohren.

00:17:04: Wir hören uns

00:17:05: im nächsten

00:17:06: AU-TekPort.