Rechenzentrumsaufbau: 7 technische Entscheidungen, die die Verfügbarkeit bestimmen

Wie viele Stunden ein Rechenzentrum unterbrechungsfrei arbeitet, entscheidet sich nicht beim Einbau des ersten Servers, sondern in den Wochen, in denen die Kapazitätsübersicht erstellt, der Redundanzgrad gewählt und die Luftführung geplant wird. Die meisten Ausfälle, die wir in der Praxis beobachten, entstehen nicht durch Gerätefehler, sondern durch Entscheidungen, die während des Aufbaus nicht oder falsch getroffen wurden. Die folgenden sieben Abschnitte behandeln der Reihe nach die Themen, die die Projektplanung frühzeitig klären muss.

1. Planen Sie die Kapazität anhand der Leistung pro Rack statt anhand der Rackanzahl

Der Bedarf für ein Rechenzentrum wird häufig als „ein Raum für zwanzig Racks“ beschrieben. Entscheidend für die Infrastruktur ist jedoch nicht das Rack selbst, sondern die Leistung pro Rack. Dieselben zwanzig Racks ergeben bei 3 kW pro Rack eine Anlage mit 60 kW, während sie bei 15 kW eine völlig andere Stromversorgungs- und Kühlungsarchitektur mit 300 kW erfordern. Dieser Unterschied verändert jeden Planungspunkt – von der Auswahl der Schaltanlagen über die Kabelquerschnitte bis zum Kühlverfahren.

Bei der Planung müssen drei Werte getrennt erfasst werden:

• Heutige Durchschnittslast: Die am Tag der Inbetriebnahme tatsächlich aufgenommene Leistung.
• Auslegungslast: Die Zielleistung, die die Infrastruktur dauerhaft bereitstellen kann.
• Wachstumsszenario: Die innerhalb von drei bis fünf Jahren erwartete zusätzliche Kapazität und die Ausbaustufe, in der sie in Betrieb genommen werden soll.

Werden diese drei Werte nicht getrennt betrachtet, entstehen zwei typische Fehler. Entweder wird die Infrastruktur für die heutige Last ausgelegt und der gesamte Raum muss bereits bei der ersten Erweiterung überarbeitet werden. Oder sie wird auf ein weit entferntes Ziel hin überdimensioniert, wodurch die Anfangsinvestition steigt und die bei geringer Last betriebenen Geräte ineffizient arbeiten. Der richtige Ansatz besteht darin, die Basisinfrastruktur für die Zielkapazität auszulegen und die Inbetriebnahme in Stufen vorzunehmen: Kabeltrassen, Hauptverteilung und Kühlungsinfrastruktur werden auf das Wachstum ausgelegt, während die Geräte schrittweise ergänzt werden.

2. Wählen Sie den Redundanzgrad unter Berücksichtigung des Wartungsszenarios

Bei der Diskussion über Redundanz wird meist gefragt: „Was passiert bei einem Ausfall?“ Die entscheidende Frage lautet jedoch: Muss ich die Produktion für Wartungsarbeiten anhalten? Ein System kann ausfallsicher sein. Wenn es während der Wartung jedoch ohne Redundanz arbeitet, wird jede geplante Wartung zu einem Risikofenster.

Bei der Auswahl ist zu beachten, dass die Redundanz über die gesamte Versorgungskette aufrechterhalten werden muss. Wird die unterbrechungsfreie Stromversorgung als 2N ausgeführt, die Ausgangsverteilung jedoch nur einfach, entspricht der tatsächliche Redundanzgrad der Anlage dem dieser einzelnen Verteilung. Deshalb muss die Redundanzentscheidung nicht für einzelne Geräte, sondern anhand des einpoligen Schaltplans vom Einspeisepunkt bis zur Racksteckdose getroffen werden.

Die eigentliche Bewährungsprobe für Redundanz ist nicht der Störungsfall, sondern der Wartungstag. Wenn Sie ein System für die Wartung abschalten müssen, arbeitet es mehrmals im Jahr planmäßig ohne Redundanz.

3. Lösen Sie die Kühlungsaufgabe über die Luftführung statt über die Geräte

Ein erheblicher Teil der Kühlungsprobleme entsteht nicht durch fehlende Leistung, sondern dadurch, dass die Kaltluft an der falschen Stelle zirkuliert. Steigt die Temperatur in den oberen Rackbereichen trotz ausreichender Gesamtleistung der Kühlgeräte, liegt das Problem nicht bei der Kühlleistung, sondern bei der Luftführung.

Beim Aufbau sind folgende Punkte zu berücksichtigen:

• Trennung von Warm- und Kaltgängen: Die Racks werden so angeordnet, dass ihre Ansaugseiten zum selben Gang zeigen. Andernfalls gelangt die warme Abluft eines Racks in die Ansaugung des benachbarten Racks.
• Verschließen unbestückter Rackbereiche: Werden freie U im Rack nicht mit Blindplatten verschlossen, strömt die Kaltluft nach hinten ab, ohne die Geräte zu durchströmen.
• Ordnung im Doppelboden: Kabelansammlungen unter dem Doppelboden behindern den Luftstrom; die Position der Lüftungsgitter muss zusammen mit der Lastverteilung geplant werden.
• Betriebsbereich: Eine übermäßige Kühlung des Raums erhöht den Energieverbrauch. Die für die IT-Geräte zulässigen Temperatur- und Feuchtebereiche sollten den Ausgangspunkt der Auslegung bilden.

Bei korrekt ausgeführter Luftführung steigt auch die Anzahl der Tage, an denen freie Kühlung genutzt werden kann; dies wirkt sich unmittelbar auf die Betriebskosten aus. Die Aufgabe der Kühlungsautomatisierung besteht dabei nicht darin, Geräte einzeln einzuschalten, sondern die Last zwischen den Geräten auszugleichen, das Reservegerät zum richtigen Zeitpunkt zuzuschalten und bei geeigneten Außenluftbedingungen kontrolliert von mechanischer auf freie Kühlung umzuschalten.

4. Verschieben Sie die Überwachungsebene nicht auf später

Die Überwachung gehört zu den am häufigsten aufgeschobenen Bestandteilen des Aufbaus: „Erst soll der Raum laufen, die Messtechnik ergänzen wir später.“ Werden Netzanalysatoren, Temperatur- und Feuchtesensoren sowie die Gerätekommunikation jedoch nachträglich ergänzt, steigen nicht nur die Verkabelungskosten, sondern es fehlen auch die Referenzdaten aus den ersten Betriebsmonaten der Anlage. Genau diese ersten Monate bilden die Vergleichsbasis für Ihre Kapazitätsentscheidungen.

Mindestens folgende Größen müssen erfasst werden:

• Energieverbrauch an der Einspeisung, am Ausgang der unterbrechungsfreien Stromversorgung und je Rackreihe
• Zulufttemperatur und relative Luftfeuchte im Kaltgang an mehreren Messpunkten über die Rackhöhe
• Betriebszustand, Austrittstemperatur und Störmeldungen der Kühlgeräte
• Statusinformationen von Generator, Netzumschalter und Batteriesystem

Werden diese Daten auf einer gemeinsamen Überwachungsebene zusammengeführt, werden zwei Dinge möglich: die zeitliche Verfolgung der Anlageneffizienz (PUE) und messwertbasierte Kapazitätsentscheidungen. Die Antwort auf die Frage „Können wir in dieser Reihe noch ein Rack aufstellen?“ beruht dann nicht auf einer Schätzung, sondern auf der gemessenen Lastkurve dieser Reihe. Produktionsdaten zur Entscheidungsgrundlage machen – so lässt sich dieser Ansatz auf das Rechenzentrum übertragen.

Alarmmanagement ist mehr als eine Alarmliste

Ein häufiger Fehler bei der Einrichtung der Überwachung besteht darin, jedes verfügbare Signal zu einem Alarm zu machen. Hunderte gleich priorisierte Alarme werden bereits nach wenigen Wochen ignoriert. Es muss zwischen Ereignissen unterschieden werden, die einen Eingriff erfordern, solchen, die lediglich überwacht werden müssen, und solchen, die nur protokolliert werden. Für jeden Alarm, der einen Eingriff erfordert, muss schriftlich festgelegt sein, wer was zu tun hat.

5. Trennen Sie das Automatisierungsnetz vom Unternehmensnetz

Die Gebäude- und Energieautomatisierung eines Rechenzentrums unterscheidet sich grundlegend von den darin betriebenen IT-Systemen: Die Geräte sind langlebig, ihre Software wird selten aktualisiert und viele kommunizieren über Protokolle ohne Authentifizierung. Werden diese Geräte direkt an das Unternehmensnetz angeschlossen, entsteht ein Weg, über den ein Vorfall im Büronetz bis zur Kühlungssteuerung gelangen kann.

Die während des Aufbaus erforderlichen Maßnahmen sind kostengünstig; ihre nachträgliche Umsetzung ist dagegen teuer:

• Das Automatisierungsnetz als separate Zone definieren und Übergänge ausschließlich über überwachte Zugangspunkte führen
• Fernzugriff für Wartungsunternehmen nur mit Authentifizierung, zeitlicher Begrenzung und Sitzungsaufzeichnung gewähren
• Konfigurationen der Controller und des Überwachungsservers sichern und Änderungen protokollieren

Ausführliche Informationen zu diesen Themen finden Sie in unserer Lösung für OT-Cybersicherheit ; die Automatisierung eines Rechenzentrums erfordert dieselbe Sicherheitsdisziplin wie die Automatisierung in der Produktion.

6. Beschränken Sie die Inbetriebnahme nicht auf die Frage „Funktioniert es?“

Die Feststellung, dass einzelne Komponenten funktionieren, ist noch keine Inbetriebnahme. Ausfälle entstehen meist im Zusammenspiel von Systemen, die für sich genommen korrekt arbeiten: Bei Netzausfall übernimmt die unterbrechungsfreie Stromversorgung, der Generator startet und die Umschaltung erfolgt – doch beim Wiederanlauf starten alle Kühlgeräte gleichzeitig, und die Stromspitze belastet die Umschaltung. Oder der Generator geht in Betrieb, aber die Kälteanlage ist nicht an die Ersatzstromversorgung angeschlossen; der Raum erwärmt sich innerhalb weniger Minuten.

Deshalb erfolgt die Inbetriebnahme stufenweise:

1. Komponententests: Überprüfung jedes einzelnen Geräts für sich.
2. Systemtests: Prüfung der Stromversorgung und der Kühlung als jeweils zusammenhängendes System.
3. Integrierter Systemtest: Szenariobasierte Ausfalltests unter realer Last – Netzausfall, ausbleibender Generatorstart, Ausfall eines einzelnen Kühlgeräts.

Ziel des integrierten Tests ist nicht, das System bestehen zu lassen, sondern Schwachstellen vor der Übergabe zu finden. Diese Tests ermöglichen es dem Betriebsteam außerdem, das System erstmals unter realen Bedingungen zu erleben. Bei vielen späteren Vorfällen ist entscheidend, dass das Team die jeweilige Situation bereits erlebt hat.

7. Legen Sie die Betriebsregeln vor der Übergabe schriftlich fest

Wo die Installation endet, beginnt der Betrieb – und genau hier wird Verfügbarkeit gewonnen oder verloren. Die Übergabedokumentation muss aktuelle einpolige Stromlaufpläne, Schaltschrankaufbaupläne, eine Kennzeichnungsliste, die Zuordnung von Alarmen zu Maßnahmen sowie Wartungsintervalle enthalten. Fehlen diese Unterlagen, ist die Infrastruktur bereits nach der ersten Änderung nicht mehr vollständig dokumentiert.

Vor der Übergabe müssen folgende Punkte geklärt sein:

• Welche Wartungsarbeiten werden in welchen Abständen und von wem durchgeführt?
• Sind kritische Ersatzteile vorrätig, und wie lang sind die Beschaffungszeiten?
• Wie funktioniert die Alarmierungskette bei einem Alarm, und welche Reaktionszeit ist vorgegeben?
• Welche Freigabe- und Dokumentationsprozesse gelten für Maßnahmen wie das Hinzufügen von Racks oder das Ändern der Stromversorgung?

Die Änderungsdokumentation ist besonders wichtig: Ein erheblicher Teil der Ausfälle entsteht, wenn Monate nach einer nicht dokumentierten Änderung ein Eingriff auf Grundlage falscher Annahmen erfolgt. Engineering-Support nach dem Verkauf und regelmäßige Überprüfungen sind integrale Bestandteile der Installation, damit die Infrastruktur ihr ursprüngliches Leistungsniveau beibehält.

Zusammenfassung

Die Einrichtung eines Rechenzentrums ist nicht die Summe voneinander unabhängiger Gerätebeschaffungen. Kapazität, Redundanz, Luftführung, Überwachung, Netzwerksicherheit, Inbetriebnahme und Betriebsregeln sind Bestandteile derselben Architektur. Fehlt einer dieser Bestandteile, wird auch der Nutzen der übrigen begrenzt. Diese Entscheidungen unter einer einheitlichen Engineering-Verantwortung zu treffen, ist der wirksamste Weg, spätere Folgekosten zu vermeiden.

Den Installationsumfang, unser Vorgehensmodell und die Aufgaben, die wir mit unserem eigenen Team übernehmen, finden Sie auf unserer Lösungsseite zur Rechenzentrumsinstallation und Infrastrukturautomatisierung im Detail.