Wir alle wissen um die hohen Anforderungen an die Ausfallsicherheit von IT-Landschaften. Dahinter stecken neben Institutionen aus Wirtschaft und Finanzwesen vor allem Betreiber kritischer Infrastrukturen. Werden missionskritische Prozesse nicht mit einer gewissen Absicherung gegen Ausfall betrieben, sind oft grundlegende Mechanismen der jeweiligen Organisation gefährdet.

Schaffung von Redundanzen

Richtig kritisch allerdings wird es bei Unterbrechungen der Energieversorgung. Bei Ausfall der Strom-, Gas- oder Wasserversorgung sind neben den privaten Haushalten beispielsweise auch medizinische Einrichtungen betroffen. Um solchen Ausfällen entgegenzuwirken und sie letztendlich so weit wie möglich zu vermeiden, werden hohe Anforderungen an die Versorgungssysteme der IT-Landschaften in Rechenzentren gestellt. Neben der Datenversorgung handelt es sich hierbei vor allem um die Strom- und Kälteversorgung der IT-Systeme. Diese werden meist mehrfach vorgehalten, um bei Ausfall oder Wartung einer Komponente oder eines Versorgungspfades weiter eine sichere Versorgung der IT zu ermöglichen. Man spricht hierbei von Redundanzen, abhängig von der entsprechenden Verfügbarkeitsklasse.

Stand der Technik

Werden hohe Anforderungen an die Verfügbarkeit der IT-Systeme gestellt, bedingt das weitreichende Redundanzen. Verfügbarkeitsanforderungen bis hin zu konkreten Vorgaben zur Redundanz werden beispielsweise vom Bundesamt für Sicherheit in der Informationstechnik (BSI), aber auch von der TÜV Informationstechnik GmbH gegeben. Eine normgerechte Vorgehensweise bietet die Normenreihe der DIN EN 50600 „Einrichtungen und Infrastrukturen von Rechenzentren“ an.

Gewerkeübergreifende Redundanz

Als qualitätssichernde Instanz bei der planungs- und baubegleitenden Betreuung stoßen wir hin und wieder auf Unverständnis bei den planenden oder auch ausführenden Stellen. Die von uns erkannten Defizite äußern sich dann meist in einer lückenhaften Umsetzung der geforderten Leistungen. Für Planungsbüros ohne RZ-Erfahrungen erschließt sich der Sinn solcher Anforderungen meist nicht sofort, wodurch sich Fehler einschleichen können. Vor allem die Forderung nach dem Zusammenspiel der Gewerke Strom- und Klimaversorgung sorgt in der Praxis manchmal für Unverständnis.

Anforderungen ans Lastenheft

Im Folgenden werden Anforderungen aus einem Lastenheft aufgeführt und deren planerische Umsetzung an einem Beispiel erläutert. Zum besseren Verständnis sei erwähnt, dass bei vielen Bauvorhaben das Lastenheft die Grundlage für eine sach- und fachgerechte Planung darstellt, ohne eine ausführungsreife Lösung zu präsentieren. Nun zu den gestellten RZ-Anforderungen:

-          Erstausbau der IT-Fläche mit maximal 30 Kilowatt IT-Load und Endausbau mit maximal 90 Kilowatt IT-Load

-          Kühlung der IT-Fläche durch Umluftkühlung über einen Doppelboden inkl. Kalt-Warmgangaufstellung mit Kaltgangeinhausung

-          Nutzung der indirekten freien Kühlung, System energetisch optimiert

-          Redundante Auslegung in Form von n+1 aller aktiver Anlagenteile von der Kälteerzeugung über die Kälteverteilung bis hin zur Verbraucherseite (Damit gemeint sind Kältemaschinen, Rückkühlwerke, Pumpen, Umluftkühler oder vergleichbare Technik.)

-          Auslegung der Klimatisierung so, dass jederzeit Wartungen an aktiven Komponenten ohne Betriebsunterbrechungen durchgeführt werden können

-          Alle Anforderungen gelten für jede der oben genannten Ausbauphasen.

-          Eine Leitungsredundanz ist nicht gefordert.

Planerische Umsetzung

Der Klimaplaner nahm diese Anforderungen auf und beplante diese wie folgt:

• Erstausbau: Aufbau eines Kaltwassersystems mit 2x Umluftkühlern (ULK) mit jeweils 30 Kilowatt sensibler Kälteleistung, integrierter Kälteerzeugung und zwei Wärmetauschern im Verbund (Wasser-Glykol-Gemisch) mit zwei Rückkühlern (RKW) mit jeweils 100 Kilowatt Rückkühlleistung. Aufbau eines Kaltwasserverbundsystems in einfacher Form mit zwei Förderpumpen als Doppelpumpen ausgelegt für jeweils 100 Prozent des Gesamtvolumenstromes der Anlage, bezogen auf den Endausbau inklusive absperrbarer Anschlusspunkte für die weiteren Umluftkühlgeräte im Endausbau.

• Endausbau: Erweiterung um 2x ULK mit jeweils 30 Kilowatt sensible Kälteleistung. Anschluss im laufenden Betrieb ohne Unterbrechung der Kälteversorgung möglich.

Vermeintlich perfekte Umsetzung

Somit hat der Klimaplaner die Anforderungen an die redundant vorzuhaltenden beweglichen Komponenten im System erfüllt. Bei Ausfall eines der Bauteile (ULK, RKW oder auch Förderpumpe) ist die weitere Kühlung der IT-Komponenten sichergestellt. Auch der bereits im Erstausbau umgesetzte Vollausbau des Systems mit Rückkühlern ist energetisch von Vorteil, da somit eine große Wärmetauscherfläche zur Verfügung steht. Diese führt dazu, dass bereits bei relativ hohen Außenlufttemperaturen die indirekte freie Kühlung genutzt wird und somit die elektrische Energie für die Kompressorkühlung reduziert werden kann. Ebenso ist die Wartung im laufenden Betrieb an den Komponenten sichergestellt. Also alles richtig gemacht, könnte man meinen ...

Endausbau ohne Redundanz

Bei der Frage nach der elektrischen Versorgung der Klimakomponenten offenbarten sich dann doch einige Missstände. Die elektrische Versorgung der IT und der technischen Infrastruktur (also in diesem Kontext auch der Klimatisierung) steht auf zwei voneinander unabhängigen Beinen, die bei Ausfall eines Versorgungspfades den weiteren Betrieb über das dann verbleibende System sicherstellen. So lautet jedenfalls der Planungsansatz aus dem Gewerk Elektrotechnik. Eine strikte Fortführung dieser Maßgabe bei der Versorgung der Klimakomponenten wäre somit notwendig, wurde aber hier nicht stringent umgesetzt. So hat der Planer in diesem konkreten Fall zwei der insgesamt vier ULK auf den Stromversorgungspfad A gelegt und die anderen beiden ULK auf den Pfad B. Bei Ausfall eines Stromversorgungspfades wird im Erstausbau nur ein ULK weiter mit Strom versorgt und liefert somit noch die gewünschten 30 Kilowatt. Allerdings funktioniert das im Endausbau nicht, da dann nur noch zwei von vier ULK mit Strom versorgt werden können. Die Wärmelast von 90 Kilowatt im Endausbau kann somit nicht mehr abgeführt werden, da bei zwei laufenden ULK nur 60 Kilowatt an Wärmeleistung abgeführt werden können. Die Elektroversorgung der RKW wurde wiederum konform den Anforderungen ausgeführt. Das RKW1 wurde aus Pfad A und das RKW2 aus Pfad B versorgt. Dadurch ist Rückkühlleistung bei Ausfall eines Versorgungspfades zu 100 Prozent in beiden Ausbauphasen sichergestellt.

Integrationstest zur Fehlererkennung

Ein einziger kleiner Fehler kann die Performance des Rechenzentrums unmittelbar gefährden. Der redundante Endausbau in der geforderten Leistung ist nicht erreichbar. Zur Lösung solcher banalen Anforderungen haben sich seit vielen Jahren Standardeinrichtungen, wie beispielsweise A-B-Umschalter innerhalb von Klimakomponenten, bewährt.

Bleiben vor der Inbetriebnahme der IT auch noch die gewerkeübergreifenden Integrationstests aus, so kann es Jahre dauern, bis solch ein Fehler überhaupt erkannt wird. Erst wenn sich die Menge der IT-Abwärme über die 60-Kilowatt-Grenze hinaus bewegt und ein Stromversorgungspfad ausfällt oder die Wartung des Pfades ansteht, wird das Ausmaß deutlich. Die im Nachhinein notwendige Ertüchtigung der Stromversorgung, egal nach welchem Auslöser, kann unter Umständen aufwendig sein und zu möglichen Betriebsunterbrechungen der IT führen. Ein daraus resultierender, wenn auch geplanter, Shutdown ist bei den IT-Verantwortlichen nicht unbedingt gern gesehen.

Quelle Text: Peter Schmidt, Diplom-Ingenieur (FH), Sicherheitsberater der VZM GmbH mit den Spezialgebieten Sicherheitstechnik und Klimatisierung von Rechenzentren
Foto: Adobe Stock / vchalup