20070506u Rittal Fraunhofer RZ Luft-Wasser-Wärmetauscher

Numerische Simulation ist ein ziemlich emotionsloser, trockener Begriff für aufwendige Computerberechnungen, die das Freiburger Ernst-Mach-Institut mit einem neuen Hochleistungsrechner-Cluster im Kundenauftrag durchführt. Supercomputing verursacht Wärme. Bauliche Gegebenheiten, Zukunftssicherheit und Herstellerneutralität gaben den Ausschlag für eine Klimatisierung mit rackbasierten Luft-Wasser-Wärmetauschern von Rittal.

as Ernst-Mach-Institut als Institut der Fraunhofer Gesellschaft simuliert die Verkehrs- und Crashsicherheit von Fahrzeugen, die Stabilität von Gebäuden oder das Verhalten von bestimmten Werkstoffen in Luft- und Raumfahrt für internationale Kunden am Computer. Für diese Form der numerischen Simulation bedarf es extremer Computer-Power. Woran ein normaler PC Wochen oder gar Monate rechnet, stellt das neue Linux-Cluster des Freiburger Instituts bereits nach einigen Stunden oder Tagen seine Ergebnisse bereit.

Autos virtuell crashen

»In unserem Rechner-Verbund crashen wir beispielsweise Autos und Baugruppen. Wir setzen parallelisierte Programme ein, um numerische Simulationen in einer so genannten massiv parallelen Berechnung durchzuführen,«, erklärt der Gruppenleiter des Rechenzentrums Stephan Engemann. »Seit 2006 setzen wir ein 64-bit System mit 2000 Gflop/s ein.« Flop/s bezeichnet die Anzahl der Gleitkommazahl-Operationen pro Sekunde. Dabei war die Klimatisierung eine besondere Herausforderung. Der neue Rechnerverbund verfügt über 64 so genannte Quad Opteron Computernodes. Das sind 256 Intel CPUs à 2,6 GHz mit insgesamt 1 TB Arbeitsspeicher, die über eine Infiniband Hochgeschwindigkeitsvernetzung verbunden sind.

Immer cool bleiben

»Das neue Cluster hat in der Summe eine Verlustleistung von etwa 35 kW«, so Engemann weiter. »Wenn hier die Kühlung nicht optimal funktioniert, riskiert man die gesamte Computerhardware, die innerhalb kürzester Zeit überhitzen und ausfallen würde. Aufgrund des begrenzten Raums und der geringen Höhe im Rechenzentrum war eine herkömmliche Klimatisierung des Raums kaum noch wirtschaftlich möglich. Uns war klar, dass nur eine Wasserkühlung die gewünschte Sicherheit und Performance bieten würde.«

Neben der höheren Wärmekapazität von Wasser gegenüber Luft spricht auch das angenehmere Raumklima für eine solche Lösung, denn schon vor der Erweiterung des Rechenzentrums war es für Menschen sehr unangenehm in dem stark gekühlten Raum. Um Hitzestaus an ungünstigen Stellen in den Racks zu vermeiden, hätte nämlich die Temperatur noch niedriger und die Luftgeschwindigkeit so hoch gewählt werden müssen, dass Arbeiten im Raum nur mit Mantel möglich gewesen wären. Alternativ hätte man die Racks nicht so eng bestücken dürfen. Aber dazu wäre deutlich mehr Raum erforderlich gewesen, der in einer Innenstadtlage und zusammen mit der notwendigen technischen Infrastruktur sehr hohe Betriebskosten verursacht hätte.

Auf der Suche nach einer skalierbaren und hardwareunabhängigen Lösung entschied sich das Ernst-Mach-Institut für eine Rack-Klimatisierung von Rittal. Zum Einsatz kommt die modulare Lösung Liquid Cooling Package (LCP), die als ‚Klimaschrank’ seitlich an die Serverracks montiert wird. Hier wird die Verlustwärme nahe dem Entstehungsort aufgenommen und temperaturneutral für den Raum abgeführt. Sicherheit ist Trumpf, daher gibt es in der Reihe von fünf Serverracks insgesamt sechs LCPs. So erhält jedes Rack seine Kühlluft redundant von zwei Seiten.

Kühlleistung nach Bedarf skalieren

Die Rittal Lösung ist auch für künftige Anforderungen gerüstet, denn jedes LCP verfügt bereits über drei Kühlmodule mit einer Kühlleistung von 15 kW pro Rack bei der gewählten Wasservorlauftemperatur. In den geschlossenen Serverracks wird die Luft horizontal umgewälzt. Dadurch entstehen auch im oberen Bereich keine Hitzestaus. Im LCP Klimaschrank wird die erwärmte Luft aus den Rechnern an Luft-Wasser-Wärmetauschern wieder abgekühlt und dann den Servern vor der vorderen 19«-Ebene zugeführt. Dieses Mikroklima lässt sich leichter dimensionieren als eine Raumklimatisierung, bei der sich die Kühlleistung an den ungünstigsten Bedingungen orientiert.

Das kalte Wasser wird von Rittal Rückkühlern bereitgestellt, die sich auf dem Gebäudedach befinden. »Wir haben uns in jeder Hinsicht für die Zukunft gerüstet und daher die Rückkühler entsprechend dimensioniert«, erklärt Stephan Engemann. »Aus Redundanzgründen wurden drei Rückkühler installiert, von denen immer zwei wechselnd im Einsatz sind. Ebenso werden die Pumpen regelmäßig umgeschaltet, um eine zu starke Abkühlung oder sogar ein Einfrieren des Kühlmittels im Winter während der Ruhephasen im Rückkühler zu vermeiden. Ein Wassertank in jedem Rückkühler mit 300 l Volumen dient als zusätzlicher Puffer für das Kühlsystem. Insgesamt vereinen die drei Rückkühler eine Kühlleistung von 108 kW und sind damit fit für die Zukunft.

Strom kommt einfach aus der Steckdose

Wo viel Abwärme entsteht, muss erst einmal Energie in Form von Strom zugeführt werden. Das Institut verfügt dazu über eine eigene Trafostation vom Energieversorger und hat damit eine hohe Versorgungssicherheit. Da die Simulationen im Gegensatz zu kommerziellen Anwendungen nicht unternehmenskritisch sind, verzichten die Freiburger auf eine USV. Udo Ziegenhagel dazu: »Die Software, die wir einsetzen, speichert Berechnungs-Zwischenergebnisse regelmäßig und markiert Wiederaufsetzpunkte, wenn es zu einem Systemabsturz kommen sollte. Diese Absicherung der Prozesse macht es auch risikolos, Server abzuschalten, wenn beispielsweise die Kühlung ausfällt. Eine eventuell notwendige Abschaltung der Server erfolgt automatisch via CMC-TC über die schaltbaren PSM (Power System Module) Steckdosenmodule von Rittal.

Stefan Engemann ergänzt: »Wir setzen das Überwachungssystem CMC-TC von Rittal ein, um die Umgebungsbedingungen des Clusters zu überwachen. Dazu gehört die Temperatur als wichtigstes Kriterium, darüber hinaus überwachen wir, ob die Türen geschlossen sind, weil dies für die sichere Kühlung erforderlich ist. Schließlich kontrollieren wir, ob das LCP funktioniert, und erhalten Informationen vom Lampertz Rack-Löschsystem.«

Das neue Linux-Cluster des Ernst-Mach-Instituts gehört mit seinen 2 Tflop/s in den Bereich Supercomputing. Um die unglaubliche Wärme sicher abzuführen, die hier entsteht, vertrauen die Institutsverantwortlichen auf die Lösung von Rittal, die alle wichtigen Bereiche integriert. Seit Herbst 2006 besitzt das Institut eine hardwareunabhängige Infrastruktur, die so flexibel ist, dass auch zukünftig jeder beliebige Server hineinpasst. Die Kühlung über das LCP wächst modular mit den Anforderungen, denn die Rückkühler haben entsprechende Kapazitäten. Nach den einmaligen Installationsarbeiten für die Rückkühlung profitieren die Freiburger nun von einem System, das der herkömmlichen Luftkühlung weit überlegen ist.

Bild 1

Der Rechnerverbund verfügt über 64 Quad Opteron Prozessoren. Das sind 256 Intel CPUs à 2,6 GHz. Jeweils rechts und links der fünf Serverracks sind Rittal LCP Luft-Wasser-Wärmetauscher installiert.

Bild 2

Rittal CMC-TC Überwachungssystem und abgesicherte Stromverteilung pro Rack.

Bild 3

SSC Über den KVM Switch Rittal SSC kann jeder einzelne Server physisch via Netzwerk aus der Ferne administriert werden.

Bild 4

Drei Rittal Rückkühler auf dem Dach mit 108 kW Kühlleistung sichern den Kühlbedarf auch in Zukunft.

Bild 5

Auch das Lampertz Racklöschsystem mit Rauchfrüherkennung ist am Überwachungssystem Rittal CMC-TC angeschlossen.

Rittal:
Rittal ist heute mit über 10.000 sofort lieferbaren Standard-Produkten einer der weltweit führenden Systemanbieter für Gehäuse- und Schaltschranktechnik und gefragter Lösungsanbieter für alle Segmente des IT-Marktes. Das Unternehmen zählt zu den internationalen Top-Anbietern von 19«-Racksystemen und ist OEM-Lieferant zahlreicher, führender Serverhersteller. Das Rittal Programm für den IT-Markt bietet eine Vielzahl einzigartiger Lösungen zum Aufbau komplexer Rechenzentren und Data-Center. Vom Netzwerk- und Serverrack über Powermanagement, Cooling, Monitoring und IT-Security bis hin zu interaktiven Terminal Systemen – Rittal steht für zukunftsorientierte und umfassende Lösungs-, Service und Beratungskompetenz.
Unter dem Dach von Rittal International entstehen optimale Synergien für den Kunden durch einen starken Verbund mit den Marktführern Eplan (Europas Nr. 1 bei Softwarelösungen für den Maschinen- und Anlagenbau sowie die Industrie), Lampertz (führender Anbieter im Bereich physikalischer Daten- und Systemsicherung) und Litcos (Anbieter von innovativen Sicherheitskonzepten für Datensysteme). Um alle Märkte der Welt optimal zu bedienen, beliefern 19 Hightech-Produktionsstätten 60 Tochtergesellschaften, 150 Vertriebs- und Logistik Center und über 70 Vertretungen rund um den Globus. In Deutschland leisten 22 Rittal Vertriebs- und Logistik Center flächendeckend den uneingeschränkten Service im Dienste des Kunden. Mit weltweit über 10.000 Mitarbeitern ist Rittal International das größte Unternehmen der Friedhelm Loh Group, Haiger, Hessen. Die gesamte Unternehmensgruppe beschäftigt mehr als 11.000 Mitarbeiter.

Ernst-Mach-Institut setzt auf cooles High-End Linux-Cluster

Bei Fraunhofer kracht es im Computer