Operatorzy centrów danych, w miarę rozwoju aplikacji przetwarzania danych wymagających intensywnego przetwarzania danych, badają technologie chłodzenia cieczą, by zwiększyć efektywność energetyczną. Według Dell’Oro Group przychody z rynku chłodzenia cieczą osiągną 2 miliardy dolarów do 2027 roku, przy 60% skumulowanym rocznym tempie wzrostu w latach 2020-2027. Wzrost ten jest spowodowany faktem, że organizacje coraz częściej korzystają z usług chmury, stosują sztuczną inteligencję (SI) do zaawansowanej analizy i automatycznego podejmowania decyzji oraz wdrażają aplikacje blockchain i kryptowaluty.
Wpływ sprzętu SI na zarządzanie ciepłem, ©2023 Dell'Oro Group
Obecnie centra danych zaspokajają wymagania szaf serwerowych o mocy przekraczającej 20 kilowatów (kW), ale rynek zmierza ku jednostkom osiągającym 50 kW lub więcej. Nowsze generacje jednostek centralnych (CPU) i procesorów graficznych (GPU) charakteryzują się wyższą gęstością cieplną niż architektury poprzedniej generacji. Ponadto producenci serwerów umieszczają w pojedynczej szafie coraz więcej jednostek centralnych i procesorów graficznych, by zaspokoić rosnące zapotrzebowanie na wysokowydajne przetwarzanie danych i aplikacje SI.
Zaczynamy dostrzegać ograniczenia związane z chłodzeniem obiektów za pomocą powietrza. Tradycyjne chłodzenie powietrzem nie jest w stanie skutecznie i i w zrównoważony sposób chłodzić tak gęsto upakowanych szaf rack.
Dlatego operatorzy centrów danych badają możliwości chłodzenia cieczą. Chłodzenie cieczą wykorzystuje wyższe właściwości wymiany ciepła wody lub innych płynów, które mogą zagwarantować wydajne i oszczędne chłodzenie szaf o dużej gęstości. Technologia ta jest do 3000 razy efektywniejsza niż chłodzenie powietrzem. System chłodzenia cieczą sprawdził się dotychczas w zastosowaniach mainframe i gamingowych. Teraz zaczyna być stosowany do ochrony serwerów montowanych w szafach rack w centrach danych na całym świecie. Firma Vertiv opracowała szeroką gamę zasobów, które pomogą Ci zrozumieć wyzwania, możliwości i wymagania techniczne związane z chłodzeniem cieczą. Pomogą Ci one podejmować decyzje na temat sposobów wdrażania i skalowania chłodzenia cieczą w całym centrum danych.
Dowiedz się więcej o opcjach chłodzenia cieczą VertivSkontaktuj się z nami
DCD> Chłodzenie IT: HPC
Obejrzyj webinar: „Czy chłodzenie direct-to-chip wyznaczy nowy trend?”
Ten webinar omawia bieżący stan technologii chłodzenia za pomocą zimnej płyty, analizuje powody jej przyjęcia oraz kluczową rolę, jaką odegra w chłodzeniu układów scalonych w przyszłości. Oprócz funkcjonalności zapewniającej doskonałe odprowadzanie ciepła, systemy typu direct-to-chip mogą być również łatwiejsze w modernizacji, w porównaniu z technologią zanurzeniową. Czy te zalety przyspieszą wdrażanie technologii i coraz szersze stosowanie innowacji w konserwatywnej branży? Czy przyniosą wyższy zwrot z inwestycji? Dodatkowo, podczas sesji zastanowimy się, czy – i kiedy – technologie chłodzenia zimną płytą będą stosowane na szeroką skalę.
„Czy chłodzenie direct-to-chip wyznaczy nowy trend?”
Zrozumieć opcje i możliwości chłodzenia cieczą
Operatorzy centrów danych wybierają jedną z poniższych trzech ścieżek wdrażania chłodzenia cieczą. Tworzą centra danych wykorzystujące wyłącznie ciecz, wyposażają obiekty chłodzone powietrzem w nową infrastrukturę, która umożliwi w przyszłości obsługę szaf chłodzonych cieczą oraz integrują chłodzenie cieczą w obecnych obiektach chłodzonych powietrzem, które nie posiadają infrastruktury do jego obsługi. Większość z nich prawdopodobnie wybierze tę ostatnią ścieżkę, by uzyskać wydajność, która zaspokoi krótkoterminowe potrzeby biznesowe oraz zapewni szybki zwrot z inwestycji.
Instalacja chłodzenia cieczą może być złożonym procesem. Dlatego operatorzy centrów danych będą decydować się na współpracę z partnerem, który wesprze ich w podejmowaniu decyzji w kluczowych kwestiach dotyczących instalacji hydraulicznych, dystrybucji chłodzenia, równoważenia wydajności, strategii ograniczania ryzyka i systemów odprowadzania ciepła.
Obecnie dostępne są następujące opcje chłodzenia cieczą:
-
Wymienniki ciepła montowane w tylnych drzwiach – pasywne lub aktywne wymienniki ciepła chłodzone cieczą montowane w miejsce tylnych drzwi szafy rackowej IT. Systemy te mogą być używane w połączeniu z systemami chłodzenia powietrzem i kondycjonować środowiska szaf o różnej gęstości.
-
Chłodzenie cieczą typu direct-to-chip – elementy chłodzące umieszcza się bezpośrednio nad procesorem generującym ciepło, które to jest odprowadzane w drodze procesu jednostopniowego lub dwustopniowego z zastosowaniem parowników. Wydajność tej technologii wynosi około 70-75% ciepła wytworzonego przez sprzęt w szafie. Pozostałe 25-30% musi być odprowadzone przez systemy chłodzenia powietrzem.
-
Chłodzenie zanurzeniowe – w jednostopniowych i dwustopniowych systemach chłodzenia zanurzeniowego serwery i inne elementy w szafie rack są umieszczane w przewodzącej ciepło cieczy dielektrycznej. To rozwiązanie eliminuje potrzebę chłodzenia powietrzem. Takie rozwiązanie wykorzystuje optymalnie właściwości termiczne płynu i jest najbardziej efektywną energetycznie formą chłodzenia cieczą na rynku.
6 aspektów, które należy wziąć pod uwagę przy wdrażaniu chłodzenia cieczą w centrum danych
Chociaż obecnie buduje się centra danych chłodzone wyłącznie cieczą i projektuje nowe centra chłodzone powietrzem z myślą o przyszłym zastosowaniu szaf rack chłodzonych cieczą, najczęstszym wyzwaniem dla operatorów jest integracja chłodzenia cieczą w już działających obiektach chłodzonych powietrzem, które nie mają odpowiedniej infrastruktury.
Jak można się spodziewać, jest to zadanie skomplikowane. Jeżeli zastanawiasz się nad wdrożeniem chłodzenia cieczą w chłodzonym powietrzem centrum danych, istnieje kilka kluczowych zagadnień, które warto przemyśleć.
Decydujący wpływ na projekt hybrydowego systemu chłodzenia ma typ używanej cieczy oraz stosunek obciążenia cieplnego do ilości tej cieczy. Wyższy stosunek obciążenia cieplnego do cieczy zmniejsza zapotrzebowanie na infrastrukturę chłodzenia powietrzem. Obciążenie cieplne, przepływy cieczy i ciśnienie razem kształtują całościowe rozwiązanie chłodzenia cieczą. Należy je uwzględniać już na wstępnym etapie wdrażania tego procesu w szafach rack.
Podstawowym elementem infrastruktury chłodzenia cieczą są rury doprowadzające chłodziwo do szaf rack – może to być jednak najbardziej skomplikowany element wdrożenia w już istniejącym obiekcie.
Wprowadzanie zmian najczęściej wymaga etapowego podejścia, aby nie zakłócić codziennych operacji. W kolokacji operatorzy wprowadzają instalację hydrauliczną do wybranych pomieszczeń, bazując na konkretnych wymaganiach klienta. W miarę wzrostu tych wymagań, system jest rozbudowywany o dodatkowe pomieszczenia. To samo podejście stosują przedsiębiorstwa, dedykując część przestrzeni w centrum danych dla szaf rack chłodzonych cieczą.
W centrach danych z podwyższoną podłogą nieodpowiednio zaprojektowane rurociągi mogą zaburzać przepływ powietrza. W takich miejscach warto przeprowadzić symulacje dynamiki płynów (CFD) w celu optymalizacji układu rurociągów oraz minimalizacji ich wpływu na przepływ powietrza.
W centrach danych bez podwyższonej podłogi rury prowadzone są nad korytarzami, podtrzymywane przez konstrukcję sufitu, a wszystkie połączenia są zabezpieczone tacami ociekowymi, by zminimalizować ryzyko szkód spowodowanych ewentualnymi wyciekami. Kluczową kwestią przy wdrażaniu chłodzenia cieczą jest zapewnienie kompatybilności materiałów oraz wybór odpowiednich złączek.
Dystrybucja
W obiektach chłodzonych cieczą konieczne jest stworzenie dodatkowego obwodu chłodzenia, umożliwiającego precyzyjne sterowanie chłodziwem dostarczanym do szaf rack. Kluczowym elementem tego obwodu jest jednostka dystrybucji chłodziwa (CDU). Jednostka CDU zapewnia sterowanie temperaturą i przepływem oraz możliwość utrzymania czystości cieczy poprzez filtrację zanieczyszczeń.
W przypadku mniejszych projektów CDU z wymiennikiem ciepła ciecz-powietrze może uprościć wdrażanie, przy założeniu, że system chłodzenia powietrzem jest w stanie odprowadzać ciepło z CDU. W większości przypadków CDU wykorzystuje wymiennik ciepła ciecz-ciecz do przechwytywania ciepła wydalanego z szaf rack i odprowadzania go przez układ wody lodowej. Jednostki CDU można umieścić na obwodzie centrum danych, jednak większość z nich jest zaprojektowana do instalacji w rzędach w sąsiedztwie obsługiwanych szaf rack.
Jednostka dystrybucji chłodziwa Vertiv™ Liebert® XDU funkcjonuje jako wymiennik ciepła typu ciecz-powietrze chłodzący procesory.
Bilansowanie wydajności
Najczęściej stosowane dzisiaj metody chłodzenia cieczą, takie jak wymienniki ciepła w tylnych drzwiach oraz bezpośrednie chłodzenie układów scalonych, nie stanowią niezależnych rozwiązań, ale współpracują z powietrznymi systemami chłodzenia powietrzem. Chłodzenie zanurzeniowe, zarówno jedno- jak i dwufazowe, również zdobywa na znaczeniu.
W przypadku tej metody kluczowe jest określenie całkowitego obciążenia cieplnego każdego systemu, określenie wydajności chłodzenia powietrzem, którą zastąpi chłodzenie cieczą oraz identyfikacja miejsc, w których system chłodzenia cieczą wprowadzi nowe wymagania dla systemów chłodzenia powietrzem. Na przykład wymienniki ciepła w tylnych drzwiach szafy rack odprowadzają schłodzone powietrze do przestrzeni centrum danych, a system chłodzenia powietrzem musi być musi być gotowy na dodatkowe obciążenie, gdy drzwi zostaną otwarte w celu serwisowania szafy rack. Zadaniem agregatu chłodniczego w aplikacjach chłodzenia tylnych drzwi jest zapewnienie pożądanej temperatury wody.
Agregaty chłodnicze Vertiv Liebert AFC, przystosowane do chłodzenia cieczą i zaprojektowane w celu przełamywania barier związanych z wdrażaniem chłodzenia cieczą w środowisku chłodzonym powietrzem, umożliwiają jednoczesne zarządzanie chłodzeniem powietrza i cieczą. Ułatwiają też integrację wewnętrznych jednostek CRAH i CDU oraz płynne przejście do centrum danych chłodzonego cieczą.
Główną przeszkodą w rozwoju chłodzenia cieczą były obawy związane z ryzykiem transportu cieczy do szaf rackowych. Współczesne systemy chłodzenia cieczą zminimalizowały to ryzyko, ograniczając ilość dystrybuowanej cieczy oraz integrując technologie wykrywania wycieków w kluczowych elementach systemu i rurociągach.
Stosowanie płynów dielektrycznych eliminuje ryzyko uszkodzenia sprzętu w wyniku wycieku. Jednak wysoki koszt tych czynników powoduje, że zasadne jest stosowanie systemów detekcji nieszczelności podobnych do rozwiązań wykorzystywanych w systemach wodnych. Projekt Open Compute opublikował wartościowy raport na temat technologii i strategii wykrywania wycieków, „Wykrywanie wycieków i integracja, którego lekturę rekomendujemy wszystkim planującym wdrożenie chłodzenia cieczą w centrum danych.
Odzyskiwanie ciepła może zwiększyć efektywność systemu chłodzenia opartego na wodzie lodowej, pozwalając na wykorzystanie ciepła z centrum danych do innych celów. Zamiast jedynie chłodzić obciążenie cieplne, ciepło jest skutecznie przechwytywane przez system, aby spełnić potrzeby cieplne innych części obiektu, sąsiednich budynków czy sieci ciepłowniczej. Tę strategię można stosować nawet w starszych centrach danych, podnosząc temperaturę odzyskanego ciepła za pomocą pomp ciepła.
Wdrażanie chłodzenia cieczą w centrum danych chłodzonym powietrzem wymaga dokładnego planowania i prac inżynierskich, ale aktualne technologie i dobre praktyki zapewniają skuteczność i minimalizują zakłócenia.
Aby dowiedzieć się więcej, pobierz nasz raport White Paper „Zrozumieć rozwiązania i wymagania infrastrukturalne chłodzenia cieczą w centrum danych” .
Obliczanie wpływu chłodzenia cieczą na efektywność
Jak wcześniej wspomniano, zastosowanie chłodzenia cieczą w centrach danych nabiera tempa ze względu na jego zdolność do bardziej wydajnego i skutecznego chłodzenia szaf IT o dużej gęstości. Dotychczas projektanci i operatorzy centrów danych nie dysponowali danymi, które można było wykorzystać do prognozowania wpływu chłodzenia cieczą na efektywność centrum danych i pomóc im optymalizować wdrażanie chłodzenia cieczą w celu zwiększenia oszczędności i efektywności energetycznej obiektów.
Aby wypełnić tę lukę, zespół specjalistów z NVIDIA i Vertiv przeprowadził pierwszą obszerną analizę wpływu chłodzenia cieczą na PUE i zużycie energii w centrach danych. Pełna treść analizy została opublikowana przez American Society of Mechanical Engineers (ASME) w artykule Analiza efektywności wykorzystania energii w hybrydowym centrum danych o wysokiej gęstości chłodzonym cieczą.
Najważniejsze wnioski płynące z analizy efektywności energetycznej chłodzenia cieczą w centrum danych
Efektywność wykorzystania energii
PUE nie jest odpowiednią miarą wydajności chłodzenia cieczą w centrum danych. Chłodzenie cieczą, w przeciwieństwie do chłodzenia powietrzem, wpływa na licznik (całkowite zasilanie centrum danych), jak i na mianownik (zasilanie sprzętu IT) w obliczeniach PUE, co czyni go nieskuteczną miarą porównywania wydajności systemów chłodzenia cieczą i powietrzem.
Całkowita efektywność wykorzystania energii
- Alternatywne metryki, takie jak TUE (Całkowita efektywność wykorzystania energii), będą bardziej przydatne przy podejmowaniu decyzji projektowych dotyczących wdrożenia chłodzenia cieczą w chłodzonym powietrzem centrum danych.
- TUE = ITUE x PUE (ITUE = Całkowita energia dostarczana do sprzętu IT/Całkowita energia dostarczana do elementów przetwarzania danych)
- Lub TUE = Całkowita moc dostarczana do centrum danych/Całkowita moc dostarczana do elementów przetwarzania danych, procesowania i pamięci
W centrach danych o dużej gęstości chłodzenie cieczą poprawia efektywność energetyczną systemów IT i obiektu w porównaniu z chłodzeniem powietrzem. W naszym w pełni zoptymalizowanym badaniu wdrożenie chłodzenia cieczą spowodowało zmniejszenie całkowitego zasilania centrum danych o 10,2% i ponad 15% poprawę TUE.
Wyższa wydajność dzięki technologiom chłodzenia cieczą
Maksymalizacja wdrożenia chłodzenia cieczą w centrum danych — pod względem procentowego udziału obciążenia IT chłodzonego cieczą — zapewnia największą efektywność. W przypadku chłodzenia direct-to-chip nie jest możliwe schłodzenie całego za pomocą cieczy, ale około 75% obciążenia może być skutecznie chłodzone tą metodą.
Chłodzenie cieczą umożliwia stosowanie wyższych temperatur wody lodowej, powietrza zasilającego i wtórnego temperatury wlotowej, które przyczyniają się do maksymalizacji efektywności infrastruktury obiektu. Należałoby rozważyć w szczególności chłodzenie gorącą wodą. Wtórne temperatury wlotowe w naszym ostatnim badaniu zostały podniesione do 45°C (113°F), co przyczyniło się do uzyskania osiągniętych wyników, jednocześnie zwiększając możliwości ponownego wykorzystania odpadowego ciepła.
Rozwiązania chłodzenia dla centrów danych: bezpieczne wdrażanie chłodzenia cieczą w centrum danych
Jeśli chcesz dowiedzieć się więcej o bezpiecznym wdrażaniu chłodzenia cieczą w centrum danych, obejrzyj ten film
Opcje dla hybrydowych systemów chłodzenia powietrzem/cieczą oraz całkowicie chłodzonych cieczą centrów danych
Niezależnie na jakim etapie znajduje się Twoja firma, Vertiv oferuje rozwiązania i usługi, które pomogą osiągnąć cele biznesowe i spełnić wymagania techniczne.
Vertiv, jako światowy lider w dziedzinie klimatyzacji precyzyjnej, stosuje holistyczne podejście do obiektów chłodzonych cieczą. Nasze rozwiązania są owocem prac badawczych i rozwojowych prowadzonych we współpracy z uczelniami partnerskimi Center for Energy-Smart Electronic Systems (ES2), a także Green Grid i Open Compute Project oraz Green Revolution Cooling.
Dzięki tym wysiłkom oraz intensywnemu programowi badań & rozwoju w dziedzinie chłodzenia cieczą firma Vertiv dotrzymuje kroku zmieniającym się wymaganiom klientów. Oferujemy portfolio rozwiązań, które obsługują hybrydowe chłodzenie powietrzem i cieczą, a także w pełni chłodzone cieczą centra danych, w tym:
- Jednostki dystrybucji chłodziwa (CDU) i pomieszczeniowe agregaty chłodnicze, stanowiące kompletne rozwiązania infrastrukturalne chłodzenia cieczą w centrach danych
- Aktywne i pasywne wymienniki ciepła montowane w tylnych drzwiach
- Systemy odprowadzania ciepła zaprojektowane do pracy z jednostkami chłodzenia cieczą CDU i agregatami chłodniczymi
- Rozwiązania modernizacyjne umożliwiające przystosowanie sprzętu chłodzącego do obsługi chłodzenia cieczą
- Ugruntowane praktyki i usługi w zakresie przekazania do eksploatacji, rozruchu i eksploatacji infrastruktury chłodzenia cieczą
Reprint raportu Market Insight S&P Global Market Intelligence
Vertiv wspiera chłodzenie cieczą w przetwarzaniu danych o dużej gęstości dzięki nowej jednostce dystrybucji chłodziwa
