V noci z pondělí 27.3.2023 na úterý 28.3.2023 proběhla v areálu datového centra Coolhousing odstávka trafostanice z důvodů revize vysokonapěťových rozvaděčů i samotných trafostanic. Areál měl být na dlouhých 5 hodin kompletně bez napájení a jelikož neponecháváme nic náhodě, pozvali jsme si záložní diesel o výkonu 900 kVA. Jak to celé probíhalo?
Naštěstí to nebyl pátek, ale pondělí 13.3.2023, kdy jsme obdrželi od správce areálu a současně i od Pražské energetiky oznámení o plánované odstávce energií na obou trafostanicích, ze kterých je připojeno datové centrum, na dlouhých 5 hodin. Vše mělo začít v pondělí 27.3.2023 ve 22:00 a konec byl naplánován na úterý 28.3.2023 ve 3:00. Pro případy výpadků či odstávek napájení je naše datové centrum vybaveno dvěma motorgenerátory, které nás nejen v loňském roce několikrát podržely (článek o masivním výpadku distribuční sítě zde) a mohli jsme v podstatě nad oznámením jen mávnout rukou. Nafty v DC máme tolik, abychom bez nutnosti dodávky udrželi napájení 12 hodin, UPS jsou každý týden automaticky testovány a jsou navíc v redundanci N+1. Jelikož se však považujeme za profíky a nechtěli jsme nic ponechat náhodě, na avizovaný termín jsme si od našeho partnera objednali záložní motorgenerátor a své zákazníky jsme o nadcházející akci informovali 15.3.2023.
Nejprve trocha teorie
Postup na připojení záložního motorgenerátoru máme zvládnutý, ostatně jsme jej před pěti lety, opět při revizi trafostanice, použili. V praxi to vypadá tak, že záložní motorgenerátor připojíme na připravené svorky hlavních rozvaděčů tak, aby při výpadku napájení z distribuce okamžitě automaticky nastartovaly naše motorgenerátory, které jsou po dobu 24*7 v pohotovostním režimu. Následně manuálně shodíme hlavní deony (jističe dimenzované na velké proudy) do datacentra, manuálně nastartujeme záložní motorgenerátor a po chvíli zahřívání nahodíme deony ze záložního motorgenerátoru směrem do datacentra. Automatika datového centra zjistí, že má obnovené napájení ze sítě (i když v danou chvíli jde o napájení ze záložního motorgenerátoru) a opět v automatickém režimu přepne napájení, tentokrát na záložní motorgenerátor. Naše motorgenerátory se vypnou a přepnou zpět do pohotovostního režimu. Krásná na tomto řešení je skutečnost, že celou dobu je provoz v automatickém zálohovaném režimu. Pokud by záložní motorgenerátor z jakéhokoliv důvodu selhal, nebo mu snad došla nafta (nádrž na 1200 litrů byla ovšem plná), opět se aktivují naše motorgenerátory a provoz celého datacentra opět spolehlivě udrží.
Příjezd
Příjezd motorgenerátoru byl objednán na pondělní 12. hodinu, ale technik dorazil již v 10:30 a motorgenerátor v 11:00. Přáli jsme si, aby přijelo auto menších rozměrů, ovšem velký motorgenerátor si nakonec vyžádal auto s návěsem o délce 18 metrů. Řidič však byl pánem svého stroje a společnými silami jsme auto v areálu otočili a zaparkovali na našem parkovišti. Ten den u nás skutečně nebylo možné zaparkovat a po dohodě jsme zabrali i nákladní plochu sousedního datacentra.
Kabely
Jakmile byl motorgenerátor na místě, bylo na čase vybalit kabeláž. Jelikož máme dva přívody napájení ze dvou trafostanic, bylo potřeba natáhnout dvě trasy kabelů. Každá trasa zahrnovala 4 kabely o průřezu 120 milimetrů, které vedly kabelovými přejezdy. Každý kabel měřil 25 metrů, vážil cca 39 kilogramů a byl připravený vést proud až 300 A. Jak už tak bývá, nějaký problém se vždy najde a v tomto případě nás trochu potrápily dvě nové Powerlock koncovky, do kterých nešlo zasunout starší, již časem prověřené koncovky. Člověka to trochu vyvede z míry, ale během chvíle jsme problém vyřešili plochým šroubovákem a úpravou konektorů.
Testy
Kabely jsou na místě. Nyní přichází na řadu kontrola kabelového zapojení a test startu nového dieselgenerátoru, napětí a sled fází. Vše je v pořádku. Znovu procházíme postup a jde se na ostrý test. Nejprve shazujeme deon druhého přívodu napájení s klimatizacemi a jedním okruhem centrální UPS – okamžitě startuje náš motorgenerátor SDMO200 s motorem Volvo a za 21 vteřin již zásobuje datacentrum. Opět probíhají nezbytné kontroly napětí se sledem fází a jelikož je vše v pořádku, nahazujeme deon záložního motorgenerátoru. Přepínač ATS, zajišťující automatický start našeho motorgenerátoru, detekuje napětí na vstupních svorkách a po minutě stabilních hodnot přepíná druhý okruh na napájení ze záložního motorgenerátoru. Vše běží, jak má, tudíž postupujeme k prvnímu přívodu napájení. Shazujeme deon prvního přívodu napájení, který dodává energii dvěma okruhům centrální UPS. Opět okamžitě startuje motorgenerátor, tentokrát však Cummins C330 D5 a nyní již za 16 vteřin zásobuje datacentrum energií. Následuje další kolečko kontrol napětí, sledu fází a tentokrát i otáček a teploty záložního motorgenerátoru – vše je v pořádku, a proto nahazujeme deon přívodu napětí od motorgenerátoru. I druhá ATS okamžitě zaznamenala napětí na vstupu a po 5 minutách stabilního napětí přepíná i první okruh na záložní motorgenerátor. Vše šlape, jak má a necháváme záložní motorgenerátor 30 minut v zápřahu.
Postup při odpojení záložního motorgenerátoru je mnohem rychlejší. Při vypnutí hlavního deonu motorgenerátoru najednou opět startují naše motorgenerátory, čímž jsme si opět ověřili, že automatické nastavení zafunguje, jak má i v případě havárie záložního motorgenerátoru. Chvíli necháváme v chodu i naše motory, shodíme deon oddělující jednotlivé přívody a opět spouštíme deony přívodů napájení z trafostanic. Jsme připraveni.
Začínáme
Ve 21:15 se začínají na místo přijíždět technici revizních firem i pohotovost z PRE. Vše je připraveno a čeká se na smluvenou 22. hodinu. Neboť jsme chtěli mít vše pod kontrolou, ve 21:45 startujeme záložní motorgenerátor, aby se zahřál. Po deseti minutách zahřívání se operativně rozhodujeme, že si přívody napájení shodíme řízeně sami. Opět začínáme druhým přívodem, přecházíme na první a ve 22:06, kdy došlo k vypnutí napájení v celém areálu bylo již datové centrum napájeno ze záložního motorgenerátoru. Je čas na kávu.
Káva
Technici našeho datacentra nemají ani žádný přívodní kabel, ani nejsou na baterky – jsou na kávu. Již dříve jsme psali o našem kávovaru, který je napájen elektrickou energií i v případě výpadku napájení. Ani tato odstávka nebyla výjimkou. Kávu jsme podávali i tentokrát, a to i příchozím. Je pravdou, že noční odstávka poukázala na nedostatek osvětlení právě v okolí kávovaru, kterou jsme ovšem operativně vyřešili ruční svítilnou.
Konec
Po 2,5 hodinách provozu, konkrétně v 00:26, přichází zpráva, že je hotovo a obnovuje se napájení v celém areálu. Všechna světla svítí, stěrače stírají, napájení v areálu drží. Vypínáme záložní motorgenerátor a začínáme demontovat provizorní přívody za hukotu našich diesel generátorů. Je skoro až neuvěřitelné, ale ve 3 lidech máme v 1:10 uklizeno a v celém areálu se rozprostírá ticho, doprovázené běžným hlukem z nedaleké křižovatky.
Co napsat závěrem?
Štěstí přeje připraveným a ani v našem případě tomu nebylo jinak. Skoro nás až mrzelo, že odstávka trvala jen 2,5 hodiny, když jsme se na akci tak důkladně a dlouho připravovali. Jsme samozřejmě rádi za absolutně hladký průběh akce jak z naší strany, tak ze strany revizních techniků trafostanic.
Během celé akce jsme si ověřili proces Business Continuity, který je součástí certifikace ISO:27001. Na všech třech zapojených motorgenerátorech jsme celkem spotřebovali dohromady 235 litrů nafty a vypili nepočítaně hrnků kávy.
A jestli se ptáte, zdali i příště budeme připraveni, buďte si jisti, že ano. V datacentru Coolhousing svěřujete své servery do rukou profesionálů.
Coolhousing tým
