تغییرات جدید رک ها و سیستم های خنک کننده دیتاسنترها

پیش از وجود مراکز داده، سرورها در رک های ۱۹ اینچی نصب می شدند. فناوری خنک کردن هوا در ساختمانها به حد بالایی توسعه یافته است و توزیع نیروی برق یک فناوری بسیار بالغ است که تنها در چند سال اخیر تغییرات مثبتی را ایجاد کرده است.

با توجه به همه این موارد، ممکن است شما فکر کنید که طراحی و راه اندازی دیتا سنتر به یک استاندارد نزدیک می شود و تغییرات آینده فقط ترفندهای مصرف انرژی خواهند بود؛ اما اشتباه میکنید. رویکردهای رادیکالی زیادی در مورد رکها، سرمایش و توزیع برق در مراکز داده وجود دارند. بعضی از این موارد سالهاست که در این صنعت هستند و برخی دیگر تازه به میدان وارد شده اند. اما بهرحال همه این موارد در حال تغییر هستند.

انقلاب رک

برای شخصی که رک ها را به صورت ردیفی نصب می کند، بازدید از مراکز داده ابری متعلق به شرکت فرانسوی OVH،  یک تجربه از بی نظمی است. از آنجا که OVH قصد دارد به بزرگترین ارائه دهنده رایانش ابری اروپا تبدیل شود، VMware و OpenStack را مبتنی بر پلتفرم به عنوان یک سرویس (PaaS)، ابرهای عمومی و میزبانی یکپارچه از ابرهای خصوصی تجاری برای مشتریان، ادغام می کند؛ اما مخالف استانداردهای صنعت: به جای ایستادن به صورت عمودی، رَک های OVH به صورت افقی کنار هم خوابانده شده اند.

این شرکت در نزدیکی سایتی که در روبیکس فرانسه دارد، یک کارخانه کوچک نیز دارد که قاب های رک مخصوص خود را می سازد. این رک ها که “Hori-Racks” نام دارند، به اندازه رک های ۴۸U معمولی هستند اما کاملاً متفاوت پیکربندی شده اند، به طوری که در داخل آنها، سه رک کوچک ۱۶U کنار هم قرار می گیرند. این کارخانه پیش از انتقال تجهیزات OVH، عمدتا به فرانسه و برخی از نقاطِ دورتر در دنیا، “Hori-Racks” را با سرورها از پیش دغام می کند.

به نظر می رسد دلیل رویکرد قرار دادن رک ها به صورت افقی، سرعت تولید و سهولت توزیع آن است. فرانسوا اشترین، مدیر صنعتی OVH در این باره میگوید: «سریعتر می توان آنها را در مراکز داده با لیفتراک مستقر کرد و آنها را پیاده سازی کرد.»

رک ها به سرعت ساخته شده و مورد آزمایش قرار می گیرند، با رویکرد لحظه ای (just-in-time approach) که فضای مورد نیاز انبار را به حداقل می رساند. سه پرسنل می توانند در کنار هم برای بارگیری و تست سخت افزار کار کنند و سپس با لیفتراک، کامیون یا تریلر (یا کشتی) می توانند رک را به مقصدش منتقل کنند. در ساختمان مرکزداده، حداکثر سه رک در بالای یکدیگر انباشته شده و تراکم یکسانی مانند همان سرورهای معمولی را دارند.

OVH حتی می‌تواند در اشتیاق به سخت افزارهای نامعمول افراط کند؛ زیرا خدماتش را در سطح PaaS به فروش می رساند. اما این سخت افزار به تنهایی نظر مشتری را جلب نمی کند. OVH همچنین روشی جدید در مورد سرمایش دیتاسنتر ابداع کرده است که در ادامه مطلب به معرفی آن نیز خواهیم پرداخت.

تعداد زیادی از شرکتهای دیگر، روشهای جدیدی برای پیکربندی رک ها پیشنهاد کرده اند. از بارزترین این نمونه ها گروه‌های سخت افزاری منبع باز مانند Open Compute Project (OCP) که توسط Facebook آغاز شده و Open19 که توسط LinkedIn آغاز شده است، می باشند.

هر دوی این کمپانی ها به عنوان “باشگاه خریداران” فعالیت می‌کنند و از این طریق، طراحی های سفارشی را برای سخت افزار به اشتراک می گذارند تا چندین مشتری بتوانند از مزایای یک سفارش بزرگ، عموماً با هدف ساده سازی کیت ها و کاهش مقدار مواد مصرفی و تولیدی و انرژی تلف شده در محصول نهایی، بهره مند شوند. به نظر می رسد رک ها و سخت افزارهای فناوری اطلاعات سنتی، مواد هدر رفته فراوانی از تجهیزات شبکه غیرضروری برای برق گرفته تا برچسب های مارک سازندگان، را شامل می شوند.

OCP در سال ۲۰۱۱ توسط فیس بوک به منظور توسعه و اشتراک گذاری طرح های استاندارد OEM برای رک ها و سایر سخت افزارها راه اندازی شد. دلیل ایجاد این گروه این بود كه شركتهای محدوده وب، به دلیل بزرگ بودنشان، بتوانند طرحهای سخت افزاری دلخواه خود را از تأمین كنندگان طلب كنند. با به اشتراک گذاشتن این طرح ها به طور گسترده تر می توان مزایایی را برای بازیکنان کوچکتر، ضمن جمع آوری پیشنهاداتی از آنها برای طراحی های بهتر، ایجاد کرد.

در حالی که بنیانگذاران OCP همگی شرکت های بزرگ در مقیاس وب را مخاطب خود قرار داده اند، نشانه هایی وجود دارد که این ایده ها بیشتر در فضاهای کولوکیشن (colocation space) گسترش یافته اند؛ در اینجا ارائه دهنده، کنترل فضای سخت افزار را ندارد؛ بنابراین نمی تواند معماری مراکز داده یکپارچه پیش بینی شده توسط OCP را ارائه دهد. اما برخی از مشتریان در حال استفاده از این ایده هستند و OCP دستورالعمل های لازم را در مورد ساختن مکانی «OCP آماده» (OCP Ready)، به این معنی که رک های OCP و سخت افزار OCP در آنجا پشتیبانی می شوند، را ارائه کرده است.

OCP طراحی جدیدی از رک ها را مطرح کرد که سخت افزار بیشتری را در همان فضای رک معمولی جای می‌دهد. با استفاده بیشتر از فضای داخل رک، به جای ۱۹ اینچ معمول، رک هایی را فراهم می کند که عرض آنها ۲۱ اینچ باشد. همچنین امکان نصب کیت عمیق تر، به اندازه OpenU، یعنی ۴۸ میلی متر، در مقایسه با یک واحد رک معمولی ۴۴.۵ میلی متری، را دارا است.

در این طرح همچنین از توان DC استفاده شده است که از طریق یک شینه (Busbar) در پشت رک، توزیع می شود. این رویکرد برای کاربران محدوده وب یکپارچه مانند فیس بوک جذاب است، زیرا به مرکز داده اجازه می دهد تا از منبع تغذیه چندگانه در کیت IT استفاده کند. به جای توزیع برق و اصلاح آن در DC در هر جعبه جداگانه، این کار در یک مکان انجام می شود.

Open Rack نسخه ۱ از توان برقی ۱۲V استفاده کرده و توان برقی ۴۸ ولت نیز در نسخه ۲ مجاز است که همچنین گزینه ای برای باتری های لیتیوم یونی موجود در رک ها، به عنوان نوعی سیستم UPS توزیع شده، اضافه شده است.

این طرح برای برخی ها بسیار افراطی بود و در سال ۲۰۱۶ کمپانی LinkedIn گروه Open19 را راه اندازی کرد، که ساده سازی بازار انبوه را بدون شکستن الگوی ۱۹ اینچ ارائه داد. رک های Open19 به یک سیستم توزیع برق ساده، شبیه به سرورهای تیغه ای اختصاصی، مجهزند. این بنیاد همچنین مشخصات سوئیچ شبکه را که توسط LinkedIn ایجاد شده است به اشتراک گذاشت.

Yuval Bachar، بنیانگذار Open19، با راه اندازی این گروه در DCD Webscale در سال ۲۰۱۶ گفت: “ما در رک ۲۱ اینچی بازنگری کردیم و گفتیم نه، نیاز به رک ۱۹ اینچی داریم. ما می خواستیم ۵۰ درصد هزینه عناصر مشترک مانند PDU، قدرت و خود رک را کاهش دهیم؛ اما در واقع به ۶۵ درصد رسیدیم.”

درست موقعی که Open19 را راه اندازی شد، LinkedIn توسط مایکروسافت که پشتیبان اصلی OCP و کاربر بزرگی از تجهیزات استاندارد OCP در مراکز داده برای ابر Azure بود، خریداری شد. مایکروسافت فن آوری مقیاس وب را به OCP ارائه داد؛ مانند باتری های لیتیوم یونی درون رک به منظور تداوم جریان برق محلی کیت های IT، با جایگزین کردن به طور بالقوه تجهیزات UPS.

در حالی که خرید LinkedIn پایان یافت، OCP و Open19 به طور موازی به کار خود ادامه داده و مسیر OCP برای مراکز داده غول پیکر ادامه یافته و Open19 با هدف امکاناتی کوچکتر که توسط شرکتهای کوچکتر مورد استفاده قرار می گیرند ادامه داد؛ با این وجود برخی دیگر از شرکت ها مانند LinkedIn، مراکز داده مختص به خود را اداره می کنند. اخیراً، Open19 تمرکز خود را بر روی دستگاه های لبه شبکه قرار داده است.

با این حال، در ژوئیه سال ۲۰۱۹، LinkedIn اعلام کرد که دیگر قصد ندارد مراکز داده خود را اداره کند و تمام بارهای کاری خود را به ابر عمومی منتقل خواهد کرد – بدیهی است که از فضای ابری کمپانی صاحب امتیازش، یعنی Azure مایکروسافت بهره ببرد.

همچنین در سال جاری، LinkedIn اعلام کرد که مشخصات فناوری Open19 اش به OCP کمک خواهد کرد. ممکن است که مشخصات OCP و Open19 در آینده ادغام شوند، اما برای بیان این موضوع خیلی زود است. حتی اگر LinkedIn دیگر نیازی به Open19 نداشته باشد، این گروه بیش از ۲۵ عضو دیگر دارد.

برای امکانات مقیاس وب، OCP نسخه سوم OCP Rack را پشتیبانی می کند که توسط مایکروسافت و فیس بوک پشتیبانی می شوند و به نظر می رسد با افزایش چگالی توان مورد نیاز AI و یادگیری ماشین هدایت می شود.

وبلاگ فیس بوک با معرفی OCP Rack v3 گفت: «در سطح مؤلفه، ما شاهد تراکم قدرت انواع پردازنده ها و تراشه های شبکه هستیم که در آینده ای نزدیک فراتر از توانایی ما در خنک کردن هوا خواهد بود. در سطح سیستم، راهکارهای سخت افزاری هوش مصنوعی به تراکم قدرت بالاتر ادامه خواهند داد.»

نسخه جدید با هدف استاندارد سازیِ گردش مایع خنک کننده درون رک ها و همچنین مبدل های حرارتی برای درب های کابینت انجام شده است و گزینه سیستم های کاملاً غوطه ور (fully immersed systems) را نیز شامل می شود. هنوز مشخص نیست که مشخصات دقیق آنها چیست، اما آنها از پروژه Rack and Power OCP و زیر پروژه Advanced Cooling Solutions نشات گرفته‌اند.

خنک کننده مایع

طی چند دهه اخیر، استفاده از خنک‌کننده‌های مایع بسیار نوید بخش بوده است. مایع، توانایی بسیار بیشتری را در جذب و حذف گرما، نسبت به هوا دارد، اما جابجایی مایع از طریق سخت افزار در رک، نیازمند تغییر بزرگی در روش های موجود است. بنابراین مایع با قاطعیت در لیست فن آوری های عجیب و غریب قرار گرفته است.

کمتر از ۲۰ کیلو وات در هر رک، هوا نیاز ما را با هزینه بهینه‌تری برطرف می‌کند و نیازی به وارد کردن مایعات به داخل رک نیست. چگالی توان هنوز به طور کلی پایین تر از این رقم است؛ بنابراین اکثر مراکز داده به راحتی و بدونِ نیاز به خنک کننده مایع ساخته می شوند. با این حال، دو عامل وجود دارند که خنک کننده مایع را به جلو سوق می دهند.

نخست: GPU ها و دیگر سخت افزارهای تخصصی AI و موارد مشابه می توانند چگالی توان را افزایش دهند.

دوم: برای کسانی که راهکار خنک کننده مایع را در دیتاسنترشان پیاده سازی می کنند، مزایای دیگری نیز وجود دارد. پس از پیاده سازی، خنک کننده مایع قابلیت انعطاف پذیری زیادی را برای تجهیزات دیتاسنتر ایجاد می کند. رک هایی که با خنک کننده هوا کار میکنند درواقع بخشی از سیستمی هستند که لزوما شامل تهویه مطبوع، کار با هوا و مهار آن است که دیوارها و کف کل ساختمان دیتا سنتر را نیز شامل می‌شوند.

رک های خنک شده به وسیله مایع فقط به یک اتصال درونی احتیاج دارند و می توان آنها را جداگانه، روی کف سیمانی، در یک فضای فرش شده یا در یک کابینت کوچک قرار داد.

پیاده سازی این امر برای یک فضای میزبانی جزء (retail colocation) دشوار است؛ زیرا بر تجهیزات IT تأثیر می گذارد. بنابراین، این امر در این مکانها صورت نمی گیرد مگر اینکه مشتری نهایی به طور خاص به خنک کننده مایع نیاز داشته باشد. با اینحال این امر باعث افزایش انعطاف پذیری مراکز داده میشود. بخصوص در جایی که ارائه دهنده، کنترل سخت افزار را داشته باشد یا هیچ سیستم تهویه هوایی در سطح ساختمان وجود نداشته باشد.

امکانات لبه ای (Edge facilities) کوچک، خود نوعی مراکز داده کوچک اما بدون منابع یک مرکز داده کامل هستند. سایر مراکز داده غالبا در داخل ساختمانهای بازسازی شده پیاده سازی می شوند. سیستم خنک کننده مایع می تواند به خوبی نیازهای این دیتاسنترها را برآورده سازد.

بزرگ رایانه های (mainframes) اولیه با آب خنک می شدند اما در دوره مدرن، خنک کننده مایع میتواند با منابع متنوعی ساخته شود.

برخی از شرکت ها، مانند Asperitas ،Submer و GRC، رکها را به طور کامل در وان مایع راکد غوطه ور می کنند. در این حالت، برای خنک کردن تجهیزات دیتاسنتر، انرژی اضافی لازم نیست؛ اما تعمیر و نگهداری آنها پیچیده است زیرا طراحی رک (در این حالت) کاملاً تغییر یافته است و سرورها و سوئیچ ها باید از وان برداشته شده و قبل از هرگونه تغییر سخت افزاری خشک شوند. Iceotope که اکنون از اشنایدر پشتیبانی می‌کند، سیستمی دارد که اجزاء را در سینی هایی که داخل رک ها قرار میگیرند، در مایع غوطه ور می کند.

برخی دیگر گردش مستقیم مایع را پیشنهاد می کنند و مایع را از طریق هیت سینک های (heatsinks) اجزای نیازمند انرژی انتقال می دهند. این روش توسط گیمرهایی که می خواستند کامپیوترهای خود را Overclock کنند برای حذف گرمای اضافی ایجاد شد. شرکت هایی مانند CoolIT سیستم های گردش مایع را برای تجهیزات تجاری در رکها توسعه داده اند، اما محصولات آنها به ویژه برای ابر رایانه ها طراحی شده اند. آنها برای پیاده سازی، نیاز به تغییر در ساختار رکها دارند و سیستم گردش مایعی را معرفی می کنند که آب خنک را درون رکها جاری کرده و آب گرم را بیرون می آورد.

در شمال فرانسه، OVH که پیشتر درمورد رک‌هایش صحبت کردیم، سیستم کولینگ مایع خود را نیز دارد. این کمپانی مراکز داده ای در کارخانه های باز سازی شده پیاده سازی می کند که در گذشته در آن کارخانه ها نوشابه و لوازم پزشکی تولید می شدند و به گونه‌ای ساخته شده اند که برای OVH مناسبت هستند.

فرانسوا استرین، رئیس ارشد صنعتی OVH توضیح داد: «الگوی ما این است که ما ساختمانهای موجود را خریداری می کنیم و از آنها برای بهره وری از فناوری استفاده می کنیم.» وی گفت: “ما رک هایمان را با سیستم خنک کننده آب کاملاً خودکار می سازیم و همچنین در پشت رکها از یک مبدل حرارتی نیز استفاده می کنیم. این امر باعث می شود رکهای ما نسبت به بقیه بخش های ساختمان رفتار بسیار آگونیستیکی داشته باشد. ”

استرین افزود: “برای آزمایش بازار نیاز به ایجاد یک مرکز داده بزرگ ۱۰۰ مگاواتی نداریم؛ می توانیم به عنوان مثال با یک مرکز داده 1MW شروع کنیم و ببینیم بازار برای ما چگونه کار می کند.”

OVH با داشتن رک های یکسان و کارخانه ای که در اختیار دارد، این فناوری را به جلو سوق داده و نسخه های مختلفی از مفهوم DCD را نشان داده است. تکنسین های OVH یک روش نگهداری را در نسخه فعلی فن آوری خنک کننده نشان داده اند.

این امر کمی شبیه عمل جراحی به نظر می رسد. ابتدا لوله های حامل مایع خنک کننده با گیره های جراحی بسته شده و سپس مدار از لوله ها جدا شده و خارج می شود. سپس هارد دیسک با SSD جایگزین شد.

در حال حاضر این طرح توسط یک مدل دیگر برتری می یابد که از اتصالات bayonet استفاده می کند، بنابراین مدار بدون نیاز به بستن لوله ها قابل جدا شدن است.

گزینه های دیگری برای کولینگ از جمله مبدلهای حرارتی در درهای کابینت در دسترس هستند، که می توانند در سطحی که خنک کننده هوا هنوز گزینه مناسبی باشد، مؤثر باشند.

OVH این روش را با سیستم گردش مایع خود ترکیب می کند. خنک کننده مایع مستقیم ۷۰ درصد گرما را از تجهیزات IT حذف می کند اما ۳۰ درصد دیگر هنوز هم باید به جایی برود که توسط مبدل های حرارتی درهای عقب حذف می شود. این یک سیستم حلقه بسته است و گرما به خارج از بدنه منتقل می شود.

خنک کننده مایع برای سیستم های طراحی شده به منظور نصب در ساختمان ضروری نیست. اکنون مرسوم است که مراکز داده ای را مشاهده کنید که در آن ردیف های محدود به تنهایی، در یک طبقه سیمانی، به یک سیستم خنک کننده معمولی متصل شده اند. فروشندگان اصلی مانند Vertiv ساخت های ماژولار را ارائه می دهند که می توانند در کف های سیمانی قرار گیرند.

یکی از فروشنده های جالب Giga Data Centers است که ادعا می کند محفظه WindChill آن می تواند به PUE 1.15 برسد، حتی وقتی که آن را با اندازه های کوچک درون یک ساختمان پیاده سازی کنید.

روش پیاده سازی در اینجا ساخت یک سیستم خنک کننده هوا در کنار رک است، بنابراین می توان حجم زیادی از هوا را به آن وارد کرد و در آن جریان داد.

احساس امنیت کاذب را به خود راه ندهید. طراحی سخت افزار دقیقاً مثل همیشه در حال تغییر است و ساختمان مراکز داده نیاز به پیگیری این پیشرفت ها دارد.