Дискова NVMe підсистема серверів на платформі Intel Purley

Нарешті з'явилися в продажу необхідні компоненти для серверів на базі нової платформи Intel Purley . Це 1U і 2U серверні платформи від Intel, довгоочікувані процесори Intel Xeon Scalable , RAID контролери Tri-Mode SerDes, кабелі OCuLink і 2,5 "SSD диски c інтерфейсом PCIe NVMe. Таким чином, вже з початку 4-го кварталу 2017 року доступні до замовлення сервери VIST Netline на Intel Purley надають можливість нашим замовникам отримати всі переваги від використання новітніх технологій. Як показали останні кілька тижнів, найбільший інтерес у замовників викликає підтримка в нових платформах твердотільних дисків форм-фактора 2,5 "c інтерфейсом PCIe NVMe. Тому саме особливостям дискової підсистеми в нових серверах присвячується ця стаття.

Переваги 2,5 "PCIe NVMe твердотільних дисків

SSD диски з SATA інтерфейсом мають продуктивність в послідовному читанні порядку 500-550 МБ / сек, у SAS SSD порядку 1000-1800 МБ / сек. На ринку досить давно представлені більш продуктивні - 1800-2800 МБ / сек і значно дорожчі SSD у вигляді плат, що вставляються в роз'єм PCIe, але їх не можна включити в RAID, та й кількість PCIe плат в сервері обмежена, як мінімум, кількістю вільних PCIe роз'ємів . 2,5 "диски з інтерфейсом PCIe NVMe, наприклад Intel серії DC P4500 , Мають неймовірну продуктивність по послідовному читання - 3260-3290 МБ / сек при цілком розумною вартістю. Ціни на 2,5 "PCIe NVMe SSD можна порівняти з цінами SATA дисків аналогічного обсягу: так SSDPE2KX010T701 DC P4500 1TB, 2.5 ", PCIe 3.1 x4 ~ 45K руб., А SSDPE2KX020T701 DC P4500 2TB, 2.5 ", PCIe 3.1 x4 ~ 63K руб. При цьому 2,5 "PCIe NVMe SSD швидше SATA SSD в 5-6 разів і мають більш низьке енергоспоживання.

Рівень затримок у 2,5 "PCIe NVMe SSD значно нижче, ніж у дисків з іншими інтерфейсами (див. Картинку зліва - відкривається крупніше в новому вікні). Це забезпечується тим, що ці SSD працюють «ближче» до процесора.

Отже, підсумовуючи: PCIe NVMe SSD мають більш високу продуктивність, найнижчий рівень затримок, відмінну цінову ефективність, можливість об'єднання в масиви RAID і хорошу масштабованість, тому що встановлюються в стандартні дискові кошики серверів.

Дискові кошики серверів з підтримкою PCIe NVMe

У кошику з боку дисків: універсальні дискові роз'єми U.2, SFF-8639

У серверах на платформі Intel Purley 2,5 "PCIe NVMe SSD вставляються в стандартні 2,5" / 3,5 "дискові кошика поряд з дисками SAS / SATA. Причому в один і той же слот можна встановлювати диски з будь-яким з цих інтерфейсів. Щоб забезпечити сумісність, об'єднавча плата (бекплейн) дискової кошика з боку дисків оснащена універсальними багатофункціональними роз'ємами SFF-8639 формат U.2 дозволяють підключати SAS / SATA / PCIe NVMe диски. Для дисків SAS / SATA достатньо використовувати роз'єми SFF-8482 SFF-8680 з меншим числом контактів, ніж SFF-8639. Зверніть увагу: є реалізації бекплейнов, де тільки частина дискових слотів обладнані роз'ємами SFF-8639, а в інші дискові слоти оснащені роз'ємами SFF-8482 SFF-8680 і туди можна встановлювати тільки диски SAS / SATA.

У кошику з боку системної плати: роз'єми OCuLink, стандарт SFF-8611

На зворотному дискам стороні плати бекплейна разом з традиційними роз'ємами HDmSAS, до яких підключалися кабелі з роз'ємами SFF-8643, з'явилися нові роз'єми OCuLink, до яких підключаються кабелі з роз'ємами SFF-8611. Причому, якщо через один роз'єм HDmSAS можна отримати доступ до 4м SAS / SATA дисків (тому для 8ми дискових платформ досить 2 роз'єми - SAS / SATA Drives 0-3 і 4-7), то через OCuLink роз'єм підключається тільки один диск PCIe NVMe. На бекплейне 8ми дискової кошика є 8 роз'ємів OCuLink для 8ми PCIe NVMe SSD позначені як PCIe_SSD0 - PCIe_SSD7. Нижче на зображенні бекплейни 1U і 2U платформ R1208, R2208.

Зрозуміло, що в 2U платформах з великим числом 2,5 "8ми місцевих дискових кошиків, таких як Intel R2208 + 8 та R2224, кількість OCuLink роз'ємів буде відповідно 16 і 24 шт.

Зверніть увагу: в серверних платформах Intel з кошиками 3,5 "/ 2,5" не всі дискові слоти підтримують установку PCIe NVMe SSD. Так 2U платформа R2312WFxxx дозволяє підключати до кошика тільки 2 шт. PCIe NVMe диска (слоти 10 і 11), а платформи Intel R2308WFxxx R1304WFxxx працюють тільки з SAS / SATA дисками і не підтримує PCIe NVM підключення.

Підключення кабелів OCuLink від дискової кошика

Кабелі HDmSAS дисків SAS / SATA підключаються також як і в попередніх поколіннях серверних платформ Intel, а ось кабелі встановлені в роз'єми OCuLink дискової кошика можна далі підключити 3мя способами:

• в системну плату сервера безпосередньо;
• в додаткову плату 4х або 8ми портового PCIe комутатора;
• в RAID контролер Tri-mode.

Розглянемо всі ці 3 варіанти підключення докладніше (картинки нижче при натисканні відкриваються більші в новому вікні):

Плата 4х портового PCI комутатора AXXP3SWX08040 низкопрофильная MD2 з шиною PCIe Gen3 x8, а 8ми портового комутатора AXXP3SWX08080 повнорозмірна з такою ж PCIe ши ної.

Для підключення OСuLink портів дискової кошика до OCuLink роз'ємів плат PCI комутаторів використовуються наступні кабелі: A2U4PSWCXCXK1 і A2U4PSWCXCXK2 для 4-х портового PCI комутатора

і комплекти з 2х кабелів: A2U8PSWCXCXK1 , A2U8PSWCXCXK2 і A2U8PSWCXCXK3 для 8ми портового PCI комутатора.

Для управління NVMe дисками, підключеними безпосередньо до системної плати або до платам PCI комутаторів, використовується технологія Intel Volume Management Device for NVMe. Intel VMD забезпечує коректну роботу світлодіодних індикаторів на дискових картриджа і підтримку гарячої заміни NVMe SSD. Ця функція включається в BIOS системної плати (за замовчуванням вона виключена). Intel VMD працює тільки з NVMe SSD підключеними безпосередньо до процесорів, і не підтримує роботу через PCI лінії чіпсета PCH системної плати, наприклад з пристроями підключеними в слоти формату M.2. Гаряча заміна для плат PCI комутаторів не передбачена. Детальніше o Intel VMD в цьому документі на стор. 63.

Функціонал Intel VMD може бути доповнений технологією Intel Virtual RAID on Chip NVMe RAID. Intel VROC використовує технологію RSTe 5.0 для створення програмних RAID масивів рівнів 0/1/10/5 і дозволяє завантажувати операційну систему з таких масивів. Для роботи Intel VROC необхідно встановити в системну плату, що купується окремо апаратний ключ VROCSTANMOD або VROCPREMMOD відповідно зі стандартними або преміум функціями Intel RSTe 5.0. При використанні технології Intel VROC слід звертати увагу на наявні обмеження щодо розстановки NVMe і SAS / SATA дисків в дискової кошику. Детальніше o правилах розстановки дисків для роботи Intel VROC в цьому документі на стор. 94.

RAID контролери Broadcom / LSI серії MegaRAID 94XX отримали назву Tri-Mode SERDES. Tri-Mode - 3х режимні, через одночасну підтримки дисків з 3мя інтерфейсами SAS, SATA і PCIe NVMe. А абревіатура SerDes (Serializer / Deserializer) говорить про необхідність перетворення послідовного подання інформації в інтерфейсах SAS / SATA в паралельну форму в PCIe NVMe і навпаки. Варто відзначити, що при створенні серії MegaRAID 94XX компанія Broadcom / LSI вперше в своїх RAID контролерів перейшла на процесори ARM замість PowerPС, що дозволило при неперевершеною продуктивності (6840 МБ / с і 1,7M IOPS) значно знизити енергоспоживання і нагрівання чіпів. MegaRAID 9460-16i споживають менше 1,1 Вт на порт (17,7 Вт проти 23,2 Вт у 16 ​​портового MegaRAID 93XX контролера). Broadcom / LSI заявляє про значне підвищення продуктивності у нових контролерів при роботі тільки з SAS / SATA в порівнянні з попередніми контролерами MegaRAID 93XX. Лінійка Broadcom / LSI MegaRAID 94XX виглядає так: MegaRAID 9460-16i, MegaRAID 9460-8i, MegaRAID 9440-8i і MegaRAID 9480-8i8e. Оскільки недорогий MegaRAID 9440-8i - не є апаратним RAID контролером і тому не підтримує захист кеш пам'яті CacheVault, MegaRAID 9480-8i8e з 8ю зовнішніми портами, а NVMe SSD не підтримуються при установці їх в дискові полки JBOD, варто очікувати в типових конфігураціях найбільшу затребуваність контролерів MegaRAID 9460-16i і MegaRAID 9460-8i . Обидва ці контролера обладнані роз'ємами, відповідно 4мя і 2ма, під кабелі SFF-8643, і вимагають кабелів з роз'ємами OCuLink для підключення до бекплейну дискової кошика.

Відразу ж по роз'ємів кабелів видно, що до MegaRAID 9460-8i можна підключити максимум 2 диска NVME PCIe x4, а до MegaRAID 9460-16i - максимум 4 SSD NVME PCIe x4.

З огляду на продуктивність PCIe х4 NVMe SSD, і то що сам RAID контролер працює через шину PCIe3.1x8, більше до лічество NVME SSD повністю «вибирає» пропускну здатність шини PCIe.

У поточній прошивці MegaRAID 94ХХ не підтримує режим спільної роботи NVME SSD і дисків SAS / SATA, але, починаючи з прошивки версії 7.3 (жовтень-листопад 2017р) така підтримка оголошена. Зазначені терміни здаються цілком реальними, тому що наявна вже сьогодні інженерна прошивка MegaRAID 94ХХ успішно працює в режимі mixed mode при спільній роботі 2x NVMe і 6х SAS / SATA дисків в одному кошику.

Контролери MegaRAID 9460-8i і MegaRAID 9460-16i оснащені відповідно 2а і 4я ГБ кеш пам'яті DDR4-2133 (процесори можуть підтримувати до 8 ГБ кешу, і є відомості про можливий вихід контролера 9460-16i з 8ГБ кеш пам'яті), яку можна захистити від збоїв електроживлення модулем CacheVault CVPM05 встановлюються додатково. Заявлений значення MTBF для контролерів MegaRAID 94XX більше 3 млн. Годин при температурі 40 ° С.

Дискова підсистема серверних платформ Intel Purley стала революційною, втім, поряд і з іншими підсистемами цієї платформи. Так, і в своїй попередній платформі Grantley, корпорація Intel пропонувала спеціальний комплект A2U44X25NVMEDK для серверів 2U з кошиком на 8х 2,5 "дисків з яких 4 місця призначалися для NVMe SSD, але це було Власницьке нестандартне рішення, без підтримки гарячої заміни і практичній відсутності на ІТ ринку апаратних RAID контролерів з підтримкою PCIe NVMe. Лише починаючи з Intel Purley, NVMe SSD повноцінно зайняли своє місце в дискової підсистеми серверів, що дозволяє вже зараз скористатися всіма перевагами від новітніх технологій.

Для отримання докладної інформації, будь ласка, звертайтеся в відділ продажів .

© Олександр Матвєєв 2017 Ця електронна адреса захищена від спам-ботів. У вас повинен бути включений JavaScript для перегляду.

директор з розвитку бізнесу ТОВ «Віст СПб»

При передруці та використанні матеріалу

зазначення авторства (Олександр Матвєєв 2017)

і посилання на джерело (www.vist-spb.ru) обов'язкові.