4 заметки с тегом

AFA

NetApp AFF A320

Мне нравится подход, который NetApp стал использовать при выпуске новых моделей СХД. Нет помпезного обновления всей линейки оборудования раз в несколько лет. Зато есть постоянное поступательное движение вперед. Обновились начальные системы FAS и AFF (год назад), в то же время выпустили полностью новую систему с поддержкой end-to-end NVMe — A800. А сейчас выходит новая система AFF уровня midrange. В какой-то момент систему хотели назвать A400, но вышла она под названием A320. Я понимаю сомнения по поводу названия, с одной стороны это end-to-end NVMe массив, но с другой стороны отличий от А300 не так много. Обо всём по порядку…
Итак, новая midrange система — AFF A320. Как лёгко догадаться по названию модели, массив находится в иерархии AFF-систем между A300 и A700.

Пара контроллеров A320 расположена в одном шасси и занимает 2U. Дисков внутри нет, они находятся в новой полке NS224, которая поддерживает только NVMe SSD и для подключения к контроллерам использует протокол NVMe over RoCEv2 поверх 100GbE.

Контроллеры

Внутри HA-пары:

  • Два 20-ядерных процессора Intel Skylake
  • 512 GB DDR4-2666 RAM
  • 32 GB NVDIMM
  • 12 x 100GbE RoCE QSFP28 портов для подключения полок и хостов
  • 4 x 100GbE iWARP QSFP28 порта для кластерного- и HA-интерконекта
  • 4 x PCIe-слота расширения

Будут доступны следующие карты расширения:

  • 4-port 32Gb FC SFP+ optical
  • 2-port 100GbE RoCEv2 QSFP28 optical
  • 2-port 25GbE RoCEv2 SPF28 optical
  • 4-port 10GbE SFP+ Cu and optical

Все 100GbE-порты поддерживают работу на скорости 40GbE. Но RoCE пока поддерживается только для подключения полок, поддержка для хостов появится позже.

Что ещё не поддерживается:

  • Нет поддержки SAS-полок и не будет,
  • Нет поддержки UTA2 портов, FCoE и не будет,
  • MCC IP, но поддержка появится позже.

Само собой, A320 можно использовать в одном кластере с ранее вышедшими контроллерами. И раз мы заговорили про интерконект, то давайте обратим внимание на один нюанс. HA-интерконект и кластер-интреконект теперь работают через одни и те же порты. Напомню, что HA-интерконект используется между двумя контроллерами в HA-паре для репликации логов в NVRAM (NVDIMM в случае с A320), то есть репликации кэша. А кластерный интерконект используется для объединения двух и более контроллеров в единый кластер, по нему происходит репликация конфигурации кластера, передаются данные при переносе томов (vol move) с одного контроллера на другой, передается клиентский трафик (если обращение с хоста пришло на порт ноды, которая не владеет томом с данными). И теперь получается, что в случае switched-кластера, HA-интерконект будет осуществляться через коммутаторы.

А теперь немного пофантазируем — из чего состоит HA-пара? Это два контроллера и дисковые полки, подключенные к каждому из этих контроллеров. Если же появляются коммутаторы для HA и через эти же коммутаторы у нас могут подключаться полки (RoCE), то получается, что пропадает жёсткая привязка контроллеров друг к другу и к дисковым полкам. HA-пары можно формировать между любыми контроллерами в кластере, каждый контроллер может получить доступ к любой полке и диску в кластере. Но это лишь фантазии, никаких официальных подтверждений нет :)

Дисковая полка NS224

NS224 занимает высоту 2U и содержит 24 шт. NVMe SSD. Два модуля NSM — это то, что в SAS полках называется IOM. По два 100GbE-порта находятся в каждом модуле NSM. Полка может выдать 400Gb/sec пропускной способности. Для сравнения, полка DS224C с 8 портами SAS-3 теоретически может выдать 384Gb/sec.
Поддерживаются диски емкостью 1,9, 3,8 и 7,6TB, а чуть позже будут доступны диски емкостью 15TB. Диски в A800 и NS224 отличаются и на момент анонса полка NS224 не поддерживает подключение к A800. К A320 можно подключить две полки, а в дальнейшем, вероятно, максимальное количество полок может увеличится за счёт использования коммутаторов, но это неточно.

Полки можно будет заказать с 12, 18 и 24 дисками.

Вот так выглядит подключение двух полок к A320:

Производительность

Пока нет официальной информации по производительности в IOPS и GB/sec.

Но в погоне за IOPS часто стали забывать про задержки. С широким распространением систем all-flash задержки меньше 1 мс стали неким стандартом. Довольно долго многих не интересовало, насколько меньшее время, чем 1 мс может выдать СХД. Ведь 1 мс — это уже в 10-20 раз лучше, чем мы получали на СХД с использованием HDD. Сейчас же начинается новый этап, задержки начали мерить сотнями микросекунд, а в некоторых случаях и десятками микросекунд.

Известно что задержки будут в районе 100 мкс, что ниже в 5-10 раз, чем у A300! Задержки заметно снижаются даже без использования NVMe over FC.

Новый кластерный коммутатор BES-53248

На замену коммутатору CN1610 пришёл BES-53248, и его также выпускает Broadcom.

В коммутаторе есть следующие порты:

  • 48 x SFP28 ports (10/25GbE)
  • 8 x QSFP28 ports (10/40 or 25/50/100GbE)

Поддерживается использование этого коммутатора и для MCC IP. Конфигурация скоростей портов будет отличаться в зависимости от того применяется он в MCC IP или в обычном switched-кластере.

Порты доступные в базовой поставке:

  • 16 x 10GbE SFP+ ports
  • 2 x 40GbE QSFP ports
  • 2 x 100GbE QSFP28 ports for ISL

Остальные конфигурации требуют покупки лицензий.
Блоки питания дублированные.

На этом с железом всё. А так как прошло полгода с выхода ONTAP 9.5, значит настало время ONTAP 9.6.

8 мая   AFA   AFF   AFF A320   NVMeF

FAS8080 EX AFF в пятерке самых быстрых систем по результатам теста SPC-1

Буквально вчера NetApp опубликовал результаты теста SPC-1 для all-flash системы FAS8080 EX. Слухи про это ходили уже давно. Дождались.

685 281.71 IOPS
$2.77/SPC-1 IOPS
1.23 ms ART (average response time)

Если кратко, то:

  • NetApp All-Flash FAS8080 EX показала 5-ый результат по максимальной производительности.
  • А если смотреть на производительность при latency 1 ms, то FAS8080 EX на 3 месте.
  • Наиболее производительный унифицированный all-flash массив enterprise уровня.
  • NetApp использует RAID-DP, тогда как конкуренты используют RAID-10, который менее надежен. Соответственно их результаты с использованием RAID-6 были бы ниже.
  • По соотношению цена/производительность у FAS8080 EX 4-ое место, если все цены брать без учета скидок.
  • FAS8080 EX показывает наилучшую эффективность по использованию дискового пространства среди всех результатов SPC-1, которые опубликованы на данный момент. И это без учета использования дедупликации и компрессии.
  • FAS8080 EX имеет больше функционала, чем остальные системы из списка 10 самых производительных.
2015   AFA   benchmarks   FAS   spc-1

NetApp All-Flash FAS и VMware Horizon 6

Буквально вчера VMware выпустила финальную версию ESXi 6.0, vCenter Server 6.0 и Horizon 6. В принципе, все нововведения уже давно были известны и обсуждались в сети.

Из интересных нюансов то, что All-Flash FAS — первый массив, который валидирован VMware для использования c VMware Horizon 6 и VMware vSphere Virtual Volumes.

We have been working closely with a number of storage partners to complete system testing. NetApp has emerged as the first partner to successfully validate their All-Flash FAS unified storage array with VMware Horizon 6 and VMware vSphere Virtual Volumes. NetApp and  VMware have collaborated successfully to complete tests at a scale of 2,000 desktops on All-Flash FAS systems.
Shankar Iyer, VP of Product Management, Desktop Solutions, End-User Computing, VMware

Кстати, совсем скоро должна появиться новая версия Virtual Storage Console c поддержкой vCenter 6.0.

А на сайте VMware можно посмотреть как NetApp работает с VVOLs. Доступна лабораторная работа HOL-PRT-1471 — NetApp VSC and VASA for Clustered Data ONTAP — Policy-Based Mgmt & VVOLs Tech Preview.

2015   AFA   FAS   horizon   vdi   vmware   vsphere 6.0

Новый all-flash массив NetApp EF560 в десятке лучших по соотношению $/IOPS по результатам теста SPC-1

Это перевод поста от 27.01.2015 из блога Dimitris Krekoukias — NETAPP POSTS TOP TEN SPC-1 PRICE-PERFORMANCE RESULTS FOR THE NEW EF560 ALL-FLASH ARRAY

Я счастлив сообщить, что сегодня мы анонсировали новый all-flash массив EF560, а также опубликовали результаты теста SPC-1. И мы показали впечатляющие результаты в этом крайне сложном тесте.

Если кратко — EF560 показал в тесте SPC-1 лучшее соотношение цена/производительность при очень низких задержках.

Линейка EF уже некоторое время пользуется большим успехом. Огромное количество систем проинсталлировано в крупнейших компаниях мира для хранения данных высокоприоритетных приложений (часть из которых мы с вами используем каждый день).

EF560 — это самый свежий AFA массив из E-серии, оптимизированный для получения очень низких задержек и высокой производительности, при этом обеспечивая высокую надежность, экономичность и простоту.

Особенности EF560

EF560 работает под управлением SANtricity — сильно оптимизированной ОС для СХД с низкими накладными расходами на обслуживание данных (short path length). То есть процесс обработки данных самой ОС оказывает очень небольшое влияние на скорость чтения и записи этих данных. В случае с EF-серией задержки со стороны ОС составляют около 30 микросекунд. Большинство других систем хранения имеют более длинный путь прохождения данных из-за бо̀льшего количества дополнительных функций и/или неэффективного кода.

Необходимость сохранять такой впечатляюще короткий путь данных одна из причин почему в системах EF так и не реализованы модные в AFA массивах дедупликация и компрессия. Однозначно можно сказать, что никакая система с такого рода функционалом не сможет обеспечить короткий путь данных. Слишком много всего придется выполнять с данными. Если для вас критично наличие богатого функционала и в том числе технологий повышения эффективности хранения данных, то мы предлагаем системы FAS. Но путь данных там не такой короткий как в EF560.

В результате короткий путь данных позволяет получить впечатляюще низкие задержки при высоких показателях IOPS на конфигурациях применимых в реальной жизни, что дальше и будет видно.

Некоторые другие особенности EF560:

  • Нет специфического «обрыва» при записи на SSD, который появляется со временем или при заполнении SSD
  • Нет влияния на производительность из-за «сборщика мусора» SSD дисков
  • Компоненты промышленного уровня, в том числе и SSD диски
  • Доступность в 6 девяток
  • До 120 1.6TB SSD дисков на систему (135TB полезного пространства при использовании DDP, и еще больше с RAID5/6)
  • Большая пропускная способность (throughput) — 12ГБ/сек на чтение, 8ГБ/сек на запись (некоторые забывают, что для нагрузок со стороны БД важны не только низкие задержки и высокие IOPS, но и высокая пропускная способность для части операций)
  • В состав систем входят все доступные лицензии на функционал, кроме шифрования
  • Массивы могут делать снэпшоты, поддерживают асинхронную и синхронную репликацию
  • Поддержка Consistency Group
  • Несколько плагинов для прикладного ПО
  • Нет поддержки NAS протоколов, зато изобилие поддерживаемых блочных протоколов: FC, iSCSI, SAS, InfiniBand
  • Стандартный набор уровней RAID — 5, 10, 6 и кроме того...
  • DDP — Dynamic Disk Pools. Собственная реализация RAID6 на субдисковом уровне. DDP очень удобен для больших пулов дисков. Позволяет производить быстрый ребилд с минимальным влиянием на производительность. И все это довольно гибко используется (например, можно добавлять диски в пул поштучно без необходимости добавлять сразу целую RAID-группу)
  • Поддержка стандарта T10-PI. Для обеспечения защиты от потери данных из-за т. н. «тихих ошибок записи», от которых не спасает наличие RAID. Стандарт подразумевает сквозной контроль данных от приложения до устройства хранения
  • Может использовать с Clustered Data ONTAP, как виртуализированная при помощи FlexArray система

Суть всех All-Flash массивов

Возвращаясь к короткому пути обслуживания данных и низким задержкам...

Флэш оказался взрывной технологией, потому что, если его правильно применять, то он обеспечивает беспрецедентную производительность за все более разумные деньги.

Пользователи AFA обычно делятся на две категории:

  1. Пользователи, которые хотят кучу функционала, технологии по увеличению эффективности хранения, хорошую, но не гарантировано стабильную производительность, в меру низкие задержки  — 1-2 мс (с редкими всплесками) их вполне устраивают, так как это лучше, чем у гибридных систем, и намного лучше, чем производительность классических дисковых систем
  2. Пользователи, которым нужна минимально возможная низкая задержка (счет идет на микросекунды и 1 мс рассматривается как худший случай) и бескомпромиссная надежность в обслуживании их данных. Они готовы пожертвовать частью функционала ради такой производительности. Таким пользователям нужна стабильно предсказуемая производительность без всякого намека на скачки задержки.

Ребята из лагеря с низкими задержками обычно используют такие приложения, которым важна низкая задержка для увеличения доходов компании. Важна каждая миллисекунда, а то и микросекунда, и при этом остановка сервиса грозит огромными финансовыми потерями.

Некоторые из читателей могут подумать «ну и что, между 1 мс и 2 мс практически нет разницы, и задержки такого уровня — это здорово». Хорошо, но для этих клиентов 2 мс это в два раза больше, чем 1 мс, и для них это на самом деле имеет значение. Для тех кому нужна низкая задержка, массив с задержкой в 1 мс в половину медленнее массива с задержкой в 500 микросекунд, даже если оба массива имеют одинаковые показатели IOPS.

Вы можете думать «SSD, которые вставляются в PCI слоты сервера тоже имеют низкую задержку, так ведь?»

Ответ — да, но вы упускаете из виду надежность, которую обеспечивает полноценная система хранения данных . Если вышел из строя сервер, доступ потерян. Если померла карта, то потеряно все.

Теперь когда вы будете думать о покупке AFA массива, решите пользователь какого типа вы. Что действительно необходимо вашему бизнесу. Это поможет принять верное решение.

Фоновые операции в All-Flash массивах могут влиять на задержки

Более продвинутые All-Flash массивы реализуют больше функционала по сравнению с системами со сверхнизкими задержками. Но при этом подвержены тому, что задержки могут быть неравномерными или даже могут появляться серьезные скачки под нагрузкой и при малом количестве свободного места на массиве. И это не учитывая то, что на таких системах и так будут более высокие задержки из-за более длинного пути данных.

Например, процессы по освобождению пространства на SSD дисках откуда данные были стерты, различные фоновые процессы, которые запускаются в разное время, различные способы обработки операций ввода/вывода в зависимости от заполненности массива — все это может вызывать всплески задержек или в целом неравномерные показатели задержек. Это нормально для массивов такой архитектуры, но это может быть неприемлемо для определенных приложений.

К слову, EF560 не страдает от таких проблем. Мы обходили решения конкурентов в сложных тестах по производительности (Видимо имеются в виду proof of concept тесты у конкретных заказчиков — прим. переводчика) с более медленной прошлой системой EF550. А теперь продолжим обходить с новым массивом :)

Хватит! Покажите же мне цифры!

Для того чтобы обновить свои знания о результатах теста SPC-1 вы возможно захотите прочитать мои старые посты раз и два, а так же мое руководство по производительности для начинающих.

Важное замечание: SPC-1 это тест блочного доступа со своим определенным профилем нагрузки и поэтому его результаты не должны сравниваться с маркетинговыми заявлениями вендоров о показателях IOPS, полученными при 100% нагрузке на чтение, или с тестами вроде SPEC SFS, которые нацелены на проверку работы с NAS протоколами и большим количеством метаданных (в них более «легкий» профиль нагрузки, чем в SPC-1, где присутствует 60% операций записи и умышленное создание hotspots). Вполне вероятно, что тестируемые конфигурации могут выдать намного больше «маркетинговых» IOPS, но SPC-1 создан не для этого.

Если вам интересны детальные результаты, то вот вам ссылки на краткий отчет и полный отчет. Вдобавок ссылка на «Топ-10 результатов по соотношению цена/производительность», чтобы вы могли сравнить результаты других вендоров (к сожалению, обычно результаты SPC-1 отсортированы в алфавитном порядке, и приходится потратить достаточно много времени, чтобы сравнить результаты разных производителей).

На что обращать внимание при просмотре результатов SPC-1

Для того, чтобы проанализировать тот или иной результат надо обращать внимание на следующие нюансы:

  • Latency vs IOPS. Очень много результатов отображают большое количество IOPS при огромных задержках. Такие результаты бессмысленны для тех кому нужны системы с низкими задержками.
  • Устойчивость показанного результата  — была ли производительность постоянной или присутствуют заметные всплески и падения?
  • Уровень RAID  — большинство результатов показано с использованием RAD10, а каков будет результат при использовании RAID6?
  • Application Utilization. Это важная характеристика, которую порой опускают. Она выражает сколько полезной емкости было использовано во время теста по сравнению с общей сырой емкостью без учета уровня RAID, spare-дисков и т. д.
  • Цена — учитывались скидки или нет?

Давайте пройдемся по этим пунктам.

Latency vs IOPS

Средняя задержка у нас 0.93 мс при 245 011.76 SPC-1 IOPS. График изменения задержки во время тестирования практически абсолютно плоский:

Устойчивость

По правилам SPC-1 проводится не менее 8 часов подряд. На протяжении всего теста не было заметных всплесков и падений производительности:

Уровень RAID

Использовался RAID10 с включенной опцией T10-PI, которая отвечает за целостность данных и отрицательно влияет на производительность. Но приложения, которые обычно работают на таких системах требуют параноидального контроля целостности данных. При использовании RAID5 или RAID6 производительность будет хуже. Но для систем где в первую очередь важна низкая задержка, RAID10 наилучший вариант, особенно когда это система, в которой операции записи не оптимизированы под RAID6 как это сделано в Data ONTAP. Не волнуйтесь, соотношение цена/производительность все равно оказалось одним из лучших.

Утилизация пространства

В нашем случае показатель утилизации пространства (Application Utilization) оказался очень высок и составил 46.90% — этот показатель один из наилучших среди других результатов с использованием RAID10 (и среди всех остальных результатов тоже, за исключением тестов систем на Data ONTAP, где этот показатель может быть еще выше благодаря RAID-DP).

Мы практически полностью использовали все доступное после использования RAID10 полезное пространство, чтобы показать, что на производительность не влияет заполненность системы данными. Впрочем, именно показатель Application Utilization является единственной метрикой, которая показывает сколько пространства из общего сырого объема использовалось во время теста и насколько массив эффективен в плане утилизации пространства.

Иначе, кто-нибудь мог бы дважды использовать зеркалирование для 100ТБ сырой емкости, получить 25ТБ полезной емкости, заполнить их на 100% и утверждать, что их система имеет 100% эффективность утилизации дискового пространства, хотя в реальности она имела бы всего лишь 25% эффективность ;-)

Важно заметить, что никто из вендоров в этом тесте не использует технологии дедупликации и компрессии, так как в текущей версии теста это не разрешено.

Сравнение с другими вендорами

Я хочу показать сравнение 10 лучших результатов SPC-1 по соотношению цена/производительность. И я хотел бы провести два сравнения. В первом случае сравнивая абсолютные значения достигнутые в тесте, а во втором случае нормализовав эти результаты по значению задержки около 500 микросекунд. И таким образом продемонстрировать, что высокую производительность при очень низких задержках возможно получить за адекватные деньги, если вы будете использовать наше решение.

Вот вам 10 лучших результатов SPC-1 по соотношению $/IOPS на 27 января 2015 года:

  1. Kaminario K2-D
  2. NetApp EF560
  3. Huawei OceanStor Dorado 2100 G2
  4. HP 3PAR STORESERV 7400
  5. DELL STORAGE SC4020
  6. FUJITSU ETERNUS DX200 S3
  7. Kaminario K2 (28 nodes)
  8. Huawei OCEANSTOR Dorado 5100
  9. Huawei OCEANSTOR Dorado 2100
  10. FUJITSU ETERNUS DX100 S3

Я сведу в таблицу показатели всех упомянутых систем и покажу их результаты при задержке в районе 500 микросекунд. Таким образом можно будет понять как изменение требуемых показателей задержек влияет на количество достигнутых IOPS и соотношение $/IOPS.

Каким образом можно узнать результаты при нужной нам задержке? В SPC для обозначения задержек используют термин «Average Response Time». Посмотрите на график, отображающий зависимость задержек от IOPS и найдите точку наиболее близкую к значению задержки в 500 микросекунд. Для примера возьмем график системы Kaminario K2:

Обратите внимание, что показатели IOPS при задержке около половины миллисекунды почти в 10 раз меньше, чем при задержке около 3 мс. Дальше по графику производительность растет довольно быстро, но если у вас есть требование иметь задержку не превышающую 500 микросекунд, то лучше вам потратить деньги на другой массив (Это вполне реальные требования. Весьма серьезный заказчик выставил нам требование в получение задержки ниже 400 микросекунд на уровне хоста для Oracle DB на прошлом поколении массивов EF).

Вот таблица, в которой собраны обсуждаемые показатели. Значение, указанное в колонке «adjusted latency $/SPC-1 IOPS» не присутствует в отчете SPC-1. Я вычислил его просто разделив цену системы на количество IOPS, которые система показывает при задержке в 500 микросекунд.

О чем говорят эти результаты?

Если судить по представленным результатам теста SPC-1, то система EF560 вторая по наименьшему соотношению цена/производительность, позади единственного массива, использующего технологию DRAM. Но интересно, что как только мы смотрим на показатели IOPS с задержкой около 500 микросекунд, по соотношению цена/производительность EF560 выходит на первое место с большим отрывом от всех остальных систем из таблицы (ну и вдобавок системы на основе DRAM весьма ограничены в плане расширения емкости).

Обратите внимание, что некоторые производители указывают в отчетах цены со скидками, а некоторые — без. Всегда смотрите на цены (к примеру, Fujitsu указал цены со скидкой 30%, Dell — со скидкой 48%, HP — со скидкой 45%, остальные без скидок). То есть наше соотношение цена/производительность окажется еще лучше, если вы вычислите этот показатель у других вендоров без скидки.

Другое интересное наблюдение связано с влиянием длинного пути обработки данных на некоторых системах. К примеру, наименьший показатель задержки в отчете у Dell — 0.72 мс при всего лишь 10 599.32 IOPS. Абсолютно ясно, что эта система не создана для получения высокой производительности при очень низких задержках.

Наименьший показатель задержки (Least Response Time) в отчете EF560 всего лишь 0.18 мс (180 микросекунд) при 24 501.04 IOPS. Это наименьший показатель LRT, который когда-либо был показан в тестах SPC-1.

Однозначно, что-то в наших системах сделано правильно :)

Мысли напоследок

Если вам требуется хранилище с очень низкими задержками и к тому же очень надежное, то EF560 ваш выбор. Вдобавок данная система занимает очень мало места в шкафу. Озвученные результаты SPC-1 показаны на конфигурации, которая заняла в шкафу всего 2U — EF560 с 24 дисками 400GB SSD.

Вместе с системами, работающими под управлением Clustered Data ONTAP, ПО управления, анализа и автоматизации OnCommand Insight и WorkFlow Automation, NetApp имеет впечатляющее портфолио, которое позволяет решить любые задачи.

2015   AFA   benchmarks   E-series   EF560   flash   spc-1