Мне нравится подход, который NetApp стал использовать при выпуске новых моделей СХД. Нет помпезного обновления всей линейки оборудования раз в несколько лет. Зато есть постоянное поступательное движение вперед. Обновились начальные системы FAS и AFF (год назад), в то же время выпустили полностью новую систему с поддержкой end-to-end NVMe — A800. А сейчас выходит новая система AFF уровня midrange. В какой-то момент систему хотели назвать A400, но вышла она под названием A320. Я понимаю сомнения по поводу названия, с одной стороны это end-to-end NVMe массив, но с другой стороны отличий от А300 не так много. Обо всём по порядку…
Итак, новая midrange система — AFF A320. Как лёгко догадаться по названию модели, массив находится в иерархии AFF-систем между A300 и A700.

Пара контроллеров A320 расположена в одном шасси и занимает 2U. Дисков внутри нет, они находятся в новой полке NS224, которая поддерживает только NVMe SSD и для подключения к контроллерам использует протокол NVMe over RoCEv2 поверх 100GbE.

Контроллеры

Внутри HA-пары:

• Два 20-ядерных процессора Intel Skylake
• 512 GB DDR4-2666 RAM
• 32 GB NVDIMM
• 12 x 100GbE RoCE QSFP28 портов для подключения полок и хостов
• 4 x 100GbE iWARP QSFP28 порта для кластерного- и HA-интерконекта
• 4 x PCIe-слота расширения

Будут доступны следующие карты расширения:

• 4-port 32Gb FC SFP+ optical
• 2-port 100GbE RoCEv2 QSFP28 optical
• 2-port 25GbE RoCEv2 SPF28 optical
• 4-port 10GbE SFP+ Cu and optical

Все 100GbE-порты поддерживают работу на скорости 40GbE. Но RoCE пока поддерживается только для подключения полок, поддержка для хостов появится позже.

Что ещё не поддерживается:

• Нет поддержки SAS-полок и не будет,
• Нет поддержки UTA2 портов, FCoE и не будет,
• MCC IP, но поддержка появится позже.

Само собой, A320 можно использовать в одном кластере с ранее вышедшими контроллерами. И раз мы заговорили про интерконект, то давайте обратим внимание на один нюанс. HA-интерконект и кластер-интреконект теперь работают через одни и те же порты. Напомню, что HA-интерконект используется между двумя контроллерами в HA-паре для репликации логов в NVRAM (NVDIMM в случае с A320), то есть репликации кэша. А кластерный интерконект используется для объединения двух и более контроллеров в единый кластер, по нему происходит репликация конфигурации кластера, передаются данные при переносе томов (vol move) с одного контроллера на другой, передается клиентский трафик (если обращение с хоста пришло на порт ноды, которая не владеет томом с данными). И теперь получается, что в случае switched-кластера, HA-интерконект будет осуществляться через коммутаторы.

А теперь немного пофантазируем — из чего состоит HA-пара? Это два контроллера и дисковые полки, подключенные к каждому из этих контроллеров. Если же появляются коммутаторы для HA и через эти же коммутаторы у нас могут подключаться полки (RoCE), то получается, что пропадает жёсткая привязка контроллеров друг к другу и к дисковым полкам. HA-пары можно формировать между любыми контроллерами в кластере, каждый контроллер может получить доступ к любой полке и диску в кластере. Но это лишь фантазии, никаких официальных подтверждений нет :)

Дисковая полка NS224

NS224 занимает высоту 2U и содержит 24 шт. NVMe SSD. Два модуля NSM — это то, что в SAS полках называется IOM. По два 100GbE-порта находятся в каждом модуле NSM. Полка может выдать 400Gb/sec пропускной способности. Для сравнения, полка DS224C с 8 портами SAS-3 теоретически может выдать 384Gb/sec.
Поддерживаются диски емкостью 1,9, 3,8 и 7,6TB, а чуть позже будут доступны диски емкостью 15TB. Диски в A800 и NS224 отличаются и на момент анонса полка NS224 не поддерживает подключение к A800. К A320 можно подключить две полки, а в дальнейшем, вероятно, максимальное количество полок может увеличится за счёт использования коммутаторов, но это неточно.

Полки можно будет заказать с 12, 18 и 24 дисками.

Вот так выглядит подключение двух полок к A320:

Производительность

Пока нет официальной информации по производительности в IOPS и GB/sec.

Но в погоне за IOPS часто стали забывать про задержки. С широким распространением систем all-flash задержки меньше 1 мс стали неким стандартом. Довольно долго многих не интересовало, насколько меньшее время, чем 1 мс может выдать СХД. Ведь 1 мс — это уже в 10-20 раз лучше, чем мы получали на СХД с использованием HDD. Сейчас же начинается новый этап, задержки начали мерить сотнями микросекунд, а в некоторых случаях и десятками микросекунд.

Известно что задержки будут в районе 100 мкс, что ниже в 5-10 раз, чем у A300! Задержки заметно снижаются даже без использования NVMe over FC.

Новый кластерный коммутатор BES-53248

На замену коммутатору CN1610 пришёл BES-53248, и его также выпускает Broadcom.

В коммутаторе есть следующие порты:

• 48 x SFP28 ports (10/25GbE)
• 8 x QSFP28 ports (10/40 or 25/50/100GbE)

Поддерживается использование этого коммутатора и для MCC IP. Конфигурация скоростей портов будет отличаться в зависимости от того применяется он в MCC IP или в обычном switched-кластере.

Порты доступные в базовой поставке:

• 16 x 10GbE SFP+ ports
• 2 x 40GbE QSFP ports
• 2 x 100GbE QSFP28 ports for ISL

Остальные конфигурации требуют покупки лицензий.
Блоки питания дублированные.

На этом с железом всё. А так как прошло полгода с выхода ONTAP 9.5, значит настало время ONTAP 9.6.

У меня есть традиция — каждые полгода я сажусь и пишу пост про то, чего нового в ONTAP. На самом деле нет. Иногда мне лень :)
До конца мая должна стать доступной ONTAP 9.6RC1. Посмотрим, что нас ждёт.

Модель релизов

Для начала поговорим про модель релизов ONTAP. Каждые 6 месяцев происходит выход новой версии 9.x. Эти обновления всегда приносят функциональные изменения. Все исправления багов происходят в P-релизах (9.xPy), которые выпускаются примерно каждые 4 недели. Нечетные версии (9.1, 9.3, 9.5) имеют статус LTS — Long Term Support. Чётные версии такого статуса не имели. С выходом 9.6 эта модель немного меняется. Теперь все версии, начиная с 9.6 будут имёть статус LTS. Считается, что это ускорит распространение новых версий, так как клиенты опасались не-LTS релизов.
По срокам поддержки ONTAP:

• 3 года — Full Support. Поддержка со стороны службы технической поддержки, выход сервисных обновлений.
• 2 года — Limited Support. Прекращается выпуск сервисных обновлений, за исключением исправлений проблем с безопасностью.
• 3 года — Self-service Support. Никакой помощи от вендора, только документация онлайн.

RESTful API и новый OnCommand ONTAP System Manager

В 9.6 появится REST API из коробки без каких-то внешних серверов. Внутри ONTAP давным давно живёт ZAPI, но он слишком развесистый и им не так удобно пользоваться — концептуально он похож на SOAP и передаёт данные в XML. Какое-то время ZAPI и REST API будут сосуществовать, но с 9.6 вся новая функциональность будет получать соответствующие методы только в REST. Например, новые модули для Ansible и WFA уже будут использовать REST API. С выходом 9.6 будет доступен Python SDK, для других языков SDK выпустят позже.
Подробнее про REST API можно почитать в блоге у Justin Parisi.

Поверх REST API будет работать новый ONTAP System Manager, в 9.6 он будет работать в режиме preview. Вносить какие-то изменения через него не получится. В нем обещают сократить количество телодвижений для выполнения привычных задач. Будет доступна статистика по производительности за последний год. В перспективе это отличное решение, так как позволит быстрее добавлять управление новыми фичами ONTAP в System Manager, да и над дизайном проще будет работать.
Все пожелания можно отправлять на [email protected]

OnCommand Unified Manager тоже решили переименовать. В итоге получаем следующее:
OnCommand Unified Manager —> Active IQ Unified Manager
OnCommand System Manager —> ONTAP System Manager

SnapMirror

• Поддержка шифрования при передачи данных по сети (TLS v1.2). Работает для SM (SnapMirror) и SM-S (SnapMirro Sync)
• Добавили NFSv4, SMB 2 и 3. Теперь поддерживаются все протоколы, доступные в ONTAP.
• Добавили поддержку каскадной репликации для SM-S.
• SM-S теперь поддерживает qtree и fpolicy.
• Изменилось лицензирование SM-S. В 9.5 это была отдельная лицензия на ёмкость, теперь эта лицензия входит в Premium Bundle.

Важный нюанс по лицензированию. Если вы не планируете использовать вторую СХД как источник репликации SM-S, то никакие лицензии на этой системе не нужны.

MetroCluster

Наконец-то MetroCluster будет доступен для самых младших систем — AFF A220 и FAS2750. Поддерживается только MetroCluster IP, что логично, так как в этих системах нет слотов для плат с FC-VI портами. Как и в случае со старшими системами для AFF поддерживается ADP, для FAS — нет. И важный момент — для FAS2720 MCC не доступен.

Начиная с 9.6 необязательно иметь выделенные L2 линки между площадками, допускается использовать ISL и для другого трафика.
Поддерживаются ISL со скоростью 10/25/40/100 Gb/sec. Коммутаторы по-прежнему должны быть куплены у NetApp. Скорости 10/25 до этого не поддерживались, но скоро будут доступны новые кластерные коммутаторы BES-53248 с поддержкой 10/25 GbE.

Новые ATTO 7600N FC to SAS Bridge для MCC FC.

Добавили поддержку FlexGroup в MetroCluster.

FlexGroup

Теперь можно переименовывать FlexGroup тома.
Размер FlexGroup можно не только увеличвать, но и уменьшать.
Появилась поддержка SMB Continuous Availability (CA) для MS SQL и Hyper-V.

FlexGroup “под капотом” состоит из множества FlexVol, при записи файлы не разбиваются на части, каждый файл попадает в отдельный FlexVol. В какой FlexVol попадёт файл зависит от нагрузки на агрегат и свободного места в FlexVol. Теоретически возможна ситуация, когда в каком-то из FlexVol места останется меньше, чем в остальных. И при записи крупного файла, места в конкретно этом FlexVol может не хватить. Можно использовать функцию autogrow, чтобы избежать ошибок при записи. Но теперь появилось ещё одно решение для таких ситуаций — FlexGroup Elastic Sizing. Теперь FlexVol, в котором не хватает места для записи файла может “одолжить” это место у других томов. Общий размер FlexGroup не меняется, запись проходит успешно. Как это реализовано внутри ONTAP пока нигде не описано. Важно, что это работает автоматически и незаметно для приложений.
Больше информации есть в блоге у Justin Parisi. И скоро обновится TR-4571. NetApp ONTAP FlexGroup Volumes.

FabricPool

Новые облачные провайдеры для объектного уровня хранения:

• Google Cloud Storage
• Alibaba Cloud Object Storage Service

Политика тиринга backup теперь называется all и позволяет отправлять все данные из тома сразу в облако. На СХД остаются только метаданные. Политика backup поддерживалась только на томах репликах SnapMirror, у all такого ограничения нет.

Inactive Data Reporting теперь работает по-умолчанию. Это опция появилась в 9.4, позволяет посмотреть объем данных, к которым не было никаких обращений за последние 31 день.

Поменялись лимиты на соотношение performance к capacity. Раньше это было жёсткое соотношение 1:20. Теперь всё немного хитрее. Тиринг останавливается, если агрегат заполнен на 98%. И в зависимости от набора данных и количества метаданных требуемого для этих данных, соотношение между performance слоем и capacity слоем может достигать 1 к 50. То есть для 800TB агрегата в облаке может хранится 39.2PB (из расчёт 2% ёмкости агрегата для метаданных).

Улучшения в работе Volume Move. Раньше при перемещении тома выкачивались все данные, которые уже оказались в облаке. Теперь этого не происходит, перемещаются только данные на performance уровне.

Появилась поддержка SVM-DR для FabricPool агрегатов.

Поменялось лицензирование. Теперь FabricPool тоже по подписке. На год или на три года. Тиринг в StorageGRID по-прежнему бесплатно.

FlexCache

FlexCache появился в 9.5, хотя на самом деле это довольно старая функция, которая работала ещё на 7-mode. Надеюсь многие помнят пост на Хабре 8-ми летней давности про, то как NetApp помог с ускорением рендеринга специэффектов в фильме Аватар. Там как раз и использовался FlexCache.
FlexCache позволяет кэшировать файловые данные внутри кластера или на удалённом кластере. Пока поддерживается только NFSv3.

Подробно про FlexCache можно почитать в TR-4743. FlexCache Volumes in NetApp ONTAP. Позже документ обновится с учётом того, что появилось в 9.6
В 9.5 уже была поддержка ONTAP Select как кэша для FlexCache. В 9.6 добавили поддержку Cloud Volumes ONTAP. CVO можно использовать и как кэш, и как источник данных для кэширования. Появляются интересные варианты использования FlexCache:

• Добавили шифрование данных при передаче между источником и кэшем.
• Увеличили лимит на количество кэш-томов до 100 на ноду.
• Добавили поддержку квот и qtree.
• Появилась возможность вносить изменения в уже закешированные файлы на источнике, если произошёл разрыв связи с кэшем.

ONTAP Select

Новый размер — Premium XL. Поддерживает 16 vCPU, 128GB памяти, поддержка NVMe SSD. Обещают удвоение производительности по сравнению с Premium.
Появилась поддержка QoS Minimum.

Еще в 9.5 появилась следующее:

• Возможность конвертации evaluation лицензии в production.
• Плагин для VMware vCenter, который дублирует функциональность Deploy.
• Capacity Pool лицензирование. Общая лицензия на ёмкость без привязки к количеству нод, продаётся на определенный срок (минимум 12 месяцев).

NVMe over FC

• Поддержка 512-byte namespace
• Volume move для namespace
• QoS max для namespace
• Поддержка read-write и read-only в томах с namespace для работы DR

Со стороны ONTAP заявлена поддержка работы с VMware ESXi, Windows и Oracle Linux с ANA (asymmetric namespace access). Теперь ждём подтверждения со стороны производителей этих ОС.

Ах да, лицензия на NVMe/FC теперь бесплатная и входит в Base Bundle.

Шифрование

Не очень актуальная для России функциональность, но как я знаю меня читают не только в России.
NetApp Aggregate Encryption (NAE) шифрование на уровне целого агрегата. На весь агрегат один ключ шифрования. Основное преимущество перед NetApp Volume Encryption (NVE) — более высокая эффективная ёмкость за счет работы дедупликации на уровне агрегата.

Multi-tenant Key Management. Отдельные ключи шифрования на уровне SVM. Работает только с внешними key management серверами. Опция рассчитанная, в первую очередь, на сервис-провайдеров.

А здесь я написал про новую AFF A320.

Небольшая вводная часть, в которой даже присутствует подобие аналитики рынка

8 мая NetApp выпустил очередную версию ONTAP и представил несколько новых систем хранения, в том числе первую доступную на рынке end-to-end NVMe-oF all-flash СХД AFF A800.
Я решил разделить информацию об ONTAP и новым железе на два поста. Сейчас поговорим про новое железо. И тут у нас не только A800. Про ONTAP 9.4 в этом посте.

NetApp AFF A800 — первый доступный на рынке enterprise end-to-end NVMe all flash массив. Сильное заявление, проверять я его конечно не буду.

Да, я знаю про Dell EMC PowerMax, который был анонсирован буквально неделю назад. Но вот какая незадача — NVMe на фронтенде, то есть NVMe-oF, в нём еще нет. А появится поддержка NVMe-oF в PowerMax только в начале 2019 года.

Давайте сразу поговорим про других производителей enterprise СХД на рынке. Тут не будет речи о стартапах, потому что у них довольно серьезное отставание по функциональности в сравнении с устоявшимися на рынке игроками.

IBM. Добавили поддержку NVMeF over InfiniBand для FlashSystem 900. Внутри flash-модули, если я не ошибаюсь, подключаются по PCIe. Но мы помним, что NVMe — это не только PCIe, но и новый протокол, который полностью заменяет SCSI.
Анонсировали поддержку NVMe-oF для IBM FlashSystem 900/A9000/A9000R, IBM FlashSystem V9000, IBM Storwize V7000, IBM SAN Volume Controller (SVC). End-to-end NVMe массива доступного на рынке нет.

Pure Storage имеют //X70 c NVMe модулями. У них были показательные тесты NVMe-oF с Cisco, использовали RoCEv2 40GbE. Когда будет доступно простым смертным неизвестно. End-to-end NVMe массива доступного на рынке нет.

У Huawei уже давно доступна на рынке система OceanStor Dorado5000 V3, но пока никаких вестей про NVMe-oF. End-to-end NVMe массива доступного на рынке нет.

HPE буквально вчера анонсировали обновление для линейки Nimble. Говорят, что они готовы к NVMe и SCM (Storage Class Memory), но всё будет происходить в три этапа.

• NVMe и SCM как кэш на чтение
• NVMe SSD
• NVMe-oF

В каком порядке неизвестно, а в новых системах пока стоят SATA SSD. End-to-end NVMe массива доступного на рынке нет.

Если я где-то ошибся и о чём-то не упомянул, то буду рад любым комментарием.

А что же NetApp? А NetApp за прошедшие месяцы успел отгрузить более 20ПБ NVMe SSD. Как так? В каждой системе FAS последнего поколения есть Flash Cache на базе NVMe. Кроме того уже более 8 месяцев доступна система EF570 с поддержкой NVMe-oF по InfiniBand.

8 месяцев назад NetApp уже рассказывал про планы на NVMe и SCM. Была демонстрация работы NVMe-oF на A300 и AFF 8020. А SCM в первую очередь планируется использовать как кэш на чтение в all-flash массивах. Кроме этого есть планы по использованию server-side Software-Defined Memory решения компании Plexistor, которую NetApp не так давно приобрёл, совместно с СХД. То есть мы видим последовательную и планомерную работу по внедрению новых технологий хранения с сохранением совместимости с существующими решениями.

А после небольшого вступления мы опять возвращаемся к NetApp AFF A800 — первому доступному на рынке enterprise end-to-end NVMe all flash массиву.

AFF A800

• HA-пара выдаёт 1.3 млн IOPS случайного чтения c задержкой 500µs
• Минимальная задержка в 200µs
• 34ГБ/сек чтения на пару контроллеров с NVMe-oF
• 25ГБ/сек чтения на пару контроллеров по NFS
• 11.4 млн IOPS случайного чтения в 24-узловом кластере при использовании NAS
• Более 300ГБ/сек чтения в 24-узловом кластере при использовании NAS

И если вы побежали сравнивать заявленную маркетинговую производительность с Dell EMC PowerMax, то подождите. В ближайшее время обещают опубликовать результат тестирования A800 в SPC-1. Я думаю такой радости от Dell EMC мы не дождёмся. И имейте в виду, что заявленные Dell EMC 10 млн IOPS для PowerMax указаны для профиля 8K RRH, что означает random read hit 8K блоком — случайное чтение со 100% попаданием в кэш.

Ну а теперь подробнее. A800 работает на ONTAP 9.4. Значит доступна вся богатая функциональность ONTAP, а также работа в кластере с существующими системами.
Так A800 выглядит спереди без крышки. NVMe SSD синенькие.

А так сзади:

Тут без сюрпризов в дизайне корпуса контроллеров. Видно, что за основу взяли конструкцию контроллеров A700s. Но теперь в корпусе 4U имеем 48 дисков. На старте продаж доступны диски ёмкостью 1.9, 3.8 и 7.6ТБ. Позже будут и 15.3ТБ SSD, что даёт более 2.5ПБ+ эффективной ёмкости всего в 4U.

Сетевые интерфейсы

Из ethernet-интерфейсов доступны 100GbE, 25GbE и 10GbE. Это будут отдельные сетевые карты. Сетевая карта на 100GbE поддерживает и 40GbE. Пока эти интерфейсы только для файловых протоколов и iSCSI. FCoE и NVMe-oF на них не поддерживается.

NVMe-oF работает по Fibre Channel. Для NVMe-oF поддерживаются скорости 32/16Gb, для обычного FC — 32/16/8Gb.

Кластерный и HA-интерконнект по отдельным 100GbE портам. Для кластерного интерконнекта можно использовать и 40GbE. А в случае апгрейдов текущих кластеров можно использовать и 10GbE. И да, повторюсь, А800 можно использовать в существующих кластерах с уже существующими не NVMe системами.

Для 100GbE кластерных сетей доступен новый для NetApp коммутатор Cisco Nexus 3232C.

Надеюсь, что в будущем появится поддержка NVMe-oF по RoCE. 100GbE и 25GbE порты есть, осталось реализовать это в ПО.

Storage

48 внутренних NVMe SSD. Они теперь голубенькие, чтобы не перепутать с обычными SSD. Вставить их в SAS полки не получится. Новые системы продаются на выбор с 24, 36 или 48 дисками. Внешних NVMe полок нет. Думаю, что это временно. Если купить систему с неполным набором дисков, то новые диски можно докупать паками по 6 штук. Кстати, хорошая аналогия с пивом, которое тоже часто продаётся six-pack’ами. А NetApp любит пиво.

Но к A800 можно подключать SAS полки. В первую очередь это сделано для апгрейдов старых AFF систем. Поддерживаются DS224C и DS2246 с IOM12. Можно подключить до 8 полок.

Для подключения внутренних дисков используется 4 PCIe Gen3 коммутатора, от каждого идёт по 24 полосы к 12 NVMe SSD. Поэтому изменился принцип заполнения шасси дисками. Шасси разделено на 4 квадранта. Вот как будет выглядеть шасси с 24 дисками, в которое добавили еще 6 дисков.

Прочие приятные мелочи

A800 поддерживает ADP. И поддерживает MetroCluster IP. А MetroCluster IP теперь работает с ADP. Правда это только для AFF систем. (Исправлено. До этого было написано, что для всех систем с поддержкой MCC IP).

Для high-end систем требуется иметь достаточно объёмные root агрегаты. Они должны быть не меньше объема оперативной памяти контроллеров, так как в случае паники контроллера в root агрегат сохраняется core dump, который техподдержка используется для выяснения причин паники. Объем оперативной памяти A800 — 1280ГБ. Но минимальный размер root агрегата всего 187ГБ. Core dump теперь сохраняется на флешке, с которой грузится контроллер.

Для NVlog’а теперь используются NVDIMM, а не NVRAM. Это позволяет еще больше сократить задержки на запись, так как шина памяти “отзывчивее”, чем PCIe.

С выходом ONTAP 9.4 NVMe-oF доступен A700/A700s/A300. На 60% выше производительность и на 50% ниже задержки.

Новые модели начального уровня

На смену FAS2600/A200 приходят FAS2700/A220.
То же самое шасси, но более мощный процессор, в два раз больше ядер. Прирост производительности на 20-30%.

В FAS2700 чуть больше изменений. Теперь там NVMe Flash Cache на джва ТБ. Есть два набора портов — 8xUTA2 или 8x10GbE BASE-T. UTA2 порты теперь поддерживают iSCSI Data Center Bridging (DCB). BASE-T порты не поддерживают FCoE. Только iSCSI, NFS, SMB.

На этом всё про A800. Готов ответить на вопросы в комментариях или в нашем уютном телеграм-чате — https://t.me/storagediscussions
А для получения оперативных новостей про NetApp и просто интересные ссылки подписывайтесь на канал https://t.me/storagetalks

8 мая NetApp выпустил очередную версию ONTAP и представил несколько новых систем хранения, в том числе первую доступную на рынке end-to-end NVMe all-flash СХД AFF A800. Да я в курсе про Dell EMC PowerMax, о ней мы еще поговорим в посте про A800.
Я решил разделить информацию об ONTAP и новым железе на два поста. Сейчас поговорим про новую версию ONTAP.

Прошло полгода с выхода ONTAP 9.3 и настало время следующей версии. ONTAP 9.4 — это обычный не LTS (Long Term Service) релиз. Подробнее про модель поддержки разных релизов на support-сайте, потребуется логин. Если кратко, то на LTS-релизы патчи выпускаются в течение 3 лет, на обычные релизы — в течение года.

Что нового в 9.4?

Обновления можно разделить на 4 категории:

• Облака
• Безопасность
• FlexGroup
• Общие изменения

Облака

FabricPool теперь работает не только со снепшотами, но и с обычными данными.
Для тех кто не знает, что это, есть пост на Хабре.
SSD до сих пор дорогие, NVMe SSD, кстати еще дороже, SCM тоже никто дёшево продавать не будет, так что варианты удешевления хранения данных на all-flash появляются разные.
До 9.4 в объектное хранилище можно было отправлять данные из снепшотов и из томов-получателей при использовании SnapMirror/Vault, которые по определению неактивные. Теперь эта технология работает и для активных, но холодных данных. Политика для активных данных называется auto. По умолчанию данные отправляются в облако, если к ним не было никаких обращений в течение 31 дня. За это отвечает опция tiering-minimum-cooling-days. Её можно менять в диапазоне от 2 до 63 дней.

Кроме того есть отличия в том, когда блоки из облачного слоя становятся снова горячими.
Политика snapshot-only:
При любом чтении блоков из облачного слоя блок становится горячим и остаётся на SSD.
Политика auto:
Блоки со случайным чтением становятся горячими и остаются на SSD.
Блоки с последовательным чтением остаются холодными и не копируются на SSD.
Политика backup:
При любых операциях блоки остаются холодными.

В качестве облачного/объектного слоя к поддержке AWS и StorageGRID добавилась поддержка Azure Blob Storage. Есть возможность использоваться любые другие приватные или публичные объектные хранилища, но делать это можно только после подтверждения со стороны NetApp.

FabricPool с самого начала работал на ONTAP Cloud. При чем там возможен тиринг между HDD и S3 (st1 и S3). Теперь поддерживается FabricPool и на ONTAP Select. И в качестве performance слоя можно использовать HDD, но рекомендуется все же SSD.

Самое время напомнить какие системы и в каких конфигурациях вообще поддерживают FabricPool.
FabricPool работает на уровне агрегата. К агрегату добавляется capacity слой. Внутри агрегата для каждого тома в отдельности применяются политики или не применяются.
Поддерживаются AFF, all-SSD агрегаты на FAS, ONTAP Cloud и ONTAP Select.
Не поддерживаются Flash Pool и HDD агрегаты на FAS. Не поддерживается MetroCluster.

Отсоединить capacity слой от агрегата можно только разрушив последний. Поэтому очень полезно появление в Object Store Profiler’а. Функциональность в ONTAP, которая позволяет проверить latency и throughput до облачного слоя перед тем, как присоединять его к агрегату.
Вызывается командами storage aggregate object-store profiler start в advanced режиме.

Произошли изменения и в дефрагментации облачного слоя. Прежде чем отправлять холодные блоки в облако они собираются в единый 4МБ объект. Из облака блоки могут читаться объектами от 4КБ до 1МБ. До версии 9.4 4МБ объект удалялся из облака только, если все его блоки становились горячими. Теперь это поведение изменено. Можно менять порог количества блоков без ссылок, при котором начинается дефрагментация 4МБ объекта. За это отвечает опция -unreclaimed-space-threshold в команде storage aggregate object-store modify. Например, если это значение равно 20%, то дефрагментация объекта начнётся, когда 80% данных из этого объекта переедут назад в performance слой. Изменяя значение опции, можно соблюсти баланс между затратами на хранение объектов и тратами за обращение к объектам при дефрагментации. Напомню, что у AWS и Azure есть плата не только за хранение объектов, но  и за операции с ними. Значения по умолчанию для разных типов capacity слоя отличаются:

• 15% Azure Blob Storage
• 20% Amazon S3
• 40% StorageGRID

Теперь в capacity слое сохраняется выгода от inline data compaction, вдобавок к дедупликации и компрессии.

При использовании FabricPool со StorageGRID необходимо устанавливать в ONTAP сертификаты для шифрования управляющего трафика и запросов к API. Теперь необходимость наличия сертификатов можно отключать в тестовых целях.

Безопасность

Очень много изменений с точки зрения безопасности. Часть из них связана с шифрованием и на территории России и некоторых других стран СНГ работать не будет.

Первая функция под названием Secure Purge. Необходима для соответствия требованиям GDPR. Она позволяет “криптографически” удалять файлы из томов зашифрованных с помощью NVE (NetApp Volume Encryption). Пока нет подробной информации по работе этой функции и я могу только догадываться о том, как всё устроено. Упоминается, что файл невозможно будет восстановить, так как ключ шифрования будет удален. В NVE используется отдельный ключ шифрования для каждого FlexVol. Думаю, что том будет заново шифроваться с новым ключом, исключая удаляемый файл.

Protected Controller Reboot — для систем, которые используют Onboard Key Manager (OKM) можно включить требование пароля для загрузки системы. Если пароль не ввести, то в случае с NSE (NetApp Storage Encryption, использование SED дисков) система просто не загрузится, а с NVE тома будут в оффлайне. Защищает на тот случай, если у вас украли сразу весь массив ;-)

Хранение данных OKM на внешнем USB-носителе. Без USB-носителя система с NSE не загрузится, NVE — тома останутся в оффлайне. Для работы ONTAP USB-носитель уже не нужен. Функция доступна только после подтверждения от вендора, так как используется какой-то механизм для защиты от клонирования USB-носителей и не все его поддерживают.

Теперь про функциональность, которая доступна для всех стран.
Валидация образа ONTAP во время апгрейда. Все образы ONTAP всегда подписывались, но проверки во время апгрейда не было. Теперь будет.

Для новых платформ будет поддерживаться UEFI Secure Boot, то есть образ ONTAP будет проверятся во время каждый загрузки. Говорят в полях встречали системы с хакнутыми образами ОС, теперь так не получится. Для работы UEFI Secure Boot не нужен TPM-модуль.

FlexGroup

Более 120ПБ данных уже хранят клиенты NetApp с использованием FlexGroup. Про них я рассказывал в этом посте. С тех пор прошло много времени и функциональность FlexGroup сильно продвинулась вперед. Сейчас поддерживаются NFS 3, SMB 2, SMB 3. В 9.3 добавили поддержку Qtree, SnapVault, Unified SnapMirror (XDP), QoS Max.
В 9.4 добавили следующее:

• Поддержку FPolicy и аудита
• Адаптивный QoS aka A-QoS. QoS-политики, которые работают со значениями IOPS/TB и динамически меняют потолок для файла/тома с изменением его размера.
• QoS Min. Такие политики работают только на AFF.
• Увеличили лимиты для SnapMirror.

Подробнее про FlexGroup можно почитать в TR-4571. NetApp FlexGroup Volume Best Practices and Implementation Guide.

Кстати, с использованием FlexGroups был показан отличный результат в тесте SPEC SFS2014.

Общие изменения

Тут всё такое “вкусное”, что даже не знаю с чего начать.

Улучшили работу дедупликации:

• Улучшения в работе фоновой дедупликации на уровне агрегата.
• Дедупликация между снепшотами и активными данными. До этого релиза данные в снепшотах не дедуплицировались, поэтому всегда рекомендовалось настраивать расписание так, чтобы снепшоты совершались после дедупликации.
• На томах получателях SnapMirror/Vault автоматически включены политики инлайн и фоновой дедупликации.

Появилась поддержка SMB Multichannel:
Обещают до 90% повышения производительность на high-end системах. Всё за счёт более эффективного использования ядер, утилизации сетевых карт и использования множества TCP/IP сессий.

Fast Drive Zeroing — моментальный zeroing дисков вне зависимости от их типа и размера. Но есть нюансы:

• Работает только на свежих инсталляциях 9.4 или на системах, которые были реинициализированы с 9.4.
• Такую систему нельзя даунгрейдить до 9.3 и ниже.

В OnCommand System Manager добавили поддержку Application Aware Data Management (AppDM) для MS SQL. Это те самые мастера в разделе Applications & Tiers в меню слева. И теперь работать с ними можно через REST API.

Каждый FlexVol теперь поддерживает 1023 снепшота.

Для текущих систем стали доступны 30TB SSD.

Ну и пожалуй самое главное изменение — для обновления ONTAP теперь не нужен ftp или web-сервер, образ можно загружать сразу в браузере.

На этом всё про ONTAP 9.4. Готов ответить на вопросы в комментариях или в нашем уютном телеграм-чате — https://t.me/storagediscussions
А для получения оперативных новостей про NetApp и просто интересные ссылки подписывайтесь на канал https://t.me/storagetalks