8 мая NetApp выпустил очередную версию ONTAP и представил несколько новых систем хранения, в том числе первую доступную на рынке end-to-end NVMe all-flash СХД AFF A800. Да я в курсе про Dell EMC PowerMax, о ней мы еще поговорим в посте про A800.
Я решил разделить информацию об ONTAP и новым железе на два поста. Сейчас поговорим про новую версию ONTAP.

Прошло полгода с выхода ONTAP 9.3 и настало время следующей версии. ONTAP 9.4 — это обычный не LTS (Long Term Service) релиз. Подробнее про модель поддержки разных релизов на support-сайте, потребуется логин. Если кратко, то на LTS-релизы патчи выпускаются в течение 3 лет, на обычные релизы — в течение года.

Что нового в 9.4?

Обновления можно разделить на 4 категории:

• Облака
• Безопасность
• FlexGroup
• Общие изменения

Облака

FabricPool теперь работает не только со снепшотами, но и с обычными данными.
Для тех кто не знает, что это, есть пост на Хабре.
SSD до сих пор дорогие, NVMe SSD, кстати еще дороже, SCM тоже никто дёшево продавать не будет, так что варианты удешевления хранения данных на all-flash появляются разные.
До 9.4 в объектное хранилище можно было отправлять данные из снепшотов и из томов-получателей при использовании SnapMirror/Vault, которые по определению неактивные. Теперь эта технология работает и для активных, но холодных данных. Политика для активных данных называется auto. По умолчанию данные отправляются в облако, если к ним не было никаких обращений в течение 31 дня. За это отвечает опция tiering-minimum-cooling-days. Её можно менять в диапазоне от 2 до 63 дней.

Кроме того есть отличия в том, когда блоки из облачного слоя становятся снова горячими.
Политика snapshot-only:
При любом чтении блоков из облачного слоя блок становится горячим и остаётся на SSD.
Политика auto:
Блоки со случайным чтением становятся горячими и остаются на SSD.
Блоки с последовательным чтением остаются холодными и не копируются на SSD.
Политика backup:
При любых операциях блоки остаются холодными.

В качестве облачного/объектного слоя к поддержке AWS и StorageGRID добавилась поддержка Azure Blob Storage. Есть возможность использоваться любые другие приватные или публичные объектные хранилища, но делать это можно только после подтверждения со стороны NetApp.

FabricPool с самого начала работал на ONTAP Cloud. При чем там возможен тиринг между HDD и S3 (st1 и S3). Теперь поддерживается FabricPool и на ONTAP Select. И в качестве performance слоя можно использовать HDD, но рекомендуется все же SSD.

Самое время напомнить какие системы и в каких конфигурациях вообще поддерживают FabricPool.
FabricPool работает на уровне агрегата. К агрегату добавляется capacity слой. Внутри агрегата для каждого тома в отдельности применяются политики или не применяются.
Поддерживаются AFF, all-SSD агрегаты на FAS, ONTAP Cloud и ONTAP Select.
Не поддерживаются Flash Pool и HDD агрегаты на FAS. Не поддерживается MetroCluster.

Отсоединить capacity слой от агрегата можно только разрушив последний. Поэтому очень полезно появление в Object Store Profiler’а. Функциональность в ONTAP, которая позволяет проверить latency и throughput до облачного слоя перед тем, как присоединять его к агрегату.
Вызывается командами storage aggregate object-store profiler start в advanced режиме.

Произошли изменения и в дефрагментации облачного слоя. Прежде чем отправлять холодные блоки в облако они собираются в единый 4МБ объект. Из облака блоки могут читаться объектами от 4КБ до 1МБ. До версии 9.4 4МБ объект удалялся из облака только, если все его блоки становились горячими. Теперь это поведение изменено. Можно менять порог количества блоков без ссылок, при котором начинается дефрагментация 4МБ объекта. За это отвечает опция -unreclaimed-space-threshold в команде storage aggregate object-store modify. Например, если это значение равно 20%, то дефрагментация объекта начнётся, когда 80% данных из этого объекта переедут назад в performance слой. Изменяя значение опции, можно соблюсти баланс между затратами на хранение объектов и тратами за обращение к объектам при дефрагментации. Напомню, что у AWS и Azure есть плата не только за хранение объектов, но  и за операции с ними. Значения по умолчанию для разных типов capacity слоя отличаются:

• 15% Azure Blob Storage
• 20% Amazon S3
• 40% StorageGRID

Теперь в capacity слое сохраняется выгода от inline data compaction, вдобавок к дедупликации и компрессии.

При использовании FabricPool со StorageGRID необходимо устанавливать в ONTAP сертификаты для шифрования управляющего трафика и запросов к API. Теперь необходимость наличия сертификатов можно отключать в тестовых целях.

Безопасность

Очень много изменений с точки зрения безопасности. Часть из них связана с шифрованием и на территории России и некоторых других стран СНГ работать не будет.

Первая функция под названием Secure Purge. Необходима для соответствия требованиям GDPR. Она позволяет “криптографически” удалять файлы из томов зашифрованных с помощью NVE (NetApp Volume Encryption). Пока нет подробной информации по работе этой функции и я могу только догадываться о том, как всё устроено. Упоминается, что файл невозможно будет восстановить, так как ключ шифрования будет удален. В NVE используется отдельный ключ шифрования для каждого FlexVol. Думаю, что том будет заново шифроваться с новым ключом, исключая удаляемый файл.

Protected Controller Reboot — для систем, которые используют Onboard Key Manager (OKM) можно включить требование пароля для загрузки системы. Если пароль не ввести, то в случае с NSE (NetApp Storage Encryption, использование SED дисков) система просто не загрузится, а с NVE тома будут в оффлайне. Защищает на тот случай, если у вас украли сразу весь массив ;-)

Хранение данных OKM на внешнем USB-носителе. Без USB-носителя система с NSE не загрузится, NVE — тома останутся в оффлайне. Для работы ONTAP USB-носитель уже не нужен. Функция доступна только после подтверждения от вендора, так как используется какой-то механизм для защиты от клонирования USB-носителей и не все его поддерживают.

Теперь про функциональность, которая доступна для всех стран.
Валидация образа ONTAP во время апгрейда. Все образы ONTAP всегда подписывались, но проверки во время апгрейда не было. Теперь будет.

Для новых платформ будет поддерживаться UEFI Secure Boot, то есть образ ONTAP будет проверятся во время каждый загрузки. Говорят в полях встречали системы с хакнутыми образами ОС, теперь так не получится. Для работы UEFI Secure Boot не нужен TPM-модуль.

FlexGroup

Более 120ПБ данных уже хранят клиенты NetApp с использованием FlexGroup. Про них я рассказывал в этом посте. С тех пор прошло много времени и функциональность FlexGroup сильно продвинулась вперед. Сейчас поддерживаются NFS 3, SMB 2, SMB 3. В 9.3 добавили поддержку Qtree, SnapVault, Unified SnapMirror (XDP), QoS Max.
В 9.4 добавили следующее:

• Поддержку FPolicy и аудита
• Адаптивный QoS aka A-QoS. QoS-политики, которые работают со значениями IOPS/TB и динамически меняют потолок для файла/тома с изменением его размера.
• QoS Min. Такие политики работают только на AFF.
• Увеличили лимиты для SnapMirror.

Подробнее про FlexGroup можно почитать в TR-4571. NetApp FlexGroup Volume Best Practices and Implementation Guide.

Кстати, с использованием FlexGroups был показан отличный результат в тесте SPEC SFS2014.

Общие изменения

Тут всё такое “вкусное”, что даже не знаю с чего начать.

Улучшили работу дедупликации:

• Улучшения в работе фоновой дедупликации на уровне агрегата.
• Дедупликация между снепшотами и активными данными. До этого релиза данные в снепшотах не дедуплицировались, поэтому всегда рекомендовалось настраивать расписание так, чтобы снепшоты совершались после дедупликации.
• На томах получателях SnapMirror/Vault автоматически включены политики инлайн и фоновой дедупликации.

Появилась поддержка SMB Multichannel:
Обещают до 90% повышения производительность на high-end системах. Всё за счёт более эффективного использования ядер, утилизации сетевых карт и использования множества TCP/IP сессий.

Fast Drive Zeroing — моментальный zeroing дисков вне зависимости от их типа и размера. Но есть нюансы:

• Работает только на свежих инсталляциях 9.4 или на системах, которые были реинициализированы с 9.4.
• Такую систему нельзя даунгрейдить до 9.3 и ниже.

В OnCommand System Manager добавили поддержку Application Aware Data Management (AppDM) для MS SQL. Это те самые мастера в разделе Applications & Tiers в меню слева. И теперь работать с ними можно через REST API.

Каждый FlexVol теперь поддерживает 1023 снепшота.

Для текущих систем стали доступны 30TB SSD.

Ну и пожалуй самое главное изменение — для обновления ONTAP теперь не нужен ftp или web-сервер, образ можно загружать сразу в браузере.

На этом всё про ONTAP 9.4. Готов ответить на вопросы в комментариях или в нашем уютном телеграм-чате — https://t.me/storagediscussions
А для получения оперативных новостей про NetApp и просто интересные ссылки подписывайтесь на канал https://t.me/storagetalks