Вопросы и ответы об Amazon FSx для OpenZFS

Ответ. FSx для OpenZFS представляет собой полностью управляемое хранилище на основе твердотельных накопителей со стабильной задержкой всего в несколько сотен микросекунд. Используя встроенные возможности кэширования OpenZFS, файловые системы FSx для OpenZFS обеспечивают еще более высокую производительность и меньшие задержки для часто используемых данных.

Файловые системы FSx для OpenZFS могут выполнять более 1 миллиона операций ввода-вывода в секунду и поддерживают пропускную способность 21 ГБ/с при доступе к данным, кэшированным на файловом сервере, или сотни тысяч операций ввода-вывода в секунду и 10 ГБ/с при доступе к данным в хранилище на твердотельных накопителях. Используя несколько параллельных подключений для каждого клиента (через NFS n-connect), вы можете достичь максимальной пропускной способности и максимального количества ввода-вывода в секунду при работе с файловой системой для одного клиента.

При создании файловой системы вы указываете ее пропускную способность. Каждый гигабайт хранилища предоставляет три дисковых операции ввода-вывода в секунду, а при необходимости вы можете выделять дополнительные дисковые операции ввода-вывода в секунду. Пропускную способность можно изменить в любое время в соответствии с меняющимися потребностями приложений с помощью Консоли управления AWS, интерфейса командной строки AWS или API Amazon FSx. Дополнительные сведения см. на странице Производительность файловой системы.

Для одной файловой системы можно выделить до 512 ТиБ. Вы можете легко смонтировать несколько файловых систем одновременно, чтобы организовать для приложений хранилище объемом в несколько петабайтов.

По умолчанию объем томов может расти до достижения доступной емкости файловой системы. Но вы можете установить квоту для тома, чтобы ограничить потенциальный рост объема. Также есть возможность зарезервировать объем хранилища, чтобы выделить для тома минимально необходимый объем памяти. Если резервирования нет, хранилище для тома выделяется строго по мере необходимости, то есть потребляемое пространство равно объему хранящихся данных. Эти настройки можно изменить в любое время.

Класс интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS сочетает традиционные сетевые хранилища (NAS) и полностью эластичное хранилище, что позволяет оптимизировать затраты за счет автоматического распределения данных по уровням.

Этот класс хранилища помогает упростить управление хранением и снизить затраты. Его эластичность означает, что вам больше не нужно управлять емкостью хранилища или беспокоиться о размещении непредсказуемых наборов данных или нехватке места. Автоматическая оптимизация затрат с распределением по уровням хранения позволяет снизить затраты на 85 % по сравнению с твердотельными (SSD) накопителями класса Amazon FSx и до 20 % — по сравнению с традиционными локальными развертываниями на основе жестких дисков (HDD).

При создании файловой системы с помощью консоли Amazon FSx, API или интерфейса командной строки (CLI) укажите класс «Многоуровневое интеллектуальное хранилище». При создании файловой системы или в любой момент позднее вы также можете создать дополнительный кэш чтения на основе SSD для оптимизации чтения часто используемых данных.

Класс многоуровневого интеллектуального хранилища Amazon FSx для OpenZFS следует использовать для большинства наборов данных сетевых хранилищ данных (NAS). Класс SSD-хранилища следует использовать только для наборов данных, требующих производительности уровня хранилища на основе только флэш-памяти для всех данных (например, рабочих нагрузок при проектировании микросхем, баз данных и пользовательских ресурсов для специалистов по анализу данных).

Класс интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS разработан для решения требований к производительности широкого спектра файловых рабочих нагрузок. Он обеспечивает пропускную способность до десятков ТБ в секунду и десятков миллионов операций ввода-вывода (IOPS) на Lustre, а также пропускную способность до 20 Гбит в секунду и 400 000 операций ввода-вывода в секунду на OpenZFS. Задержка данных в кэше чтения SSD до первого байта составляет менее миллисекунды, а всех остальных данных — в диапазоне десятков миллисекунд до первого байта. Для типичных файловых рабочих нагрузок, как правило, требуется большое количество операций чтения. В любой момент времени активная работа ведется лишь с небольшой частью общего набора данных, поэтому гибридная SSD-модель класса интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS обеспечивает хранение данных на уровне твердотельных накопителей для большинства рабочих нагрузок. Таким образом достигается экономия до 85 % по сравнению с развертыванием только твердотельных накопителей.

По умолчанию Amazon FSx автоматически выбирает размер кэша чтения SSD в зависимости от выбранного уровня пропускной способности файловой системы. Кроме того, вы можете выбрать кэш меньшего или большего размера и масштабировать его в любое время в зависимости от потребностей рабочей нагрузки. Размер кэша чтения SSD файловой системы можно изменить с помощью интерфейса командной строки AWS CLI, AWS SDK или консоли Amazon FSx. Amazon FSx публикует метрику коэффициента попадания в кэш (процент операций чтения, обработанных из кэша), которая помогает определить, соответствует ли размер кэша вашим потребностям. Эту метрику можно найти на вкладке «Мониторинг» файловой системы в консоли Amazon FSx или в Amazon CloudWatch. Для большинства рабочих нагрузок коэффициент попадания в кэш, составляющий 80 %, обеспечивает нужный баланс производительности и оптимизации затрат.

Да. Класс интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS обеспечивает SLA 99,99 %.

Для файловых систем, использующих класс интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS, Amazon FSx хранит все ваши данные с резервированием в нескольких зонах доступности, обеспечивая встроенную устойчивость к широкомасштабным авариям.

Да, резервную копию файловой системы можно создать, используя интеллектуальное многоуровневое хранилище, с помощью консоли Amazon FSx, API или интерфейса командной строки (CLI). При резервном копировании файловой системы Amazon FSx создается отдельная копия файловых данных, которую затем можно использовать для восстановления в одной или нескольких новых файловых системах. Резервные копии Amazon FSx согласованы с авариями (что позволяет восстанавливать файловую систему на определенный момент времени), обладают высокой надежностью (хранятся в Amazon Simple Storage Service (Amazon S3) и обеспечивают надежность 99,999999999 %) и инкрементны (то есть с каждой резервной копией добавляются только изменения по сравнению с предыдущей резервной копией, что позволяет сократить расходы на хранение резервных копий за счет отсутствия дублирования данных). По умолчанию Amazon FSx запускает автоматическое резервное копирование файловой системы ежедневно в течение указанного вами интервала резервного копирования. Дополнительные резервные копии можно создать в любое время с помощью консоли Amazon FSx, интерфейса командной строки или API, также можно задать расписание автоматического резервного копирования с помощью компонента «Резервное копирование AWS».

Вы можете восстановить данные из резервной копии, создав новую файловую систему с опцией «Восстановить из резервной копии». В этом случае вы сможете получить доступ ко всем своим данным в течение нескольких минут, при этом восстановление будет выполняться в фоновом режиме. Ваша файловая система прозрачно извлекает данные из резервной копии при доступе к ней, поэтому вам не нужно дожидаться завершения восстановления для использования файловой системы.

Что касается данных, хранящихся в классе интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS, вы платите за гигабайт данных в месяц, причем цена зависит от уровня, на котором хранятся данные. Кроме того, вы платите за гигабайт в месяц за выделенный кэш чтения SSD. При записи данных вы платите за операцию записи, а при чтении данных, которых нет в кэше чтения SSD, вы платите за операцию чтения. Как и в других файловых системах Amazon FSx, вы платите за МБ/с в месяц пропускной способности, выделенной вашим файловым серверам.

Как и в случае с интеллектуальным многоуровневым хранилищем Amazon S3, класс интеллектуального многоуровневого хранилища Amazon FSx для OpenZFS автоматически распределяет данные по уровням в зависимости от времени последнего доступа, оптимизируя затраты на менее активные данные. Данные, к которым обращались за последние 30 дней, хранятся на уровне частого доступа. Данные, к которым не обращались в течение 30 дней, автоматически переходят на уровень нечастого доступа и стоят дешевле, чем данные на уровне частого доступа. Данные, к которым не обращались в течение 90 дней, автоматически переходят на архивный уровень и стоят дешевле, чем данные уровня нечастого доступа. При обращении к данным на уровнях «Нечастый доступ» или «Архив» данные автоматически возвращаются на уровень «Частый доступ». Производительность одинакова для любого типа доступа к некэшированным данным независимо от уровня данных. Дополнительные затраты на операции ввода-вывода в секунду, извлечение или перенос данных не превышают обычных затрат на операции чтения/записи.

Помимо представления данных в традиционном формате структуры с файлами и каталогами, FSx для OpenZFS поддерживает использование томов в файловой системе для дополнительного структурирования данных. Каждая файловая система содержит один или несколько томов, каждый из которых представляет собой изолированный контейнер данных для каталогов и файлов. Вы можете создавать отдельные тома и управлять ими с помощью Консоли управления AWS, интерфейса командной строки AWS или API Amazon FSx, а клиенты получают доступ к томам, монтируя их в качестве сетевого хранилища из ОС Linux, macOS или Windows. Для томов можно независимо друг от друга настраивать такие функции, как выделение ресурсов по мере необходимости и сжатие.

По умолчанию объем томов может расти до достижения доступной емкости файловой системы. Но вы можете установить квоту для тома, чтобы ограничить потенциальный рост объема. У вас есть возможность зарезервировать объем хранилища, чтобы выделить для тома минимально необходимый объем памяти. Если резервирования нет, хранилище для тома выделяется строго по мере необходимости, то есть потребляемое пространство равно объему хранящихся данных. Эти настройки можно изменить в любое время.

FSx для OpenZFS предлагает богатый набор возможностей работы с данными на базе ZFS, включая снимки на определенный момент времени, клонирование данных на месте и репликацию данных по требованию между файловыми системами. При работе с FSx для OpenZFS вы можете в любой момент создавать снимки своих томов, что упрощает хранение, администрирование и восстановление исторических версий баз данных или приложений. Клонирование данных позволяет легко тестировать несколько функций и изменений параллельно, не прерывая работу существующих пользователей или приложений и без необходимости дублировать данные. Репликация данных по требованию между файловыми системами обеспечивает простой и надежный способ синхронизации данных для аварийного восстановления, создания реплик чтения и рабочих процессов тестирования и разработки, не отвлекаясь на установление связи между файловыми системами, обнаружение и устранение перебоев в сети.

Например, если вы выполняете рабочую нагрузку с базой данных и хотите протестировать некоторую операцию с ней перед применением в рабочей среде, вы можете создать клон базы данных, выполнить новую операцию в клонированном томе и убедиться, что она работает должным образом. Завершив тест, вы можете сразу скопировать клонированный том в основной том, чтобы сохранить результаты для долгосрочного или производственного использования.

FSx для OpenZFS поддерживает широкий набор функций повышения производительности хранилища, включая сжатие Zstandard и LZ4 для уменьшения объема хранимых данных, резервирование томов и квоты томов для управления объемом пространства для отдельных томов, и пользовательские квоты для контроля потребления хранилища отдельными конечными пользователями. Эти функции помогают сократить или контролировать объем хранилища в файловой системе и в хранилище резервных копий.

Включение сжатия может снизить производительность файловой системы, если используются рабочие нагрузки с большим объемом данных для записи, поскольку данные сжимаются сразу по мере записи на диск. Но для рабочих нагрузок с большим количеством операций чтения применение сжатия может значительно повысить общую пропускную способность файловой системы, поскольку сокращает объем данных, передаваемых между дисками и сервером хранения данных. Дополнительные сведения см. в документации по производительности Amazon FSx для OpenZFS. 

Amazon FSx – это полностью управляемый сервис, поэтому все управление инфраструктурой хранения файлов осуществляется за вас. При использовании сервиса Amazon FSx можно избежать сложностей процесса развертывания и обслуживания многосоставной инфраструктуры файловой системы. FSx для OpenZFS обладает всеми возможностями ZFS, но избавляет от сложностей, которые часто возникают при управлении файловыми системами ZFS

Для создания, просмотра и удаления файловых систем, томов и резервных копий можно использовать Консоль управления AWS, интерфейс командной строки AWS и API Amazon FSx. Мы также предоставляем встроенную поддержку расширенных возможностей ZFS через консоль и API FSx. Это означает, что вам не обязательно становиться экспертами по ZFS, чтобы воспользоваться такими функциями, как снимки и клонирование ZFS.

С помощью файловых систем Multi-AZ (HA) и Single-AZ (HA) Amazon FSx развертывает пару файловых серверов высокой доступности (HA) с автоматическим механизмом отказоустойчивости и возврата на основной ресурс, что гарантирует высокую доступность данных. В файловых системах Multi-AZ (HA) Amazon FSx развертывает эту пару файловых серверов в двух зонах доступности AWS и автоматически реплицирует в них данные. Это обеспечивает высокую стабильность. Кроме того, развертывается пара файловых серверов высокой доступности (HA) в двух зонах доступности с автоматическим механизмом отказоустойчивости и возврата на основной ресурс, что обеспечивает высокую доступность данных и стабильность работы систем даже в случае сбоя в работе всей зоны доступности. Кроме того, Amazon FSx постоянно отслеживает аппаратные сбои и автоматически заменяет неисправные компоненты инфраструктуры. Файловые системы автоматически переключаются на резервные сервера и обратно по мере необходимости (обычно в течение 60 секунд), и клиенты автоматически подключаются к новому расположению файловой системы.

В файловых системах Single-AZ без высокой доступности Amazon FSx восстанавливает доступность при сбоях за счет непрерывного контроля сбоев аппаратного обеспечения и автоматической замены компонентов инфраструктуры в случае таких сбоев (как правило, в течение 30 минут).

Кроме того, Amazon FSx ежедневно создает высоконадежные резервные копии файловой системы (в хранилище S3) и позволяет в любой момент создавать дополнительные резервные копии.

Ответ. Да. Соглашение об уровне обслуживания Amazon FSx предусматривает компенсацию в случае, если месячный уровень бесперебойной работы в каком-либо учетном периоде окажется ниже согласованного.

Для защиты от случайного удаления или непреднамеренного изменения файлов в ваших томах конечными пользователями или приложениями можно создавать снимки (образы томов по состоянию на определенный момент времени, которые хранятся в файловой системе). Это позволит конечным пользователям и администраторам приложений с легкостью отменять изменения файлов и сравнивать версии. Конечные пользователи и администраторы приложений могут просматривать созданные снимки в каталоге «.zfs/snapshot» в корне тома и извлекать из них отдельные файлы или папки. Для управления снимками FSx для OpenZFS можно использовать Консоль управления AWS, интерфейс командной строки AWS или API Amazon FSx.

FSx для OpenZFS также предоставляет резервное копирование файловой системы для целей архивирования, хранения данных и обеспечения соответствия. Эти резервные копии, хранящейся в Amazon S3, являются вторичным, автономным и высоконадежным механизмом резервного копирования файловой системы. Резервные копии имеют согласованность на определенный момент времени (то есть представляют собой согласованное представление всего набора файловых данных в том состоянии, в котором он находился на момент создания копии), инкрементны (вы платите только за хранение изменений, внесенных с момента предыдущего резервного копирования того же тома), просты в управлении (через Консоль управления AWS, интерфейс командной строки AWS или API Amazon FSx), а также создаются и восстанавливаются очень быстро (время RTO составляет 5-10 минут).

Ежедневное автоматическое резервное копирование включено по умолчанию, и вы можете обновить политику хранения в любое время в консоли Amazon FSx всего несколькими щелчками мыши. FSx для OpenZFS также предоставляет возможность переносить резервные копии файловой системы в другие регионы AWS, чтобы обеспечить выполнение целей по аварийному восстановлению или непрерывности бизнеса между регионами.

При создании файловой системы Multi-AZ (HA) или Single-AZ (HA) Amazon FSx автоматически создает два отдельных файловых сервера. В файловых системах Multi-AZ (HA) один из этих серверов является «предпочтительным» в выбранной вами зоне доступности, а другой – «резервным» в аварийной зоне доступности, но каждый из них имеет свой собственный набор томов хранения. В любой конкретный момент только один из этих файловых серверов активно обрабатывает данные (обычно это делает основной файловый сервер), но оба содержат идентичные копии постоянно хранимых данных. В файловых системах типа Single-AZ (HA) оба сервера находятся в одной зоне доступности. Одновременно активно работает с данными только один из этих файловых серверов, но они оба подключены к одному набору томов хранения, которые самостоятельно реплицируют данные для стабильности хранения информации.

Amazon FSx постоянно отслеживает состояние файловых серверов, чтобы быстро выявлять любые проблемы с ними. Если основной файловый сервер по какой-либо причине станет недоступен (например, из-за изолированного аппаратного сбоя, запланированного технического обслуживания или перерыва в работе всей зоны доступности, что характерно для Multi-AZ), служба автоматически переключится на резервный файловый сервер, чтобы вы могли продолжать работу с файловой системой без потери доступа. Amazon FSx сопоставит сетевой адрес файловой системы с новым активным резервным файловым сервером, чтобы ваши приложения на базе Linux и Windows могли без прерываний продолжать работу с данными из того же сетевого местоположения. Файловая система автоматически вернется на исходный сервер, как только восстановится его работоспособность. Эти механизмы отказоустойчивости возврата на основной ресурс действуют незаметно для пользователей и приложений: файловая система продолжает обслуживать трафик NFS с того же сетевого адреса, то есть все клиенты NFS сохранят доступ к вашим данным без ручного вмешательства.

Amazon FSx автоматически применяет механизм отказоустойчивости для файловой системы Multi-AZ (HA) или Single-AZ (HA) в случае потери доступности активного файлового сервера по любой причине (например, регистрируется аппаратный сбой, потеря соединения или перебои в работе всей зоны доступности, что характерно для Multi-AZ). Amazon FSx также временно переключается на резервный файловый сервер во время планового обслуживания (в пределах окна обслуживания) или при изменении пропускной способности файловой системы.

Да. FSx для OpenZFS автоматически шифрует данные при хранении и передаче. Данные файловой системы и резервные копии всегда шифруются при хранении с использованием ключей, которыми вы управляете через AWS KMS. Вы можете использовать ключи, принадлежащие сервису, или ключи, управляемые клиентом. Amazon FSx автоматически шифрует передаваемые данные при доступе к ним из инстансов Amazon EC2, поддерживающих шифрование при передаче (поддерживаемые клиентские инстансы Amazon EC2).

Вы можете настроить связь файловой системы с Amazon VPC и группами безопасности VPC, и тогда доступ к этой файловой системе смогут получить только инстансы Amazon EC2 в этом VPC (или в другом, для которого настроено пиринговое соединение), соответствующие правилам группы безопасности. Вы самостоятельно через AWS IAM определяете, кто может администрировать (то есть создавать, обновлять и удалять) ваши файловые системы, тома и резервные копии. Кроме того, вы распределяете доступ пользователей и групп к файлам и каталогам на ваших томах, используя разрешения POSIX.

Да. Доступ к файловым системам из другого VPC (включая VPC в другом регионе) можно получить с помощью Транспортного шлюза AWS или пиринга VPC, а также из локальной среды через AWS Direct Connect или VPN.

Вы можете отслеживать и защищать вызовы API с помощью AWS CloudTrail и AWS IAM, а также обнаруживать и отмечать подозрительные шаблоны использования API с помощью Amazon GuardDuty.

Счета за файловые системы рассчитываются исходя из выделенной емкости хранилища (за гигабайт в месяц), выделенной пропускной способности (за МБ/с в месяц) и превышения выделенного количества операций ввода-вывода в секунду для твердотельных накопителей (за операцию ввода-вывода в секунду). Также взимается плата за резервное копирование в зависимости от используемого объема хранилища (за гигабайт в месяц) и за передачу данных (за ГБ) между зонами доступности, регионами AWS и локальной средой. Хотя цены указаны на ежемесячной основе, ваше использование пропорционально распределяется по секундам, и вам выставляется счет за среднее использование в течение месяца.

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии. Подробнее.