Amazon S3 и хранилище BLOB-объектов Azure: сравнение

Azur BLOB и Amazon S3 популярные сервисы от ведущих поставщиков облачных услуг. Но одинаковы ли они. Давайте сравним и найдем сильные и слабые стороны каждого из них

Зачем использовать хранилище BLOB-объектов или AWS S3

Любой, кто никогда не слышал о Blob Storage, вероятно, погуглит, чтобы точно узнать, что это такое.

Blob Storage — это решение для хранения объектов в облаке. Это оптимальное решение для хранения огромных объемов неструктурированных данных. Неструктурированные данные — это данные, которые не соответствуют определенной модели данных или предопределенным определениям, например текстовые или двоичные данные.

После сохранения в Blob данные доступны по всему миру. Более того, он еще более мощный, поскольку вы можете манипулировать большими двоичными объектами с помощью кода.

Программа резервного копирования Vembu BDRSuite обеспечивает поддержку использования данных Blob (Azure) или S3 (AWS). Но почему вам следует использовать этот тип хранилища?

Хранилище BLOB-объектов особенно подходит для различных типов данных, которые вы хотите безопасно хранить, но не нуждаетесь в постоянном редактировании и чтении.

Поэтому он идеально подходит для хранения документов, архивных копий данных и резервных копий данных.

Файлы можно легко загрузить в облако и прочитать снова аналогичным образом.

Никакого специального инструмента не требуется.

Вы ошибаетесь, если думаете, что вам придется пойти на уступки в вопросах безопасности и доступности.

Microsoft (Azure Blob) и Amazon (S3) предлагают обширный набор функций.

Шесть ключевых преимуществ использования хранилища BLOB-объектов Amazon S3/Azure:

• Прекрасно подходит для резервного копирования данных
• Высокая безопасность хранения данных
• Доступность
• Очень низкая стоимость
• Простая миграция данных
• Простое управление

Но когда вы выберете Azure Blob, а когда — AWS S3? Чтобы немного предвосхитить вывод… оставайтесь со своим текущим поставщиком облачных услуг (если вы уже используете его) или выберите Azure или AWS, если вам требуется конкретная функция или другая функция, которая, по вашему мнению, важна. Эта статья поможет вам принять решение.

И Azure Blob, и AWS S3 имеют по существу одинаковый набор функций. Однако в этой статье я объясню чем они отличаются.

В Amazon S3 данные хранятся в виде объектов в корзинах S3. Объектом можно считать любую фундаментальную сущность, состоящую как из данных объекта, так и из метаданных.

Azure Blob — это решение для хранения объектов, предлагаемое Microsoft. Он позволяет пользователям хранить огромные объемы неструктурированных данных (текстовые или двоичные данные любого типа, такие как документы, медиафайлы, установщики приложений и т. д.) на облачной платформе Microsoft Azure.

Производительность AWS S3 и Azur BLOB

Azure опубликовала некоторые целевые показатели производительности для хранилища BLOB-объектов Azure:

• Для одного BLOB-объекта — до 60 МБ в секунду или до 500 запросов в секунду.
• Общая скорость запросов на одну учетную запись хранения: до 20 000 операций ввода-вывода в секунду при размере блока 1 КБ.
• LRS: входящая скорость 20 Гбит/с, исходящая скорость 30 Гбит/с на аккаунт.
• GRS: входящая скорость 10 Гбит/с, исходящая скорость 20 Гбит/с на аккаунт.

Amazon не опубликовал (или очень мало) раскрывал целевые показатели производительности для AWS S3.

Однако производительности для своих целей (архив, резервное копирование данных и т.д.) более чем достаточно! Я не слышал от людей, страдающих от проблем с производительностью при использовании хранилища S3 (или Blob).

Существуют также специализированные инструменты других поставщиков для мониторинга производительности S3 и Blob. Существуют также рекомендации и лучшие практики, доступные как для AWS, так и для Microsoft.

И AWS S3, и Azure Blob обеспечивают более чем достаточную производительность, хотя Microsoft несколько более открыто говорит об этом.

Масштабируемость AWS S3 и Azur BLOB

Azure имеет ограничение в 100 учетных записей хранения на подписку. Каждая учетная запись хранения имеет ограничение в 500 ТБ. Каждый контейнер Blob имеет ограничение в 500 ТБ. Максимум 195 ГБ на блок Blob, максимум 50 000 блоков на блок Blob. Каждый блок имеет максимум 4 МБ. (Примечание: лимит в 100 учетных записей хранения может быть увеличен по запросу)

S3 имеет максимум 100 сегментов на учетную запись, 5 ТБ на объект и 5 ГБ на операцию PUT.

И AWS S3, и Azure Blob предоставляют все необходимые возможности для масштабирования при необходимости (например, при увеличении объема данных хранилища).

Безопасность и соответствие требованиям AWS S3 и Azur BLOB

Вы можете добавить уровни безопасности к хранимым данным и ограничить несанкционированный доступ с помощью функций шифрования и инструментов доступа, таких как AWS Identity and Access Management или Azure Active Directory.

Если вы уже используете (Azure) Active Directory в своей среде, это может быть преимуществом.

И Azure Blob, и AWS S3 соответствуют всем стандартным требованиям соответствия, таким как PCI DSS, HITRUST, HIPAA, ISO 27001/27017/27018, CCPA/GDPR и FedRAMP.

Управление AWS S3 и Azur BLOB

И Azure, и AWS S3 можно управлять несколькими способами:

• GUI (графический интерфейс пользователя)
• Использование консоли управления или веб-приложений.
• CLI (интерфейс командной строки)
• Использование интерфейса командной строки
• API (интерфейс прикладной программы)
• Интеграция с приложениями

И AWS S3, и Blob предоставляют одинаковые возможности. Некоторые говорят, что Azure Blob проще настроить, но это может быть индивидуально.

Цены AWS S3 и Azur BLOB

Стоимость хранилища Blob/S3 зависит от ряда аспектов:

• Цены на хранилище
• Объем данных, хранящихся в месяц
• Количество и вид выполненных операций
• Стоимость передачи данных
• Варианты резервирования данных
• Стоимость дальнейшей обработки данных

У Azure есть небольшое преимущество. 0,018 доллара США за ГБ в месяц для данных, хранящихся в одной зоне при использовании иерархического пространства имен (протокол NFS v3.0) или 0,0,184 доллара США за ГБ в месяц для данных, хранящихся в одной зоне при использовании плоского пространства имен. Цены на несколько зон начинаются от 0,0,23 доллара США для обоих типов файловой структуры (иерархической и плоской). Доступны цены на зарезервированную мощность. Уровень «Премиум» доступен для рабочих нагрузок с интенсивным вводом-выводом. Плата за Azure Blob взимается поминутно, а за AWS S3 взимается почасовая оплата.

AWS S3 стоит 0,023 доллара США за ГБ в месяц для данных, хранящихся в сегментах. Стоимость снижается за ГБ по мере увеличения использования. По стоимости хранения данных AWS S3 немного дороже, чем Azure Cool Blob Storage LRS, но AWS S3-IA почти на 50 % дешевле, чем Azure Cool Blob Storage GRS и RA-GRS. Поэтому я советую вам проверить все ваши требования, прежде чем смотреть на цену. Вы можете легко проверить цены в вашей ситуации: как в Azure, так и в AWS есть калькулятор стоимости , проверьте их!

• Azure: https://azure.microsoft.com/en-us/pricing/calculator/
• AWS: https://calculator.aws/#/?nc2=h_ql_pr_calc

Что следует иметь в виду

• Данные, хранящиеся на уровне Azure GRS, которые реплицируются в другие регионы, доступны вам только в состоянии отработки отказа.
• Геоизбыточное хранилище Azure (GRS) реплицирует ваши данные только в ОДНОЙ зоне двух разных регионов. Напротив, избыточное хранилище геозон Azure (GZRS) реплицируется в трех зонах в основном регионе и в одной зоне в дополнительном регионе.
• Для архива хранилища BLOB-объектов Azure требуется минимальный период в 180 дней.
• Поскольку для резервного копирования данных используются низкочастотные уровни хранения, для программного обеспечения резервного копирования важно минимизировать количество транзакций и объем хранимых данных за счет дедупликации данных перед их передачей в хранилище с более низкочастотным доступом.
• На Amazon S3 вы также можете реплицировать свои данные между регионами, но эту функцию необходимо включить, и она может удвоить ваши необработанные затраты на хранение. – Помимо уровней, Azure имеет более разнообразные типы и версии хранилищ по сравнению с AWS.

Заключение

Если вы в настоящее время встроены в экосистему Azure или AWS по другим причинам, у вас очень мало причин переключаться на другого поставщика облачных услуг. Это добавляет ненужную сложность, и оба обеспечивают более или менее одинаковую функциональность.

AWS S3 Infrequent Access и Azure Cool Blob Storage — это уровни объектного хранилища, подходящие для резервного копирования и аналогичных целей. Предпочтительно, если вы храните большой объем данных и обращаетесь к ним нечасто, но не можете долго ждать, чтобы получить к ним доступ, когда это необходимо. Кроме того, они оба снижают (и без того низкие) затраты за счет использования программного обеспечения для резервного копирования Vembu BDRSuite.

AWS позволяет установить уровень частоты доступа для каждого объекта, тогда как Azure требует, чтобы все объекты в учетной записи хранения находились на одном уровне. Поэтому, если вы используете хранилище BLOB-объектов Azure в качестве целевого объекта резервного копирования BDRSuite, было бы разумно создать выделенную учетную запись хранения Cool Blob для данных резервной копии и никогда не использовать ее в качестве основного хранилища.

AWS S3-IA и Azure Blob предлагают аналогичные соглашения об уровне обслуживания доступности, при этом запросы на чтение Azure RA-GRS имеют дополнительное преимущество в 0,9 %. Производительность и масштабируемость AWS S3-IA и Azure соответствуют соответствующим уровням более частого доступа, что является хорошей новостью для коротких окон резервного копирования и быстрого восстановления, когда вам это нужно больше всего. Обратите внимание, что BDRSuite устраняет дубликаты данных резервных копий перед их передачей, что еще больше сокращает окно резервного копирования и время восстановления.

И AWS S3, и хранилище BLOB-объектов Azure предлагают шифрование и управление ключами для данных перед отправкой и в процессе передачи, при этом Azure немного отстает в том, что не предлагает шифрование после проверки. BDRSuite также шифрует резервные данные перед их передачей в объектное хранилище (предварительная проверка), но BDRSuite идет дальше, дедуплицируя данные перед их шифрованием, чтобы минимизировать затраты на передачу и хранение.

Можно снизить уровень частоты доступа к объекту AWS S3 (плата за запрос должна существовать в течение 30 дней на текущем уровне) или учетной записи Azure Hot Blob Storage (бесплатно). AWS предлагает инструмент автоматического управления жизненным циклом. Для многих клиентов резервного копирования локальных серверов/конечных точек BDRSuite было бы лучше выполнять резервное копирование непосредственно на уровень с более низким уровнем доступа; тогда как для сценариев резервного копирования облачных серверов BDRSuite может быть лучше создать моментальный снимок с более высокой частотой доступа для целей репликации, а затем перенести его на уровень с более низким уровнем доступа.

Обеспечивает ли AWS S3-IA или Azure Blob более выгодную цену, следует определять в каждом конкретном случае. Но несомненно, что оба еще больше снижают стоимость использования своего объектного хранилища для резервного копирования. Пользователям BDRSuite следует подумать, какой общедоступный облачный сервис предлагает подходящие возможности и стоимость для использования в качестве цели резервного копирования и долгосрочного хранения. Настоятельно рассмотрите возможность использования хранилища BLOB-объектов Azure вместо Amazon S3, если

• Вы используете форматы файлов MBCS или нуждаетесь в более надежном объектном хранилище Azure, которое обещает надежность на уровне 16 девяток на уровне геоизбыточного хранилища (GRS).
  Вы хотите использовать типы хранения, которые автоматически реплицируют ваши данные между регионами.
• Обе платформы работают исключительно хорошо по сравнению со специализированными поставщиками хранилищ в «событиях» (например, запуск AWS Lambda или функций Azure вне событий хранилища).

И AWS, и Azure предоставляют фантастический API для разработчиков, включая использование утилит командной строки и библиотек, а также не забывайте об интерфейсе портала. Эти услуги тесно интегрированы в остальную часть их облачного портфеля и представляют собой экономически эффективное решение для хранения больших объемов данных по сравнению с другими решениями для хранения данных.

Не сосредотачивайтесь только на ценах. Масштабируемость, безопасность и производительность — это другие ключевые аспекты, о которых следует помнить. (Это также основные компоненты, которые оказывают значительное влияние на цену).