Комплексное руководство по технологиям дедупликации

Дедупликация данных может быть аппаратной или программной, в зависимости от стоимости, производительности, гибкости и требований конкретной среды хранения. Каждая из этих технологий имеет свои преимущества. Давайте разберемся в этом подробнее.

Массовое увеличение объемов генерации данных привело к одновременной потребности в емкости хранения. Цифры подтверждают это: Statista прогнозирует, что рынок облачных хранилищ вырастет до 472 миллиардов долларов к 2030 году, то есть среднегодовой темп роста 23%. 

Это не означает, что центры обработки данных исчезнут. Statista также прогнозирует, что к 2028 году глобальный сегмент рынка центров обработки данных вырастет до $14,6 млрд , среднегодовой темп роста 30%. 

Эти постоянно растущие затраты являются аргументом в пользу решений дедупликации данных, которые сокращают требования к хранению.

Что такое дедупликация данных?

Хотя большинство из нас понимают сжатие данных, более глубокий взгляд на роль дедупликации в сокращении объема данных показывает ее важность в контроле растущих затрат на хранение. Начнем с определения от TechTarget: Дедупликация данных — это процесс, который устраняет избыточные копии данных и снижает накладные расходы на хранилище.

Методы дедупликации данных гарантируют, что на носителе (например, на диске, флэш-памяти, ленте и в облаке) сохраняется только один уникальный экземпляр данных.

Дедупликация данных может быть аппаратной или программной, в зависимости от стоимости, производительности, гибкости и требований конкретной среды хранения. Вот некоторые различия и преимущества каждого подхода:

Аппаратная дедупликация

Аппаратная дедупликация выполняется на специализированном устройстве хранения данных или другом устройстве, предназначенном специально для дедупликации данных. Этот тип устройства работает на уровне хранения и обычно работает лучше, чем программная дедупликация, поскольку оно специально оптимизировано для задач дедупликации. 

Arcserve OneXafe — один из примеров, обеспечивающий глубокое сокращение данных и предлагающий индивидуальное сокращение данных в зависимости от типа приложения. 

Аппаратная дедупликация имеет некоторые недостатки, в том числе ограничения масштабируемости (особенно по сравнению с облаком) и ограниченную гибкость с точки зрения интеграции с существующими системами. Arcserve OneXafe обеспечивает масштабируемость, используя подход горизонтального масштабирования, который упрощает добавление дисков и кластеров по мере роста потребностей в хранилище.

Программная дедупликация на основе программного обеспечения

Программное обеспечение дедупликации данных, которое обычно выполняется приложением, работающим на сервере, может быть частью решения резервного копирования (например, программного обеспечения Arcserve Unified Data Protection (UDP)) или файловой системы. Хотя некоторые программные решения дедупликации могут снизить производительность, Arcserve UDP использует глобальную дедупликацию на стороне источника, которая устраняет узкие места в производительности, позволяя выполнять резервное копирование либо на локальный компьютер (например, Arcserve OneXafe), либо на центральный сервер точки восстановления (RPS). . 

Программный подход может стоить дешевле, чем аппаратный, поскольку он может работать в существующей инфраструктуре. Это также дает вам большую гибкость и масштабируемость при добавлении дополнительных ресурсов и масштабировании. Программный подход, такой как Arcserve UDP, проще интегрировать с вашими системами хранения и средами.

Как работает дедупликация

Дедупликация связана с тремя основными областями:

Процесс дедупликации

Как аппаратная, так и программная дедупликация используют схожие процессы. Данные поступают в устройство дедупликации при использовании аппаратных подходов в рамках процесса резервного копирования или оптимизации хранилища в реальном времени. Напротив, программная дедупликация использует другие устройства хранения или облако. 

Оба анализируют входящие данные для выявления повторяющихся сегментов. В зависимости от конструкции программного обеспечения это также можно сделать на уровне файла, блока или байта в виде фрагментов фиксированного или переменного размера. Механизм дедупликации анализирует входящие данные для выявления повторяющихся сегментов данных. 

Фрагментирование данных

Затем данные делятся на более мелкие сегменты или порции, причем размер порций варьируется в зависимости от используемого метода дедупликации. OneXafe предлагает сегменты как переменной, так и фиксированной длины для дедупликации. 

Дедупликация фиксированной длины использует одинаковую длину сегмента и обеспечивает хорошие коэффициенты сокращения данных для информации, которая имеет постоянный размер. Дедупликация переменной длины использует скользящее окно для определения оптимальных границ дедупликации. 

Отпечатки данных

Каждый сегмент данных хешируется с использованием криптографической хэш-функции, такой как SHA-256, для создания уникального идентификатора (считайте его отпечатком пальца) для этого сегмента. Эта хэш-функция гарантирует, что даже незначительные изменения в данных приведут к совершенно другому значению хеш-функции. Отпечатки сравниваются с индексом ранее сохраненных сегментов данных, и если совпадение обнаружено, это указывает на то, что сегмент является дубликатом.

На диске хранятся только уникальные сегменты данных, для которых не найдено совпадений в индексе. Вместо этого для каждого повторяющегося сегмента система записывает указатель на ранее сохраненный сегмент. Когда данные необходимо извлечь, система дедупликации использует свой индекс для сборки исходных данных из сохраненных уникальных сегментов и указателей. 

Технологические возможности дедупликации

Аппаратная дедупликация может быть реализована как в процессе обработки, так и после обработки. Встроенная дедупликация анализирует и дедуплицирует данные в режиме реального времени по мере их записи в систему хранения. Дедупликация после обработки сохраняет данные и выполняет их дедупликацию в течение заданного периода времени. 

Дедупликация фиксированной и переменной длины Arcserve OneXafe в сочетании с встроенным сжатием устройства обеспечивает максимальное сокращение объема данных, экономию места для хранения до 90 процентов и коэффициент дедупликации до 10:1.

Экономичные решения для хранения данных

Уменьшение занимаемого пространства хранения за счет сжатия и дедупликации — это первый шаг к сокращению затрат на хранение. Вы можете использовать и другие стратегии, которые помогут вам поддерживать расходы на соответствующем уровне по мере роста потребностей в хранилище.