что такое аппаратный рейд
Всё, что вы хотели узнать о RAID-контроллерах, но лень было искать
Дисковый массив с нотками ретро.
На плечах RAID-контроллеров лежит ответственная задача — управление дисковой подсистемой, то есть всей информацией, хранимой на сервере. Именно они отвечают за работу дисковых массивов, позволяя повысить производительность сервера или надёжность хранения данных. Поэтому давайте поговорим о RAID-контроллерах, установленных в серверы вендоров «большой тройки», об их возможностях и особенностях.
Что такое RAID-контроллер?
Чаще всего задачи, выполняемые серверами, требуют высокой скорости чтения/записи данных и/или необходимость сохранить данные при выходе из строя самих накопителей. Поэтому установка в сервер единственного диска редко имеет смысл. Этот вариант можно рассматривать, если нагрузка будет совсем небольшой, а сохранность данных не волнует вовсе. Да и объёмы информации, которыми оперируют серверы, часто требуют куда больше пространства для хранения, чем может дать один диск. А чем больше накопителей, тем выше вероятность выхода из строя, особенно при высокой нагрузке.
Проблемы производительности и отказоустойчивости дисковой подсистемы решаются с помощью создания массивов: логических структур, в которые с помощью RAID-контроллера объединяется несколько накопителей — жёстких дисков и SSD. При этом массив выглядит для системы единым пространством для хранения данных.
Существует много видов массивов, отличающихся производительностью, надёжностью хранения данных и минимально необходимым количеством дисков. Выбор конкретного вида зависит от ваших задач и потребностей, а также от возможностей самого RAID-контроллера.
RAID-контроллеры делятся на:
Если на борту RAID-контроллера есть кэш-память, то она может использоваться для промежуточного хранения записываемых или считываемых данных. Это позволяет эффективнее управлять операциями ввода/вывода.
Чтобы при сбое питания не потерять данные, находящиеся в кэше, используется два разных подхода:
Некоторые RAID-контроллеры позволяют увеличить объём кэш-памяти и установить батарейку, если они её не имеют. Чем больше размер кэша контроллера, тем выше производительность RAID-массивов.
RAID-контроллеры в серверах «большой тройки»
Чтобы не превращать статью в археологическое исследование, ограничимся только теми контроллерами, что используются в поколениях серверов начиная с 2009-2010:
HP: Gen7, Gen8, Gen9
Dell: Gen11, Gen12, Gen13
IBM: M3, M4, M5
Дальше идут громоздкие и скучные таблицы.
Большинство RAID-контроллеров HP и Dell изначально поддерживают все основные виды массивов. У IBM таких моделей — по пальцам пересчитать, почти в каждом случае придётся устанавливать на контроллер 1-2 дополнительных модуля апгрейда, что не слишком удобно.
Другая интересная особенность RAID-контроллеров IBM — большинство из них применяются в серверах нескольких поколений. У HP и Dell другая склонность — с выпуском нового поколения серверов они обычно выпускают и новое поколение контроллеров.
Как выбрать подходящий контроллер?
Если вы решили апгрейдить сервер и озаботились выбором RAID-контроллера, то в первую очередь исходите из ваших потребностей.
Вам нужна хорошая производительность, но не волнует сохранность данных? Или хочется с небольшими усилиями повысить отказоустойчивость, поступившись скоростью? Понадобился простенький веб-сервер для нужд разработки? Достаточно выбрать недорогой контроллер и создать RAID 0 или 1. Можно даже без кэш-памяти.
При желании сэкономить на накопителях или выжать всю возможную ёмкость из имеющихся, рассмотрите вариант с RAID 5 или 50. Это вполне годное решение для создания архивов. Для таких задач достаточно взять контроллер с поддержкой нужного вида RAID и кэш-памятью среднего объёма.
При создании высокоскоростных и надёжных массивов под базы данных, или больших хранилищ под файловые серверы, нужны производительные контроллеры с большим объёмом кэш-памяти и высокой пропускной способностью. Это тот случай, когда экономия на одном устройстве может свести на нет все ваши усилия.
Что такое RAID-массив и зачем он нужен
Содержание
Содержание
В системах хранения данных критически важны сохранность и время восстановления в случае сбоя. Свою ценность, а в некоторых задачах и более высокую, имеет скорость работы накопителей. Использование RAID-массивов в различных конфигурациях — это поиск компромисса между перечисленными параметрами.
RAID — это технология объединения двух и более накопителей в единый логический элемент с целью повышения производительности и (или) отказоустойчивости отдельно взятого элемента массива.
RAID-массивы классифицируются по следующим параметрам:
RAID-контроллеры: аппаратные и не очень
По исполнению контроллеры делятся на программные и аппаратные. Программные реализуются непосредственно средствами операционной системы или на уровне материнской платы. Последние также известны как интегрированные, а также Fake-RAID. Они работают быстрее чисто софтверных решений за счет специального чипа для управления массивом. Недавно публиковался текст о развертывании таких технологий. Дополнительной железки при этом никакой нет и в любом случае будут использоваться ресурсы вычислительной машины.
Аппаратные RAID-контроллеры выполняются в форм-факторе платы PCIe либо в составе внешнего автономного устройства — дискового массива.
Они имеют на борту собственные процессор, память, BIOS и специальный интерфейс для конфигурации. Платы PCIe также комплектуются дополнительными модулями, сохраняющими данные, если произойдет сбой в электропитании: BBU с Li-Ion аккумулятором и ZMCP на базе суперконденсатора.
Оба модуля позволяют сделать сэйв содержимого кэша. После восстановления работы эти данные будут немедленно записаны на диск. Дисковый массив, будучи автономным, располагает собственными блоком питания и системой охлаждения.
Накопители подключаются к плате либо кабелями напрямую, либо через платы расширения. Автономные дисковые массивы содержат все накопители внутри себя, а наружу смотрит все тот же интерфейс PCIe (есть и другие варианты, например, USB 3.2 и Thunderbolt 3). Кстати, известный вид дисковых массивов — сетевое хранилище данных (NAS).
Что можно подключать к RAID-контроллеру
Следующий важный параметр, по которому различаются RAID-массивы, это поддержка интерфейсов накопителей. Не будем тревожить склеп с IDE-дисками, а констатируем, что по большому счету применяются три типа: SATA, SAS и NVMe. SAS — удел серверов, а вот остальные применяются повсеместно.
Есть программные и аппаратные RAID-контроллеры, которые умеют управлять массивом дисков с одним из интерфейсов. В формате PCIe есть и такие платы, которые реализуют режим Tri-Mode, позволяющий работать со смешанным составом накопителей.
Уровни RAID
Разобравшись с основными конструктивными особенностями RAID-контроллеров, перейдем к главной характеристике — поддержке уровней RAID. В подавляющим большинстве контроллеры работают с уровнями 0, 1, 1E, 10, 5, 5EE, 50, 6, 60. Другие занесены в красную книгу и на практике встречаются редко. Простейшие программные контроллеры позволяют создать RAID 0 и 1. Более продвинутые добавляют RAID 10 и 5. В аппаратных, как правило, такой перечень минимален, и многие платы поддерживают весь спектр уровней. Рассмотрим подробнее каждый из них.
Несколько важных нюансов для понимания эффективных объема и быстродействия, получаемых в результате объединения в массив:
RAID 0
Единственный массив, который не совсем оправдывает название, поскольку не обладает избыточностью. При этом скорость и эффективный объем максимальны. Данные разбиваются на одинаковые блоки, равномерно записываемые на все диски по очереди. Эти блоки называются страйпами, отсюда и сам RAID 0 часто именуют страйпом. Считывание данных также происходит параллельно. Здесь конечно же есть свое но.
Дело в том, что прирост производительности не прямо пропорционален количеству дисков (как хотелось бы). В силу специфики накопителей, особенно механических, выигрыш в конфигурации RAID 0 хорошо заметен только на операциях последовательного чтения. Другими словами, при работе с большими файлами. Типичная область применения — игры, видеомонтаж и рендеринг. При условии, что регулярно производится резервирование на сторонние накопители. Наряду с этим при случайном доступе к файлам разница с отдельно взятым диском уже не так ощутима. Более позитивная картина наблюдается в случае твердотельных накопителей, но они и так удовлетворяют большинству запросов по быстродействию.
В общем, в современных реалиях RAID 0 далеко не всегда оправдает свое применение, а основная задача RAID-массива все же в повышении надежности хранения данных.
Обратная сторона медали за скорость как раз в отсутствии избыточности, что означает нулевую отказоустойчивость. В случае сбоя хотя бы одного из элементов массива, восстановление всего содержимого практически невозможно.
RAID 1
RAID 1, известный как «зеркало», представляет собой другую крайность. Он максимально избыточен — в нем производится 100 % дублирование данных. Этот процесс «съедает» ровно половину объема массива. Число дисков в нем, соответственно, четное. Позволяет увеличить скорость чтения, но синхронная скорость записи в некоторых случаях падает. При отказе одного из дисков работа автоматически продолжается с дублером. Если доступна функция горячей замены дисков, то восстановление штатного режима происходит без остановки. RAID 1 идеален для чувствительных данных.
RAID 5
Состоит минимум из трех накопителей, при этом доступный объем уменьшается на один. Данные записываются в страйпы на все диски кроме одного, на котором размещается контрольная сумма этой части данных. Запись этого блока также чередуется между всеми накопителями, распределяя равномерную нагрузку. Если их больше четырех, то скорость чтения будет выше чем в RAID 1, но запись будет осуществляться медленнее. Контрольные суммы позволяют достать информацию в случае выхода из строя одного из элементов. Сама операция восстановления вызывает повышенную нагрузку на оставшиеся диски. Значительно падает производительность и риск утери всех данных в случае отказа еще одного диска. Желательно иметь опцию горячей замены для оперативного возвращения в нормальный режим работы.
Со всеми плюсами и минусами эти три уровня наиболее распространены и просты в развертывании.
RAID 6
Развитие RAID 5 по части надежности, позволяющее пережить потерю двух дисков. В данной конфигурации в каждом проходе пишется две независимые контрольные суммы на два накопителя. Требуется минимум четыре диска, из которых два уйдет на описанный алгоритм повышения отказоустойчивости. При этом скорость записи будет еще ниже, чем у RAID 5.
Следующие уровни — производные и комбинации перечисленных.
RAID 10
Неплохо было бы объединить достоинства RAID 0 (производительность) и RAID 1 (отказоустойчивость)? Встречайте RAID 10: страйп и зеркало, два в одном. Но и недостатки не забудьте — по-прежнему половина объема уходит на резерв. А что делать, за надежность приходится платить. В этом плане менее экономичен, чем RAID 5 И RAID 6, но более прост в восстановлении после сбоя.
RAID 50
По похожей схеме получаем RAID 50. Здесь уже страйпы не зеркалируются, а распределяются по двум и более массивам RAID 5. Требуется от шести дисков, скорость чтения значительно увеличивается. Кроме того, нивелируется и слабое место RAID 5 и RAID 6 — низкая скорость записи. Отрицательная сторона опять лежит в плоскости экономики. Из эффективного объема выпадают два диска, как и RAID 6, при этом массив выдержит потерю только одного.
RAID 60
Данный гибрид RAID 0 и RAID 6 призван решить проблему производительности последнего. Отказоустойчивость остается на том же уровне, как и часть объема накопителей, отводимая на реализацию алгоритмов контроля целостности данных. Дисков для такого удовольствия понадобится как минимум восемь.
RAID 1E
Еще одна вариация совмещения алгоритмов зеркалирования и чередования данных. Записанные на одной итерации страйпы повторно записываются на следующей, но в обратном порядке. Таким образом в RAID 1E можно использовать три диска. Массив останется тем же зеркалом с эффективным объемом, равным половине от исходного.
RAID 5EE
Один из вариантов использования RAID 5 с резервным диском. Отличается тем, что этот диск не простаивает до выхода из строя одного из элементов массива, а используется наряду с другими. На каждой итерации помимо страйпов данными и контрольной суммой записывается резервный блок. Сделано это для ускорения процесса сборки массива в случае нештатной ситуации. Платой за такую опцию становится второй диск, исключаемый из эффективного объема RAID 5EE.
В таблице ниже приведены сравнительные характеристики рассмотренных уровней RAID.
Не забудем и про массив с незатейливым названием JBOD (дословно переводится как «просто связка дисков»). Строго говоря, он не является RAID-массивом. Это объединенные в один несколько дисков без дополнительной функциональности. Позволяет развернуть логический диск с объемом, который недоступен в рамках одного накопителя. Такой диск полезен для перемещения файлов больших размеров в несколько терабайт.
Вместо заключения напомним самое главное правило для всех, кто хранит данные в RAID-массиве: RAID-массив ≠ бэкап! Регулярно делайте резервные копии данных на независимые носители и да пребудет с вами сила.
Введение в RAID: основные термины и подходы
Устройства хранения данных позволяют защитить любые важные данные сервера и сохранить их для последующего извлечения. Если у вас нет высоких требований к избыточности или производительности, вам вполне подойдёт один диск. В противном случае можно использовать RAID.
Данное руководство ознакомит вас с общими понятиями RAID, преимуществами подобных массивов и различиями в технологиях их реализации.
Что такое RAID?
RAID расшифровывается как Redundant Arrays of Independent Disks (избыточный массив дисковых накопителей). Это технология виртуализации данных, которая объединяет несколько дисков в логический блок. Существует несколько шаблонов виртуализации, благодаря чему администраторы могут повысить производительность ил избыточность данных. RAID внедряется как промежуточный слой между неформатированными устройствами или разделами и файловой системой.
Когда используется RAID?
Обычно RAID используется для повышения производительности и избыточности.
Избыточность данных – это технология, позволяющая повысить доступность данных путём их накопления и дублирования. В случае сбоя одного из устройств копию данных можно будет извлечь с другого устройства.
Примечание: Избыточность и резервное копирование – не одно и то же. RAID-массивам бекап так же необходим, как и любому другому типу устройств.
В отдельных случаях RAID используется для оптимизации производительности. Потоки ввода и вывода на некоторых устройствах ограничены. В RAID-массивах данные либо избыточны, либо распределены, а это означает, что операции чтения можно выполнять на нескольких дисках, а это увеличивает общую пропускную способность. Операции записи также можно оптимизировать: RAID позволяет делить данные и записывать на отдельный диск лишь часть общего объема данных.
Недостатками RAID являются:
Аппаратный и программный RAID
RAID можно реализовать с помощью разных технологий.
Аппаратный RAID
Специальное аппаратное обеспечение RAID – это RAID-контроллеры или RAID-карты, с помощью которых можно создавать и управлять массивами RAID независимо от операционной системы. Контроллеры RAID имеют специальный процессор для управления устройствами RAID.
Конечно, аппаратный RAID имеет и значительные недостатки.
Программный RAID
Также RAID можно настроить с помощью операционной системы. Поскольку отношения между дисками определяются операционной системой, а не встроенным программным обеспечением аппаратного устройства, такой RAID называется программным.
Преимущества программного RAID:
Недостатки программного RAID:
Полуаппаратный RAID (Fake RAID)
Третий тип RAID-массивов называется полуаппаратным (также он известен как Fake RAID). Его особенность заключается в разделении обработки данных: управление RAID-массивом выполняет контроллер (как правило, для этого достаточно недорогого контроллера), а обработку данных берёт на себя операционная система.
Преимущества полуаппаратного RAID:
Недостатки полуаппаратного RAID:
Большинство системных администраторов стараются избегать полуаппартного RAID, поскольку он имеет недостатки первых двух типов RAID.
Терминология RAID
Ниже приведены общие термины RAID, которые нужно знать.
Уровни RAID
Характеристики RAID-массива определяются его уровнем. Рассмотрим самые распространённые уровни.
RAID 0
RAID 0 объединяет два и больше устройств путём чередования данных. Преимуществом является повышенная производительность (благодаря распределению данных операции чтения и записи могут потреблять всю мощность каждого устройства). Теоретически RAID 0 предлагает производительность отдельного диска, умноженную на количество дисков (в реальности производительность будет немного меньше). Еще одно преимущество: полезная емкость массива – это суммарная пропускная способность всех составляющих дисков.
Недостатки такого массива:
RAID 1
RAID 1 – это зеркальный массив, состоящий из двух или больше дисков. Данные, записанные в такой массив, помещаются на каждом устройстве группы. Таким образом, каждое устройство имеет полный набор данных, обеспечивая избыточность в случае отказа одного из дисков. В массиве RAID 1 данные будут доступны до тех пор, пока в массиве функционирует хотя бы одно устройство. Массив можно восстановить путем замены неисправных дисков. Чтобы добавить данные на новые диски, достаточно скопировать их со старых дисков.
RAID 5
RAID 5 объединяет функции предыдущих двух уровней. RAID 5 – дисковый массив с чередованием и отказоустойчивостью. RAID 5 вычисляет код четности для всех данных, хранящихся в массиве, чтобы использовать его для восстановления данных при сбоях. Диск получает блок четности вместо блока данных.
Преимущества RAID 5:
RAID 6
RAID 6 – аналог массива RAID 5, дисковый массив с чередованием и двумя дисками контроля чётности. Такой массив может выдержать сбой двух дисков. Это является существенным преимуществом в связи с увеличением вероятности дополнительного сбоя диска во время интенсивного восстановления после сбоя. Как и другие уровни RAID с чередованием данных, скорость операций чтения, как правило, достаточно высока. Кроме того, RAID 6 имеет все преимущества массива RAID 5.
Вложенный RAID 1+0
Традиционно массив RAID 10 считается вложенным массивом; по сути, это массив RAID 0, состоящий из двух и больше массивов RAID 1. Сегодня RAID 10 также называют RAID 1+0. В целом такая архитектура требует минимум 4 диска: RAID 0 чередуется по двум массивам RAID1, в каждом из которых минимум два устройства.
Массивы RAID 1+0 обладают высокой производительностью RAID 0 и зеркалированием RAID 1, что обеспечивает избыточность данных. Этот тип конфигурации может обрабатывать сбои дисков в любом из зеркальных массивов RAID 1, пока хотя бы один диск остаётся доступным.
RAID 10 в mdadm
Массивы Linux (mdadm) предлагают собственную версию RAID 10, который имеет преимущества RAID 1+0, но при этом обладает гибкостью и некоторыми дополнительными функциями.
Как и RAID 1+0, RAID 10 в mdadm поддерживает множество копий и чередование данных. Однако такие устройства упорядочены не по принципу зеркальных пар: в данном случае администратор сам принимает решение о количестве копий, которые будут записаны в массив. Данные фрагментированы и записываются в массив в нескольких экземплярах, при этом каждая копия фрагмента записывается на различные физические устройства. В конечном результате существует то же самое количество копий, но массив не ограничен вложенностью.
Такой массив имеет ряд преимуществ.
Как создать RAID-массив
Содержание
Содержание
У любого пользователя ПК рано или поздно появляется целая коллекция накопителей, или особые требования, которые одним диском не решить. Например, увеличение скорости, надежности системы хранения, или просто удобства использования. И с этим может справиться RAID-массив. Так как нельзя объять необъятное, рассмотрим только те случаи, с которыми может столкнуться обычный пользователь Windows 10. Конечно же, в первую очередь, понадобится оборудование.
Что может понадобиться
Материнская плата. Преимущество в том, что она у вас уже есть, а вот недостатков хватает:
Если хотя бы один пункт вас не устраивает — вам, скорее всего, понадобится внешний контроллер, например:
Накопители. Желательно наличие поддержки RAID-контроллеров. Разница, по сравнению с обычными, заключается в поведении при нештатной ситуации. В случае возникновения ошибки обычный накопитель, в попытках решить проблему самостоятельно, может не успеть отчитаться перед контроллером, что закончится разрушением массива. Также стоит обратить внимание на наличие других оптимизаций для работы в RAID. Например, повышенную устойчивость к вибрации. Чем больше нагрузка и дисков тем больше эффект от таких оптимизаций.
Корзина не менее важна. Чем больше дисков и чем больше нагрузка на них, тем важнее виброизоляция.
Так выглядит достаточно хорошая корзина в потребительском корпусе — обратите внимание на голубые вставки виброгасящего материала:
Конечно, это далеко не предел возможностей корзины. В RAID-массивах диски работают практически синхронно, а если они одной модели, то имеют практически одинаковые резонансы, что при большой нагрузке в обычном корпусе может привести к поломке за считанные недели.
Охлаждение.Забывать про обдув накопителей тоже не стоит. Оптимальная температура 30–45 градусов. С такой задачей справится обычный тихий кулер, главное чтобы он был и работал.
Самые распространенные типы массивов
Проще всего сделать массив средствами ОС
Опционально можно убедиться, что в настройках прошивки SATA переведены в режим AHCI в зависимости от материнской платы это может дать возможность замены дисков прямо на работающем компьютере. Для этого надо найти соответствующие настройки в прошивке. Лучше всего ознакомиться с руководством или обзорами для вашей материнской платы. Конкретно на этой материнской плате AHCI активен всегда, даже в режиме RAID.
На старых чипсетах выбор чуть больше.
В случае если установлен режим IDE, переставлять сразу в AHCI не стоит, практически наверняка это вызовет BSOD. В любом случае этот пункт не обязателен. Даже если в системе есть SSD, режим IDE пропускает команду TRIM. Но если хочется, то можно запустить программу Sysprep перед сменой IDE на SATA в прошивке. Установленная галочка снесет активацию и не только на Windows.
Данная процедура предназначена для OEM-сборщиков, которые настраивают систему перед продажей. Также создается новый пользователь в системе, через которого и придется зайти. И потом просто удалить лишнего пользователя куда проще, чем ковыряться в реестре. Если не успеете зайти в прошивку до загрузки ОС, то придется повторить. Поэтому убедитесь, что у вас не включен Ultra Fast Boot.
После подготовительных процедур можно приступать к созданию массива. Для этого правой кнопкой по меню пуск вызывается управление дисками.
Новый диск потребуется инициализировать, после этого выберите соответствующий вашим запросам уровень массива:
После этого запустится мастер создания томов:
Для RAID 1 лучше не использовать максимальный объем. Купленный в будущем, диск на замену вышедшему из строя, может оказаться чуть-чуть меньше. Также можно сделать RAID 1 для операционной системы, но в случае GPT разметки и отказа загрузочного накопителя потребуется восстановление UEFI загрузчика.
Более сложный способ — средствами материнской платы
Придется прогуляться на сайт производителя чипсета и скачать все, что имеет в своем названии RAID.
И тут всплывает первый подводный камень. Инсталлятор драйверов RAID отказывается устанавливаться, при отсутствии активированного в прошивке RAID.
И на этом все. Потому что если ОС установлена на SATA, это приведет к невозможности загрузки без дополнительных манипуляций с прошивкой. При загрузочном NVMe можно активировать режим RAID для SATA, и спокойно поставить драйвера. В случае, если загрузочный накопитель и будущий RAID на базе SATA, можно поставить все три драйвера в ручном режиме. ВНИМАНИЕ! Это приведет к невозможности загрузки в обычном режиме.
Теперь, когда пути назад нет, обратите внимание на эти пункты (при других параметрах BIOS доступа к настройкам массивов не будет):
И только после сохранения и перезагрузки откроется доступ к настройкам:
По умолчанию из всех существующих накопителей создаются JBOD с 1 накопителем в массиве. Поэтому надо удалить массивы, в которых оказались накопители для RAID:
Спешка тут не нужна, потому что расстаться с важной информацией на этом этапе очень просто. Положение Enabled означает, что массив будет удален:
Теперь после того, как появились накопители не участвующие ни в одном массиве, на их базе создается новый:
В данном случае Volume соответствует JBOD, а RAIDABLE — диски, предназначенные под автоматическое восстановление массива:
Объем массива можно поменять с помощью цифровой клавиатуры.
Теперь, когда создание закончено, возвращаемся в Windows, и, через управление дисками, с массивом можно работать как с обычным диском. Обратите внимание — объем, полученный с помощью материнской платы, чуть меньше. Недостача ушла на нужды контроллера.
После инициализации в неразмеченной области можно создать обычный том. Мастер будет выглядеть практически так же, как и выше за пропуском нескольких пункт.
Если же предстоит установка Windows, содержимое архива с названием nvme_sata_raid_windows_driver надо закинуть на установочную флешку в распакованном виде. И в процессе установки указать — откуда их брать.
Установить надо все три драйвера в указанной последовательности.
После чего можно продолжить установку как обычно. И все это не зря, по сравнению с массивом, созданным на базе ОС:
Массив, созданный с помощью матплаты умеет кешировать данные хоть и не большого объема:
Комплектное ПО RAIDXpert2 по большей части дублирует возможности прошивки.
Оно позволяет производить все операции не покидая ОС. Конечно, это не исчерпывающее руководство к действию, но позволит обойти самые распространенные грабли.