Skip to content

Создание и запуск системы хранения данных Lustre

Процесс создания СХД Lustre с помощью ПО РСК БазИС СХД состоит из следующих этапов:

  • Создание изолированной группы дисков, предназначенных для размещения на них СХД Lustre.

  • Создание изолированной группы узлов, предназначенных для размещения на них сервисов ФС Lustre.

  • Создание топологии СХД Lustre.

  • Создание кластеров внутри топологии СХД Lustre.

  • Добавление сервисов в кластеры СХД Lustre.

  • Распределение ресурсов в топологии СХД Lustre.

  • Запуск СХД Lustre.

  • Создание отказоустойчивой конфигурации СХД Lustre.

После создания и запуска СХД Lustre осуществляется подключение клиентов СХД Lustre.

Создание изолированной группы дисков

Для создания изолированной группы дисков необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Открыть объект control.
  3. Запустить команду create disk-pool.
  4. Присвоить название группе дисков.
  5. Выбрать узлы, диски которых составят создаваемую группу (пунктир 5), или, используя QDSL-фильтры, выбрать диски с определенными параметрами.
  6. Завершить процесс создания группы дисков, нажав Launch.

Creation Disks Group 1

Creation Disks Group 2

Создание изолированной группы узлов

Для создания изолированной группы узлов необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Открыть объект control.
  3. Запустить команду create node-pool.
  4. Присвоить название группе узлов.
  5. Выбрать узлы, задав при помощи QDSL-фильтров путь к узлам.
  6. Завершить процесс создания группы узлов, нажав Launch.

Creation Nodes Group 1

Creation Nodes Group 2

Создание топологии СХД Lustre

Для создания топологии СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Открыть объект control.
  3. Запустить команду create storage.
  4. Присвоить название СХД Lustre в топологии storage 1.
  5. Выбрать тип СХД - Lustre.
  6. Завершить процесс создания топологии СХД, нажав Launch.

Creation Storage 1

Creation Storage 2

Создание кластеров СХД Lustre

Для создания кластеров СХД необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  3. Запустить команду create-cluster.
  4. Выбрать группу узлов, которые будут использованы для создания кластера СХД Lustre.
  5. Выбрать уровень отказоустойчивости СХД Lustre по узлам.2
  6. Завершить процесс создания кластера СХД Lustre, нажав Launch.3

Creation Storage Cluster 1

Creation Storage Cluster 2

Добавление сервисов в кластеры СХД Lustre

Для добавления сервисов в кластеры СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию СХД Lustre.
  2. Выбрать кластер, нажав на название кластера, но не раскрывая данный объект.
  3. Запустить команду create-service.
  4. Выбрать тип сервиса Lustre (совмещенный mgs-mds/mgs/mds/oss).
  5. Выбрать:
    • тип RAID-массива;
    • выбрать группу дисков;
    • уровень RAID-массива;
    • размер группы RAID-массива (для групповых RAID-массивов уровней 50, 60, 70);
    • количество дисков в RAID-массиве;
    • количество сервисов (несколько однотипных сервисов будут автоматически проиндексированы).
  6. Завершить процесс добавления сервиса, нажав Launch.

Creation Storage Service 1

Creation Storage Service 2

Распределение ресурсов в топологии СХД Lustre

⚠ Начиная с версии ПО РСК БазИС СХД v2.1 этот пункт можно пропустить и перейти к следующему: распределение происходит автоматически.

Для распределения ресурсов в топологии СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  3. Запустить команду distribute.
  4. Запустить распределение дисков и сервисов, нажав Launch. Флаг force используется в случае неудачного запуска процесса распределения или при необходимости ещё раз перераспределить ресурсы после добавления сервисов/кластеров.
  5. Открыть топологию кластеров.
  6. Открыть топологию сервисов и топологию группы узлов, которая была использована как ресурс для данного сервиса (внутри выпадающего списка сервисов должны появится названия групп дисков, а внутри выпадающего списка узлов - сервисы и пассивные копии, failover)
  7. Проверить распределение сервисов по узлам.4

Resources distribution 1

Resources distribution 2

Resources distribution 3

Запуск СХД Lustre

Для запуска СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  3. Запустить команду Launch.
  4. Выставить флаг force в значение on, если СХД Lustre уже находится в состоянии live.
  5. Выставить флаг reformat в значение on, если перед запуском СХД Lustre необходимо отформатировать таргеты ФС Lustre.
  6. Выполнить запуск СХД Lustre, нажав Launch.5

Launch storage 1

Launch storage 2

Создание отказоустойчивой конфигурации СХД Lustre

На данном этапе создания СХД Lustre рекомендуется проверить доступ к файловой системе с клиентских узлов (см. раздел Подключение клиентов СХД), однако проведение проверки является опциональным.

Для создания и запуска отказоустойчивой конфигурации СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  2. Запустить команду Launch (в группе команд pacemaker).

Configuration fault tolerance storage

Подключение клиентов СХД Lustre

Рекомендуется (опционально) завершить процесс создания СХД Lustre подключением к ней узлов-клиентов СХД Lustre.

Для подключения клиентов к созданной СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Открыть объект control.
  3. Запустить команду create-client-pool.
  4. Присвоить название группе узлов.
  5. Выбрать при помощи QDSL-фильтров узлы, составляющие новую группу.
  6. Завершить процесс создания группы узлов, нажав Launch.
  7. Открыть топологию созданного СХД.
  8. Открыть объект clients.
  9. Запустить команду mount-client.
  10. Указать путь монтирования ФС (опционально, по умолчанию используется путь /lustre/<fsname>).
  11. Указать созданную ранее группу клиентов СХД Lustre.
  12. Завершить процесс подключения клиентов СХД Lustre, нажав Launch.

Storage Clients Connection 1

Storage Clients Connection 2

Storage Clients Connection 3

Storage Clients Connection 4

💡 Одну группу клиентов можно использовать для подключения к нескольким СХД разного типа, для этого будет достаточно повторить пункты с 7 по 12.

⚠ Поскольку ПО РСК БазИС СХД сохраняет всю информацию, необходимую для выполнения операций монтирования/отмонтирования ФС, в файле конфигурации /etc/fstab клиентов СХД, то после перезагрузки этих узлов система хранения данных автоматически примонтируется к ним обратно.

  1. Название должно состоять из букв латинского алфавита и не превышать 8 символов. Иначе введенное имя СХД будет обрезано. ↩

  2. Оптимальным уровнем отказоустойчивости по узлам является либо 1, либо 2. ↩

  3. Все кластеры автоматически индексируются. ↩

  4. Сервисы распределяются по узлам равномерно; значение параметра failover должно быть равно уровню отказоустойчивости для кластера. ↩

  5. Во время запуска СХД Lustre происходит подключение дисков к узлам по протоколу NVMeOF, создание RAID-массивов, таргетов ФС Lustre и запуск сервисов; отказоустойчивость по узлам на этом этапе создания СХД Lustre не достигается. ↩