Skip to content

Работа с отказоустойчивой системой хранения данных Lustre

Остановка кластеров СХД Lustre

Для остановка кластеров СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  3. Запустить команду stop в группе команд pacemaker.
  4. Выберать все или определенные кластеры СХД Lustre, которые необходимо остановить.
  5. Запустить процесс остановки кластеров СХД Lustre, нажав Launch.1

Stop Storage 1

Stop Storage 2

Расширение СХД Lustre

Для увеличения размера СХД Lustre за счет увеличения количества сервисов и связанных с ними дисками необходимо:

  1. Создать группу дисков или расширить существующую (см. раздел "Управление группами ресурсов").
  2. Остановить СХД.
  3. Перейти в кластер, где необходим добавить новый сервис.
  4. Добавить новый сервис и указать необходимую группу дисков, а также остальные параметры.
  5. Запустить на объекте СХД команду (upgrade или distribute).
  6. Запустить на объекте СХД команду Launch.

Замена дисков в рейде

Замена дисков в рейд массиве происходит вруную. Диск можно заменить на диск равного или большего размера, находящийся в этой же группе заменяемого. Поэтому перед заменой надо убедиться, что запасные диски есть в этой группе. Это можно увидеть в профиле группы disk-pool в значении атрибута free. При необходимости заменить диск в рейд массиве нужно выполнить следующие действия:

  1. Выбрать группу дисков в топологии disk-pool.storage .
  2. Выполнить команду Edit и ввести новый QDSL для группы дисков (опционально: если нужно добавить диски в группу).
  3. Выполнить команду Replace. Выбрать заменяемый диск и диск на который необходимо провести замену.

Отключение узлов СХД Lustre для проведения технических работ

При необходимости вывести узел СХД Lustre из состава кластера можно либо остановить СХД Lustre (см. раздел "Остановка кластеров и СХД"), в состав которой входит необходимый узел, либо выполнить следующую команду:

# на любом узле кластера СХД Lustre
pcs node stanbdy <nodename>

⚠ Из кластера можно вывести число узлов не более уровня отказоустойчивости СХД Lustre. Если на узле находились диски, используемые в самой СХД Lustre, то при отключении узла эти диски пропадут из RAID-массивов на других узлах. Будьте внимательны!

Уничтожение СХД Lustre

⚠ Перед началом процесса уничтожения СХД Lustre убедитесь, что все важные данные скопированы!

Процесс уничтожения СХД Lustre состоит из двух этапов: - уничтожение кластеров СХД Lustre (см. пп. 1-5); - удаление сведений о СХД Lustre из топологии storage (см. пп. 6-9).

Для уничтожения СХД Lustre необходимо выполнить следующие действия в системе мониторинга и управления РСК БазИС 4 (см. рисунки, приведенные ниже):

  1. Открыть топологию storage.
  2. Выбрать СХД Lustre, нажав на её название, но не раскрывая данный объект.
  3. Запустить команду destroy в группе команд pacemaker.
  4. Выбрать все или некоторые кластеры, которые необходимо уничтожить.
  5. Запустить процесс уничтожения СХД Lustre, нажав Launch.2
  6. Выбрать СХД, нажав на название уничтоженной СХД Lustre, но не раскрывая данный объект.
  7. Запустить команду remove в группе команд storage.
  8. Выставить флаг force в значение on/off, в зависимости от того, надо ли учитывать состояние СХД Lustre в топологии storage.
  9. Запустить процесс удаления сведений о СХД Lustre из топологии storage, нажав Launch.

Delete Storage 1

Delete Storage 2

Delete Storage 3

Delete Storage 4

Использование штатных утилит ФС Lustre для работы с СХД Lustre

Кроме возможностей, предоставляемых ПО РСК БазИС СХД, для настройки, управления и поддержания в рабочем состоянии СХД Lustre можно использовать утилиты, поставляемые вместе с ПО ФС Lustre.

Часто используемые команды для работы с существующей СХД Lustre

  1. Посмотреть текущее состояние отказоустойчивого кластера СХД Lustre:

    pcs status

  2. Вернуть диски/RAID/сервисы в исходное состояние:

    pcs resource cleanup

  3. Вернуть состояние RAID-массивов в режим ONLINE, если все диски на месте:

    zpool clear -nFX <poolname>

  4. Вывести узел из состава кластера СХД Lustre:

    pcs node standby <nodename>

  5. Вернуть узел обратно в состав кластера СХД Lustre:

    pcs node unstandby <nodename>

  6. При зависании утилиты zpool/zfs необходимо выполнить перезагрузку всех узлов кластера с помощью утилиты rpower. Явным признаком такого состояния узлов хранения является индикация статусов RAID-массивов как FAILED (Blocked).

    rpower <storagenodes> off
rpower <storagenodes> on

# on cluster's node
pcs cluster start --all

  7. Сохранение конфигурационного файла pacemaker

    pcs cluster cib > cluster_config.xml

Настройка ФС Lustre под конкретные задачи и пользователей

Все указанные ниже команды выполняются операторами вычислительного кластера под учетной записью root на любом клиенте СХД Lustre.

  1. Если пользователю надо работать с очень большим количеством (порядка миллиона) маленьких файлов в одной директории:

    # store files smaller than size_of_file on MDT
lfs setstripe -E <size_of_file> -L mdt /lustre/$user_workdir_path

  2. Если пользователю надо работать с одним общим файлом на все запущенные процессы (single-shared file):

    # overstripping for Lustre 2.13
lfs setstripe -C $((<number_of_osts> * 4)) /lustre/$user_workdir_path

# wide striping for Lustre <=2.12.x
lfs setstripe -c -1 /lustre/$user_workdir_path

  3. Если пользователю надо работать с разветвленной иерархией директорий и маленьких файлах в них:

    # DNE - best for big tree of subdirectories and files in it (e.g. mdtest_hard)
lfs setdirstripe -D -c -1 /lustre/$user_workdir_path

  1. Происходит остановка сервисов ФС Lustre, отмонтирование RAID-массивов и отключение дисков, если кластер СХД Lustre был запущен. ↩

  2. Происходит остановка сервисов ФС Lustre, отмонтирование RAID-массивов, отключение дисков и уничтожение отказоустойчивой конфигурации, если кластер СХД Lustre был запущен. ↩