Особенности

Архитектурные отличия от других параллельных файловых систем

Основным отличием DAOS от параллельных файловых систем является использование Persistent Memory (PMEM) модулей для хранения метаданных файлов (объектов).

Данные с произвольным доступом стали храниться на устройствах с произвольным доступом (RAM/PMEM), что устранило бутылочное горлышко для проведения большого количества IOPS.

Возможности DAOS в прочтении РСК

Программный стек РСК БазИС СХД помогает гибко управлять ресурсами кластера. Одним из самых главных функционалов является оркестрация дисков по низколатентной и высокоскоростной сети Omni-Path/InfiniBand. В предыдущих главах мы рассказали, как с помощью оркестратора сделать отказоустойчивые файловые системы типа Lustre, где используются удаленные диски, что позволяет сэкономить на покупке отдельных СХД решений. Этот опыт позволил компании РСК по-новому взглянуть на файловую систему DAOS.

В классической системе DAOS предполагается, что все узлы будут иметь в аппаратном решении локальные диски NVMe SSD и модели памяти PMEM. Для стабильной работы DAOS объем PMEM должен составлять не менее 6% от общего объема системы (NVMe + PMEM). Что делает систему негибкой по отношению к аппаратным решениям. Помимо этого в текущей архитектуре РСК увидела узкое горлышко в количестве PCI линий. Ниже представлена схема узла, чья комплектация компонентами должна полностью утилизировать модули PMEM максимальной комплектации.

Ни одна платформа не может поддержать такое количество PCI линий. Используя протокол NVMeOF NVMe диски можно подключить через сетевой интерфейс без потери пропускной способности и сэкономить количество PCI линий на локальных NVMe дисках. Ниже представлен концепт аппаратного решения для DAOS серверов только с PMEM.

Подключение дисков по сети никак не сказывается на пропускной способности системы так как высокоскоростные сети Infiniband и Omni-Path являются полнодуплексными, то есть имеют два разнонаправленных потока каждый по 100Gbit/s (или другой заявленной скорости).

Таким образом, можно создать более гибкие системы DAOS, которые используют аппаратные модули в гиперконвергентной парадигме: к примеру узлы с PMEM теперь можно использовать не только как DAOS сервера, но и перепрофилировать под задачи AI/ML, Grid систем и прочие.