TATLIN.OBJECT – объектное хранилище с поддержкой протоколов S3, HTTP(S), gRPC.В основе системы эффективный движок хранения с раздельной обработкой мелких объектов и прозрачной потоковой обработкой больших данных.
TATLIN.OBJECT позволяет линейно расширять сеть узлами без простоев и деградации производительности.
Безопасность обеспечивается за счет гибких политик хранения на каждый контейнер, которые позволяют описать правила законов о персональных данных или корпоративные правила хранения информации.
Надежность достигается за счет отсутствия единой точки отказа, механизма быстрой эвакуации данных с аварийного узла хранения, эффективной работы в режиме деградации.
Оптимальная производительность обеспечивается через линейную масштабируемость от одного узла до глобальной сети хранения, высокую производительность каждого узла кластера и параллелизм обработки запросов множества узлов.
Поддержка протоколов S3, HTTP(S) и других популярных протоколов через общее ядро.
Эффективная работа с данными разных размеров включает использование SSD+HDD конфигурации с кешированием чтения и записи, накопители каждого узла используются раздельно, что позволяет использовать всю емкость локального узла.
Отсутствие legacy в продукте – современные архитектурные и алгоритмические подходы позволяют практически избавиться от ограничений на количество узлов, контейнеров, объектов, накопителей и т.д.
Архитектура TATLIN.OBJECT
Аппаратная платформа представляет собой набор узлов хранения. Каждый узел хранения - однотипный сервер в различных комплектациях. Квант расширения системы составляет 4 узла хранения. Каждый узел хранения принимает решения, линейно увеличивая производительность с ростом сети до глобальных размеров. Поддерживаются различные конфигурации по количеству накопителей. В основе сетевой инфраструктуры Ethernet 10/25 Gb/s.Масштабируемая архитектура
В основе TATLIN.OBJECT лежит децентрализованная сеть хранения данных, каждый узел которой работает автономно и обеспечивает гарантированное хранение данных. В качестве аппаратной платформы используются однотипные вычислительные узлы на базе высокопроизводительных процессоров современного поколения. Аппаратные узлы способны масштабировать подсистему хранения для решения широкого круга задач.Доступ к данным
TATLIN.OBJECT использует собственный эффективный протокол доступа к данным на основе gRPC, но можно использовать специализированные протокольные шлюзы для доступа к другим протоколам. Шлюз в S3 обеспечивает не только простой доступ к объектам, но и замену близким к S3 сервисам. Он опирается на механизмы хранения данных низкого уровня TATLIN.OBJECT и обеспечивает управление и доступ к ним, не дублируя функциональность.Высокая производительность
В TATLIN.OBJECT заложен эффективный движок хранения с раздельной обработкой мелких объектов и прозрачной потоковой обработкой больших данных. Поддержка объектов любой конечной длины прозрачна для API и пользователей. Высокая производительность системы достигается высокой производительностью каждого узла кластера и параллельной обработкой запросов множеством узлов.Высокий уровень надежности системы
Надежность системы достигается за счет совокупности технологий и механизмов. Архитектура системы не имеет единой точки отказа и обеспечивается самовосстановление после сбоев. Целостность данных обеспечивается задаваемым на уровне каждого контейнера уровень репликации данных. Имеется возможность работы с учетом потери всех SSD накопителей, только с объектами на HDD. В случае возникновения аварии система будет самовосстанавливаться и приводить хранение объектов в соответствие с заданной политике.Интеграция с существующим ПО
TATLIN.OBJECT поддерживает интеграцию с другими приложениями через SDK для Go. Поддерживается интеграция с корпоративными системами мониторинга Prometheus. Также имеется поддержка OCI для хранения контейнеров в Kubernetes (обеспечивается через open source плагин).Интеграция с существующим ПОТехнические характеристики
Основные ресурсы
Аппаратная платформа
- Количество узлов хранения 一 4-100
- Шаг расширения узлами хранения 一 4
Поддерживаемые накопители
- Минимальное / максимальное количество накопителей в системе 一 24 / 1200
- Количество накопителей под данные на узел хранения 一 6/12
- Максимальная неразмеченная емкость 一 14 400 ТБ
- Накопители под данные 一 NL-SAS 16 ТБ
- Накопители под кэширование данных на узел хранения (опция) 一 2 х 3.84 ТБ SATA SSD
Характеристики узла хранения
- 2 процессора x86
- 128 GB RAM
Поддерживаемые порты ввода-вывода
- 2 х 10/25 Gb/s Ethernet для внутренней сети
- 2 х 10/25 Gb/s Ethernet для доступа к данным
- 2 х 1 Gb/s Ethernet для менеджмента
- потребность в коммутаторах Ethernet на узел хранения - 4 х 10/25 Gb/s с SFP+, 2 х 1 Gb/s Ethernet
Управление и доступ
Поддерживаемые протоколы доступа
- Протокол S3, включая авторизацию
- Протокол HTTP(S), включая загрузку и работу с диапазонами байтов для проигрывания видео
- gRPC
Управление системой
- CLI-утилита управления
- Графический интерфейс управления
- Интеграция с LDAP
Политики хранения данных
- Гибкие политики хранения на каждый контейнер с возможностью описания корпоративных правил хранения данных
Интеграции
Мониторинг
- Интеграция с корпоративными системами мониторинга (Prometheus)
SDK
- Open-source SDK для Go
Надежность системы
- Отсутствие единой точки отказа и самовосстановление после сбоев
- В нормальном режиме работы достаточно рабочих узлов хранения по количеству реплик, удовлетворяющих заданной для контейнера политике хранения
- В режиме деградации достаточно одного узла, удовлетворяющего политике хранения
- Возможность работы в режиме деградации с потерей всех SSD, только с объектами на HDD
- При авариях система будет самовосстанавливаться и приводить фактическое хранение объектов в соответствие заданной политике по мере появления физической возможности
- Формат данных пригодный для восстановления даже после тотальной аварии на системе
Производительность системы
- Эффективный движок хранения с раздельной обработкой мелких объектов и прозрачной потоковой обработкой больших данных
- Поддержка объектов любой конечной длины прозрачно для API и пользователей
- Накопители каждого узла используются раздельно, формируя шарды, что позволяет использовать всю емкость локального узла
- Высокая производительность каждого узла кластера и параллелизм обработки запросов множеством узлов
Кэширование данных
- Использование SSD+HDD-конфигурации с кэшированием чтения и записи
Политика лицензирования
- Лицензия с привязкой к полезной емкости системы с гранулярностью по ТБ