Ceph

Обзор

Что это такое?

Ceph — это открытая программно-определяемая платформа распределённого хранения данных, которая объединяет объектный, блочный и файловый доступ в рамках одного кластера. Система строится на обычном (commodity) оборудовании и масштабируется от нескольких узлов до кластеров экзабайтного уровня. В основе Ceph лежит RADOS — распределённое объектное хранилище с автоматическим балансированием и самовосстановлением, а алгоритм CRUSH обеспечивает равномерное размещение данных без единых точек отказа.

Зачем и для чего (use cases)

Облачные платформы и виртуализация

• Блочные устройства (RBD) для виртуальных машин и баз данных.
• Интеграция с OpenStack (хранилище томов, образов и объектов).

Kubernetes и контейнерные платформы

• Постоянные тома через CSI-драйверы; автоматизированное развертывание/операции с помощью оператора.

Объектное хранилище приложений

• S3/Swift-совместимый доступ для приложений, резервных копий, медиа- и аналитических данных.

Совместные файловые сервисы и HPC

• CephFS для POSIX-совместимого доступа, совместной работы и высокопараллельных нагрузок; возможность публикации через NFS.

Архив и резервное копирование

• Экономичное хранение больших массивов данных с использованием стирающего кодирования (erasure coding).

Геораспределённые сценарии и DR

• Междатацентровая репликация и многосайтовые конфигурации (для объектного доступа) для высокой доступности и восстановления после аварий.

Ключевые функции и особенности

• Единое хранилище: один кластер предоставляет три интерфейса — объектный (RGW), блочный (RBD) и файловый (CephFS).
• Масштабирование без простоев: пошаговое наращивание ёмкости и производительности добавлением узлов и устройств.
• Надёжность и отказоустойчивость: CRUSH, репликация и стирающее кодирование, автоматический ребаланс и самовосстановление.
• Экономичность: построение на стандартном серверном и дисковом оборудовании без дорогостоящих проприетарных контроллеров.
• Производительность: современный движок хранения BlueStore, эффективная работа с HDD/SSD/NVMe, параллелизм по множеству узлов и OSD.
• Безопасность и изоляция: аутентификация cephx, шифрование данных «на диске» и «на проводе», квоты и многоарендность.
• Снимки и клоны: для RBD и CephFS — тонкое выделение (thin provisioning), быстрые клоны и снапшоты.
• Управление и автоматизация: встроенный Orchestrator и cephadm для контейнеризованного развертывания, веб‑панель Ceph Dashboard, модули менеджера (мониторинг, алерты, интеграции).
• Интеграции экосистемы: Kubernetes (через CSI и оператор), OpenStack (Cinder/Glance/Nova), доступ по S3/Swift, публикация через NFS и iSCSI‑шлюзы.
• Обновления без простоя: поэтапные (rolling) обновления и плановые работы с минимальным влиянием на доступность.

Кому может быть полезно?

• Предприятия и ИТ‑подразделения, строящие частные облака и платформы виртуализации.
• Облачные и хостинг‑провайдеры, которым нужны масштабируемые и экономичные хранилища.
• Команды DevOps/SRE и платформенные команды Kubernetes.
• Научные и исследовательские центры, HPC‑инфраструктуры, медиа и телеком.
• Финансовый сектор и госсектор с повышенными требованиями к отказоустойчивости и безопасности.

Развертывание и управление

• Быстрый старт и эксплуатация: cephadm и Orchestrator для развертывания кластеров в контейнерах, управление через CLI и веб‑панель Dashboard.
• Kubernetes‑подход: оператор упрощает жизненный цикл кластера и интеграцию с CSI для томов.
• Интеграция с экосистемой: драйверы для OpenStack, шлюзы для NFS и iSCSI, S3/Swift API для приложений и бэкапов.
• Типовое оборудование: дисковые и вычислительные узлы на x86/ARM, высокоскоростные сети (10/25/40/100 GbE) и отказоустойчивые домены (стойка/зал/ЦОД).

Рекомендации по проектированию

• Минимум три монитора и несколько OSD на узел для устойчивых пулов и баланса.
• Планирование доменов отказа в CRUSH‑карте (узел/стойка/зал) и выбор политики — репликация или erasure coding.
• Разделение нагрузок (мониторы, менеджеры, OSD, шлюзы) и достаточная пропускная способность сети.
• Постоянный мониторинг метрик, тестирование восстановления и регулярные поэтапные обновления.

Итог

Ceph — зрелая платформа единого хранения, которая предоставляет объектный, блочный и файловый доступ с высокой надёжностью, масштабируемостью и широкими возможностями автоматизации. Она помогает унифицировать хранилище под разные нагрузки и сократить TCO за счёт использования стандартного оборудования.