SeaweedFS

Обзор

Что это такое

SeaweedFS — это высокопроизводительная распределённая система хранения объектов, файлов и BLOB-данных, рассчитанная на работу с миллиардами файлов. Проект с открытым исходным кодом (Apache 2.0) предоставляет объектное хранилище с доступом за O(1) дисковое обращение и минимальные накладные расходы на метаданные (около 40 байт на файл), а также слой Filer для привычной файловой и POSIX-семантики.

Ключевая идея — хранить метаданные не в едином централизованном узле, а распределять их по volume‑серверам. Это снимает узкие места по конкуренции на «мастере», упрощает масштабирование и ускоряет доступ.

Зачем и для чего это нужно (use cases)

• Объектное и файловое хранилище для приложений и сервисов (альтернатива on‑prem S3)
• CDN/медиа и статический контент (изображения, видео, файлы обновлений) с быстрым доступом к мелким файлам
• Бэкапы и архивы с дешёвым «тёплым» хранением и эрейжер-кодированием
• Data Lake и аналитика: доступ из Hadoop/Spark/Flink и по S3 API
• ML/AI датасеты и артефакты обучения в гибридной инфраструктуре
• Кросс‑ЦОД/мультикластерная репликация для отказоустойчивости и миграций
• Kubernetes‑окружения: постоянные тома через CSI, POSIX‑доступ через FUSE
• Key‑Large‑Value: вынесение «больших значений» из KV/SQL‑хранилищ в дешёвое и быстрое файловое хранилище

Ключевые функции и особенности

• Высокая производительность: доступ к объектам за O(1), быстрая работа с мелкими файлами
• Масштабирование без боли: добавление/удаление volume‑серверов без обязательного ребалансинга (пока не инициирован админом)
• Отказоустойчивость: автоматический failover мастеров, репликация с учётом стоек и дата‑центров
• Тиражирование и уровни хранения: настраиваемые уровни (NVMe/SSD/HDD/облако), прозрачный тиралинг «тёплых» данных в облачные сториджи
• Эрейжер‑кодирование для «тёплого»/архивного хранения (в т. ч. rack‑aware 10+4), снижение стоимости при высокой доступности
• Экономия на API‑операциях к облаку: кэширование и умный доступ с локально «горячими» данными
• Минимальные накладные на метаданные: около 40 байт на файл
• Автоматизация жизненного цикла: TTL, компакция, автоматическая gzip‑компрессия по MIME‑типу, поддержка ETag/Range/Last‑Modified
• Безопасность: шифрование данных AES‑256‑GCM

Filer и интерфейсы доступа

• Filer предоставляет каталоги и POSIX‑атрибуты поверх объектного слоя
• POSIX‑доступ через FUSE‑маунт, WebDAV для десктопов и мобильных клиентов
• Совместимость с Amazon S3 API (S3‑шлюз), а также «Gateway to Remote Object Store» для зеркалирования операций
• Hadoop‑совместимая FS для интеграции со Spark/Flink/HBase и др.
• Kubernetes: CSI‑драйвер и Operator для управления в кластере
• Active‑Active (xDC) репликация между кластерами; репликация метахранилищ Filer
• Поддержка «Cloud Drive»: монтирование облачного хранилища с локальным кэшированием и асинхронной записью

Гибкость метаданных Filer

Filer — статeless‑служба с линейной масштабируемостью и настраиваемыми бэкендами для метаданных: популярные SQL/NoSQL/kv‑движки (например, MySQL, PostgreSQL, Redis, Cassandra, MongoDB, Etcd, CockroachDB, TiDB, RocksDB/LevelDB, Elasticsearch и др.). Это упрощает интеграцию в существующую инфраструктуру.

Архитектура и как это работает

• Master‑серверы: управляют распределением volume‑томов и служат точкой координации; поддерживают отказоустойчивость и лидерство
• Volume‑серверы: хранят данные и метаданные файлов; горизонтально масштабируются
• Filer: слой «каталогов/файлов» поверх объектного уровня, работает со внешним хранилищем метаданных
• S3‑шлюз и другие протоколы: предоставляют привычные API для приложений и инструментов Такой дизайн устраняет единую «бутылочную горлышко» по метаданным и обеспечивает линейный рост производительности и ёмкости.

Кому может быть полезно

• Платформенные команды и DevOps: единое хранилище для микросервисов, стейтфул‑нагрузок и артефактов CI/CD
• Команды данных и аналитики: недорогое масштабируемое Data Lake‑хранилище с S3/Hadoop‑совместимостью
• Медиа/контент‑платформы и SaaS: быстрое хранение мелких объектов и больших файлов, глобальная репликация
• Организации с гибридной/мультиоблачной стратегией: локально быстрый доступ и прозрачный вынос «тёплых» данных в облако
• R&D и ML‑команды: хранение датасетов и моделей с POSIX/S3‑доступом и интеграцией в Kubernetes

Короткий старт (пример)

• Установить единый бинарник weed
• Экспортировать креды для S3‑совместимого доступа: AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=key
• Запустить: weed server -dir=/data -s3 (поднимет master, volume, filer и S3‑шлюз)
• Для наращивания ёмкости добавить volume‑сервер: weed volume -dir=/data2 -mserver= :9333 -port=8081 Этого достаточно, чтобы начать работать как с локальным файловым хранилищем, так и по S3 API.

Примечание об издании Enterprise

Помимо открытой версии доступна Enterprise‑редакция с дополнительными возможностями для требований бизнеса и поддержки.