Как вы делаете бекап портала большого объема?

Добрый день! Сейчас ищу оптимальный вариант для создания и хранения бекапа на внешнем сервере, так что бы он был не доступен на хостинге/сервере, действующего сайта на базе DST Portal. ( Портал сейчас занимает 500 Гб )

Поделитесь опытом, кто как делает и где хранить бекап, если он весит очень много?

Это сильно зависит от целевой потребности, от архитектуры используемого DST Portal, от навыков системного администратора. Надо сказать что 500ГБ это не большой портал.

Если предположить что у вас один сервер, на котором находится и файлы и базы данных и сама система то мы обычно поступаем так:

1. Бекап базы данных снимать через Percona XtraBackup.
Можно использовать mysqldump с разными опциями производительности, но тут уже зависит от разных обстоятельств.

2. Файловая часть.
Тут зависит от способа ведения разработки и других требований.
В самом простом случае: просто tar'ом в архив и отправка на сервер бекапов
Если места не очень много: rsync на удаленный сервер as is

Если есть разработка то снимается 2 бекапа: ядро (все кроме папки upload) и файлы (только upload).
Методы те же.

Т.е. по факту разработчикам отдается дамп базы и ядро, а пользовательские файлы не передаются.
Если есть git с внешним репозиторием, то можно снимать вообще 2 бекапа

Иногда используется сокращенный бекап: средствами системы формируется бекап без поискового индекса и папки upload и хранится он в облаке, а файлы в файловом хранилище (AWS S3-совместимое хранилище, например Yandex.Object Storage).

Все очень индивидуально.

Процесс выглядит так:

1. Создать скрипт бэкапа файлов + базы
2. Смонтировать сетевую папку куда будем складывать бэкапы
3. Добавить скрипт в cron (планировщик задач) в панели управления он у Вас в разделе настройки 

Используем виртуализацию от Proxmox Virtual Environment в связке с NAS для хранения бэкапов. Также можно поднять Proxmox Backup Server и делать бэкапы уже более выборочно.

Интересная тема, но было бы здорово узнать как можно организовать хранение бэкапов на внешнем сервере, мы для безопасности решили у себя в организации держать несколько серверов? 

Интересная тема, но было бы здорово узнать как можно организовать хранение бэкапов на внешнем сервере, мы для безопасности решили у себя в организации держать несколько серверов? 

Дмитрий Незлобин

Если максимально упрощенная схема, то для организации хранения бэкапов на внешнем сервере можно использовать следующие подходы:

Использование Percona XtraBackup или mysqldump: для создания бэкапов баз данных.

Тар-архивирование файловой части: отправка файлов в архив и отправка на сервер бэкапов.

Rsync на удалённый сервер: если места не очень много, можно использовать rsync для синхронизации файлов.

Создание скрипта бэкапа файлов и базы: добавление скрипта в cron (планировщик задач) в панели управления.

Использование виртуализации от Proxmox Virtual Environment в связке с NAS: для хранения бэкапов.

Поднятие Proxmox Backup Server: позволяет делать бэкапы более выборочно.