Linux backup repository setup with veeam

Введение

Ранее я уже неоднократно рассматривал вопрос резервного копирования данных или целых серверов linux. Конкретно в этих статьях:

Бэкап сервера с помощью Duplicity.
Создание резервной копии на Яндекс.Диске.
Настройка Rsync для бэкапа данных.

Забэкапить сразу весь сервер можно, например, с помощью Duplicity. Но вот восстановить его на другом железе будет не так просто. Помимо данных нужно будет, как минимум, позаботиться о разметке диска, установке загрузчика. На это необходимо затратить некоторые усилия и немного разбираться в теме initramfs и grub. Сам я не очень разбираюсь в нюансах работы этих инструментов и очень не люблю с ними возиться.

Некоторое время назад появился отличный бесплатный продукт для бэкапа всего сервера целиком. Речь идет о Veeam Agent for Linux FREE. С его помощью можно сделать полный backup сервера, положить его куда-нибудь по smb или nfs, потом загрузиться с live cd и восстановить из бэкапа на другом железе.

Сразу расскажу о некоторых нюансах работы бесплатной версии, с которыми столкнулся в процессе эксплуатации замечательного продукта от veeam.

Бэкап можно сделать либо всего сервера сразу, либо отдельного диска, либо отдельных папок и файлов. При выборе бэкапа всего диска или сервера, нельзя задать исключения для отдельных папок или файлов. Это очень неудобно, но увы и ах, таков функционал. Исключения можно сделать только если вы делаете бэкап на уровне папок.
Бэкап можно положить локально на соседний раздел, если делаете резервную копию раздела, локально в папку — если делаете бэкап файлов и папок. Если бэкапите всю систему целиком, то удаленно по smb и nfs. К сожалению, по ftp или sftp программа не работает.

В качестве хранилища для архивов может выступать репозиторий Veeam Backup & Replication. Но я не рассматриваю этот вариант, так как в данном случае использую только бесплатное решение.

Мне очень хотелось настроить резервную копию всего сервера на Яндекс.Диск, но, к сожалению, у меня это не получилось из-за технических ограничений. Яндекс.Диск подключается к системе через webdav. Для того, чтобы сделать резервную копию всей системы, нужно бэкапить либо всю систему сразу, либо образ диска. Если у вас небольшой веб сервер, то скорее всего на нем только один раздел. На этом же разделе хранится кэш, который использует webdav для передачи файлов. Без кэша он работать не умеет.

Думаю вы уже поняли, в чем проблема сделать полный backup сервера с помощью Veeam Agent for Linux на Яндекс.Диск по webdav. Вы не сможете добавить в исключения папку с кэшом от webdav. В итоге, во время бэкапа с помощью veeam будет расти папка с кэшом webdav, которая, в свою очередь, будет бэкапиться. В итоге, свободное место на диске закончится, бэкап прервется.

Я подробно описал ситуацию с Яндекс.Диском, потому что пространство на нем не дорого стоит. Я часто его использую в повседневной жизни, настраиваю бэкапы, храню данные и т.д. В общем, мне он нравится по ряду причин. Для того, чтобы бэкапить весь сервер целиком, вам придется найти место для архивных копий с доступом по smb или nfs. Таких предложений не очень много на рынке. Практически не из чего выбирать, я специально искал.

Остановился вот на этом варианте — KeyDisk. После оплаты, вам дают адрес сервера, логин и пароль. Вы можете сразу же подключаться по smb к хранилищу. Можно прям в windows через два обратных слеша зайти или подмонтировать хранилище к linux серверу.

KeyDisk стоит примерно 350р. в месяц за 100 гигов. Не очень дешево, конечно, в сравнении с облачными сервисами, но все равно не дорого. Похожих предложений с доступом по smb я лично вообще не нашел в принципе. Этот объем позволит вам забэкапить небольшой веб сервер с глубиной архива в несколько недель или месяцев, в зависимости от того, сколько данных у вас на нем хранится.

Дальше я подробно на конкретном примере расскажу как все настроить и восстановить или перенести сервер целиком, если понадобится. Причем переносить буду вообще на другое железо. Но обо всем по порядку.

Состоялся релиз Veeam Agent for Linux 1.0 (Free, Workstation, Server Edition) +12

20.12.16 09:59

•
ahadhari
•
#317952
•
Хабрахабр

•
Перевод

•

5700

Виртуализация, Системное администрирование, Резервное копирование, Настройка Linux, Блог компании «Veeam Software»

Много лет компания Veeam выпускала продукты только для виртуальной среды. Но последнее время нас постоянно спрашивали: «А когда появится что-нибудь для физических машин?» Проанализировав запросы пользователей и свои возможности развития в этом направлении, мы выпустили Veeam Agent for Microsoft Windows (ранее известный как Veeam Endpoint Backup FREE). Кстати, в ближайшее время выйдет версия 2.0, в которой будет представлено много интересных возможностей.

Сегодня мы рады представить первую официальную версию Veeam Agent for Linux! Veeam Agent for Linux позволит защитить физические машины под управлением Linux, развернутые локально или в публичном облаке. Инструмент самостоятельный, установки Veeam Backup & Replication не требует (хотя и может использовать репозитории Veeam Backup & Replication в качестве целевого хранилища).

Veeam Recovery Media

Veeam Agent for Linux lets you use the Veeam Recovery Media — a recovery image of the Linux OS that provides an alternative way to boot your computer.

The recovery image includes a custom Linux OS with the limited functionality. It comprises Linux kernel and a set of GNU/Linux utilities necessary to boot the computer and perform basic administration tasks. If the OS installed on the computer fails to start for some reason, you can boot the recovery image OS. After booting, you can do the following:

You can restore data from a backup to your computer. For this scenario, you must have a backup created with Veeam Agent for Linux .
You can use Linux OS tools to diagnose problems and fix errors on your computer.

The recovery image can be helpful if one of the following errors occur:

The OS on the computer fails to start.
You want to perform bare-metal restore from the backup on the computer without the OS and other software installed.
You want to restore the system volume of the computer and so on.

Veeam Recovery Media is distributed as an ISO image. The ISO image file can be downloaded from this Veeam webpage . You can burn the ISO image file to different kinds of media:

Removable storage devices such as USB drives or SD cards
CD/DVD/BD

When you boot from the Veeam Recovery Media, you can use the recovery environment to fix the OS system errors on your computer or restore data from the backup. Veeam Agent for Linux offers a set of tools for the computer system image and data recovery:

Restore volumes — the Veeam Recovery wizard to recover data on the original computer or perform bare-metal recovery.
Restore files — the File Level Restore wizard to restore files and folders to the original location or to a new location.
Switch to command line — Linux shell prompt with standard utilities to diagnose problems and fix errors.

Восстановление тома

Теперь рассмотрим, как выполняется восстановление тома целиком. Для начала выполняем загрузку машины с использованием Veeam Recovery Media (скачивается вместе с установочным пакетом решения Veeam Agent for Linux). Он запускается, используя файл ISO.

Veeam Recovery Media открывает нам графический интерфейс с вот таким набором команд:

Здесь есть возможность восстановления томов (Restore volumes), восстановления файлов (Restore files), настроек сети (Configure network), перехода к командной строке (Switch to command line), а также перезагрузки (Reboot) и выключения (Shutdown). Если, как в нашем примере (и как рекомендовано!), бэкап хранится вовсе не на локальной машине, а на сетевой СХД, то нужно до начала процедуры восстановления убедиться в наличии доступа к месту хранения бэкапа, а в ходе самой процедуры — выполнить настройку параметров сети. Можно задать настройки вручную. Для этого:

В данном меню выбираем пункт

Configure network, затем выбираем в списке нужный сетевой адаптер, который будет использоваться для соединения с СХД, и жмем Enter.

В диалоге Configure adapter (настроить адаптер) выбираем Manual (ручная настройка) и жмем Enter.

В диалоге Adapter settings (параметры адаптера) указываем требуемое: IP-адрес, маску подсети, шлюз по умолчанию, сервер DNS

Кликаем Apply (применить) и жмём Enter.

Если вы работаете с сервером DHCP, то нужные настройки Veeam Agent for Linux сделает автоматически – если в диалоге Configure adapter выбрать Auto.

Продолжаем восстанавливать том: выбираем соответствующую операцию из списка команд — это Restore volumes.

Далее на шаге Select Backup Location нужно указать местонахождение нашего бэкапа. Для нашего примера нужно выбрать опцию добавления шары Add shared folder…

Затем на шаге Mount Shared Folder указываем, что у нас это NFS:

В поле Server/Directory вводим имя сетевой шары, в которой лежат файлы бэкапа. Veeam Agent for Linux смонтирует ее в папку /media на файловой системе нашего recovery image и отобразит содержимое смонтированного тома. На шаге Browse for Backup Files вы сможете выбрать нужную точку восстановления, чтобы импортировать ее:

Полезно: Если ваши бэкапы хранятся на одном из локальных устройств, то на шаге Select Backup Location вы, естественно, выберете опцию Mount local disk. При этом можно будет выполнять монтирование многократно — для нескольких устройств, на которых живут файлы резервных копий. Для этого нужно вернуться на шаг выбора местонахождения бэкапа Select Backup Location и опять выбрать опцию Mount local disk.

На шаге Backup выбираем нужный бэкап и в нём — точку восстановления.

Затем на шаге Disk Mapping можно просмотреть, какие тома имеются у машины в продакшене (то есть у локального хоста – Current System) и в бэкапе. Veeam Agent for Linux отобразит для выбранного тома подробную информацию, включая тип раздела, файловую систему, местоположение точки монтирования, размер тома, а также выведет список доступных команд:

Restore volume from (восстановить том) – восстановить данный том из бэкапа.

Delete partition (удалить раздел) — позволяет переразметить диск перед восстановлением тома. После удаления раздела можно будет создать новый и замапить на него том из бэкапа.

Create LVM physical volume (создать физический том LVM)— создать физический том LVM на выбранном разделе и добавить его в уже существующую группу томов (volume group, VG), либо создать новую группу. Это позволит восстановить логические тома LVM или группы томов в выбранную VG.

Close (закрыть) — закрыть диалог и выбрать другой том.

Здесь мы выбираем Restore volume from и жмем Enter.

В панели Current system в поле Restore напротив выбранного тома появится имя того, с которого будем восстанавливаться:

Подтверждаем выбор (будьте внимательны, оплошность может дорого обойтись, поскольку данные будут перезаписаны теми, что в бэкапе!), нажимаем (Start restore).

Cмотрим краткую сводку, подтверждаем выбор ещё раз и наблюдаем за прогрессом:

После завершения процесса мы заканчиваем работу с Veeam Recovery Media:

Нажимаем Esc для возврата в главное меню.
Отключаем носитель с recovery image.
В главном меню выбираем Reboot и жмем Enter.
Ждем старта ОС.

Вот, в общем-то, и весь рассказ о том, как происходит восстановление с помощью Veeam Agent for Linux.

Что под капотом

Давайте теперь пройдёмся по всем компонентам, участвующим в успешном создании бекапа.

Первым будет сам NAS. Забрать с него файлы мы можем тремя путями, реализованными в Veeam:

Метод лобовой атаки: просто взять и скачать. Читаем список файлов, начинаем их копировать, если находим залоченный файл — запоминаем его, ждём, пробуем ещё раз через какое-то время, пишем результат в репорт. Очень простой и быстрый метод

И что самое важное — вполне устраивающий многие компании, даже несмотря на пропуски залоченных файлов. Благо, скорее всего, они попадут в бекап при следующем инкременте

И это действительно многим подходит. Сами в шоке.
Следом идёт более сложный, но уже обеспеичвающий консистентнсть бекап через VSS снапшот. Само собой, доступен он только там, где поддерживается эта функция. И не надо думать, что VSS — это удел Windows серверов. Вот вам заклинание, которое в одну строчку включит VSS на Netapp: vssserver cifs options modify -vserver SVM_CIFS -shadowscopy-enable true
Останется только добавить реверс DNS, если шара добавлена по IP — и вы восхитительны.
Кстати, бытует мнение, что VSS снапшот снижает нагрузку на хранилище. В общем случае это не так, поскольку располагается он на том же железе, что и основной LUN. Вот в случае Windows снижения нагрузки можно достичь, если читать снапшот offhost. У многих стораджей тоже есть подобная функция, но её реализация зачастую стоит серьёзных денег.
И самый продвинутый, позволяющий делать всё максимально быстро и быть уверенным в консистентности данных, способ — бекап через storage snapshot. Здесь уже не обойтись без специализированных решений, но на выходе мы получаем минимальную нагрузку на продакшн и гарантию в сохранности данных. Но надо учитывать, что мы чисто физически не смогли бы реализовать поддержку всех на свете NAS решений, поэтому реализация механизма создания снапшотов пока оставлена на стороне пользователя.

Теперь рассмотрим две новые для Veeam сущности: Cache Repository и File Proxy.

Кэш репозиторий — это не хранилище всей налички вашей компании (обидно, да), а специальное хранилище для временного хранения метаданных. Его задача — обеспечивать быстрое создание инкремента и снижать нагрузку на файловую шару во время бекапа. В качестве кэш репозитория может выступать как выделенный Windows/Linux сервер, так и любая CIFS(SMB)/NFS шара. Этот кэш используется исключительно для ускорения создания инкрементов и восстановления отдельных файлов, поэтому может быть потерян без всяких критических последствий. При следующем запуске бекапа он просто будет создан заново. Да, это займёт какое-то время, но без него всё было бы намного дольше.

Естественно, для максимальной производительности кэш надо располагать максимально близко к бекапируемому NAS, и лучше всего на SSD. А его роль назначается любому репозиторию в инфраструктуре Veeam, за исключением облачных, дедуплицированных и SOBR. Про устройство метаданных и зачем они нужны, мы поговорим немного ниже.

Теперь рассмотрим File Proxy. Этот компонент, по сути, полный аналог старого доброго Backup Proxy, только для работы с NAS. Суть не изменилась — прокси выполняет связующую роль между остальными компонентами, задействованными в бекапе, и отвечает за пересылку данных из прода в хранилища бекапов. По умолчанию эту роль выполняет сам сервер Veeam, но такой вариант использования подходит только для небольших инсталяций, где все компоненты находятся в одном сетевом сегменте. Для более интересных вариантов под прокси надо выделять отдельные Windows машины. А лучше даже, когда их несколько, так как они умеют балансировать нагрузку. Но детали, опять же, будут ниже. Кстати, технически ничего вам не мешает использовать существующие прокси для новой роли. Даже новых компонентов устанавливать не придётся. Просто следите за нагрузкой и окном бекапа.

Выбор редакции

Veeam Agent для Linux может работать в трех режимах:

Server — режим, обеспечивающий доступ ко всем функциям продукта и предназначенный для выполнения задач защиты данных на серверах под управлением ОС Linux. Veeam Agent для Linux может работать в режиме сервера, если на защищенном компьютере установлена коммерческая лицензия, поддерживающая этот режим;
Workstation — режим, который предлагает ограниченные возможности, достаточные для выполнения задач защиты данных на настольных компьютерах и ноутбуках, работающих под управлением ОС Linux. Veeam Agent для Linux может работать в режиме рабочей станции, если на защищенном компьютере установлена коммерческая лицензия, поддерживающая этот режим;
Free — режим, который предлагает те же возможности, что и режим рабочей станции, но не поставляется с коммерческой программой поддержки. В отличие от режимов рабочей станции и сервера, свободный режим не требует лицензии.

Чтобы проверить, в каком режиме работает Veeam Agent для Linux, используйте командную строку. Дополнительные сведения в разделе Просмотр информации о лицензии.

По истечении срока действия лицензии Veeam Agent for Linux автоматически переходит в бесплатный режим.

По сравнению с режимом функциональности сервера Veeam Agent для Linux, свободные и рабочие станции имеют следующие ограничения:

количество заданий резервного копирования, которые вы можете настроить в Veeam Agent для Linux, ограничено одним;
вы не можете указывать сценарии предварительного приостановления и последующего запуска в настройках задания резервного копирования;
вы не можете использовать репозиторий Veeam Cloud Connect в качестве основного места хранения для файлов резервных копий при использовании бесплатного режима.

Вы можете настроить Veeam Agent для Linux для создания резервных копий автоматически (запускаемых в определенное время дня по заданному плану), или выполнять резервное копирование данных вручную. Вы можете создать резервную копию образа машины или отдельных каталогов и файлов. Эта функция доступна для редакции Server. Подробнее читайте в статье Резервное копирование данных.

Перед началом работы ознакомьтесь с системными требованиями и используемыми сетевыми портами.

Какой диск выбрать в kvm — lvm, raw (img) или qcow2

В kvm есть несколько типов дисков, которые вы можете использовать в своей работе. Они имеют принципиальные отличия как по своей работе, так и по способам бэкапа. Выбирать тот или иной тип нужно в зависимости от ваших задач. Рассмотрим эти типы подробнее.

LVM. Тут все понятно. Использование lvm томов в виде дисков виртуальных машин. Такой диск будет блочным устройством и должен работать быстрее всех остальных типов, так как нет лишней прослойки в виде файловой системы.

Плюсы:

Снэпшоты средствами самого lvm, с них легко снять бэкап без остановки виртуальной машины.
Максимальное быстродействие.
Легко изменить размер диска.

Минусы:

Более сложное управление по сравнению с дисками в виде отдельных файлов.
Менее гибкое управление пространством диска. Если весь диск разбить на lvm разделы для виртуалок, то места на нем не останется, даже если вируталки будут пустые.
Более сложный перенос на другой сервер.

RAW. Это обычный формат сырых данных. Среди дисков в виде файлов это будет самый простой и быстрый вариант. Все данные пишутся как есть без дополнительных обработок и служебной информации. Формат является универсальным для большинства популярных гипервизоров.

Плюсы:

Максимальная простота и производительность среди образов в виде файла.
Универсальный формат с поддержкой в большинстве гипервизоров.
Легкость переноса виртуальной машины на другой сервер. Достаточно просто скопировать файл.

Минусы:

Не поддерживает снепшоты ни в каком виде.
Занимает сразу все выделенное пространство на диске, даже если внутри виртуальной машины место будет свободно. Из-за отсутствия фрагментации в некоторых случаях это может оказаться плюсом.

QCOW2. Родной формат для гипервизора QEMU. Расшифровывается как QEMU Copy-on-write. Этот формат позволяет создавать динамические диски для виртуальных машин, а так же поддерживает снепшоты. Теоретически, скорость работы должна хоть и не сильно, но уступать RAW. Как обстоит дело на практике, я не знаю, не замерял и подробно эту информацию не проверял.

Плюсы:

Поддержка снепшотов и динамических дисков. Как следствие — более удобное управление дисковым пространством.
Легкость переноса виртуальной машины на другой сервер. Достаточно просто скопировать файл.

Минусы:

Более низкая производительность, по сравнению с другими типами образов.

У каждого типа есть свои преимущества и недостатки. Lvm проще всего бэкапить, но им сложнее всего управлять. Для того, кто хорошо знаком с lvm это не проблема, если сталкиваешься первый раз, то возникает много вопросов. У raw нет снепшотов, лично для меня это большой минус, я этот формат вообще не рассматриваю. Если нет максимальной нагрузки на дисковую подсистему, то QCOW2 мне кажется наиболее приемлемым вариантом. Собственно, ниже и пойдет рассказ, как совместить удобство управления QCOW2 и простоту бэкапов и снэпшотов lvm. Я покажу, как сделать живой бэкап виртуальной машины kvm в формате qcow2 без остановки виртуальной машины.

Дополнительные возможности

Командная строка предоставляет полный набор возможностей не только для бэкапа и восстановления данных, но и для решения других задач.

Например, из командной строки можно управлять настройками программы. Выполнив команду:

мы получим следующий результат::

Конфигурация Veeam Agent для Linux была экспортирована в текстовый файл, который можно отредактировать. Veeam Agent для Linux использует локальную базу данных для хранения настроек, а также истории сеансов, заданий бэкапа, информации о репозиториях и практически всей прочей информации, которую можно встретить при работе с программой. Единственный инструмент работы с базой даных и хранящимися в ней настройками — командная строка Veeam. Однако пользователям может потребоваться изменить эту информацию с помощью других инструментов, например, решений для автоматизации. Для этого и нужна подкоманда config.

Команда «export» сохраняет конфигурацию в текстовом файле в формате XML:

<?xml version=»1.0″ encoding=»UTF-8″?>

</Repositories>

<Jobs>

</Schedule>

</JobOptions>

</ObjectsForBackup>

</Job>

</Schedule>

</JobOptions>

</ObjectsForBackup>

</Job>

</Jobs>

Теперь администратор может изменить любой параметр в файле XML с помощью своего любимого редактора. Служба Veeam получает данные обо всех настройках только из локальной базы данных. Поэтому после внесения изменений в файл конфигурации его надо загрузить, чтобы Veeam Agent для Linux мог использовать новую конфигурацию:

Veeam Agent для Linux сразу же начнет использовать новые настройки.

Как это восстанавливает

Совершенно очевидно, что нет никакой проблемы восстановить несколько файлов/папок обратно на NAS или куда-то в другое место. Или даже восстановить всё хранилище целиком в новом месте.

Гораздо интересней случай, когда часть файлов была зашифрована, случайно удалена или ещё как-то испорчена, из-за чего надо восстановить множество файлов в самых разнообразных папках, и делать это вручную крайне сложно и неэффективно. Тут вам на помощь приходит возможность откатиться на определённый момент времени Rolling back to a point in time. Мы можем выяснить, какие файлы были изменены, и перезаписать их нужной версией из бекапа. Система сама найдёт все изменившиеся файлы и спасёт ваши данные.
Подобный функционал есть в базах данных, когда вместо восстановления всей базы они просто отменяют все транзакции до определённого момента.

Агенты для корпоративных систем

Платные версии Veeam Agents for Microsoft Windows и for Linux позволяют настроить интеграцию с Veeam Backup & Replication, управлять резервным копированием виртуальных машин и физических серверов из единой панели управления.

Для серверных ОС Windows можно использовать драйвер отслеживания измененных блоков Veeam Change Block Tracking Driver (Veeam CBT Driver). С его помощью можно гораздо быстрее создавать инкрементальные копии. Для активации Veeam CBT Driver требуется агентская лицензия на сервер.

При наличии лицензии для агента Veeam Agents for Microsoft Windows, можно создавать резервные копии системы или отдельных файлов в облачное хранилище OneDrive.

Автоматизировать установку Veeam Agents можно создав «группы защиты» на основе сведений из Microsoft Active Directory или специального CSV-файла. «Группы защиты» – это контейнеры в инвентаре Veeam Backup & Replication, объединяющие компьютеры, которые защищены с помощью Veeam Agents.

Для хранения резервных копий агенты поддерживают такие репозитории как HPE StoreOnce Catalyst, EMC Data Domain и репозитории на базе ReFS.

Восстановить данные можно не только на исходную машину, но и на компьютер или сервер с другой аппаратной платформой. Также поддерживается мгновенное восстановление виртуальных машин, и AWS и гранулярное восстановление файлов. А для виртуальных машин доступно восстановление отдельных дисков VMDK, VHD, VHDX.

Настройка полного бэкапа сервера

Сделать бэкап с помощью Veeam Agent for Linux очень просто. Вариантов настроек не так много, можете сами все проверить и посмотреть. Я для примера рассмотрю вариант с созданием полного бэкапа всей системы и перенос ее на другое железо. Создаем задачу для резервного копирования сервера на наше хранилище по smb.

# veeam

Нам сразу же предлагают указать файл с лицензией. Так как у нас лицензии нет, то отказываемся. Нас встречает главное окно программы.

Нажимаем C (configure) для настройки задания на backup. Задаем любое имя задания, затем указываем, что будем делать полный бэкап сервера.

В качестве приемника для архива системы, указываем Shared Folder.

Далее нужно ввести параметры доступа к хранилищу бэкапов. Я использую свои от системы KeyDisk.

В пункте Restore Points указывается глубина архива. Это число копий, которые будут храниться на сервере. Если делать бэкап каждый день и указать число 14, то будут храниться резервные копии системы за последние 14 дней. Если делать будете через день, то за 28 дней и т.д.

Можно создавать несколько заданий с различной глубиной архива. Например, каждый день с глубиной 7 копий, раз в неделю с глубиной 4, и раз в месяц с глубиной в 12. Таким образом у вас всегда будут последние 7 бэкапов системы на этой неделе. Потом по одному бэкапу в неделю за последний месяц и 12 бэкапов по месяцам в течении последнего года.

Если получите ошибку:

Current system does not support cifs. Please install cifs client package.

Установите пакет cifs. В CentOS вот так:

# yum install cifs-utils

И так в Debian/Ubuntu:

# apt install cifs-utils

Запускайте заново veeam и продолжайте. После настройки Destination, предлагается указать скрипты для выполнения перед и после бэкапа. Нам сейчас это не надо. Далее настраиваем расписание и запускаем задание на архивацию в конце настройки.