Виртуальная машина битрикс mysql

Введение

Вопрос с потреблением памяти mysql при работе в bitrixenv я уже разбирал отдельно некоторое время назад — где хранятся настройки mysql. Рекомендую с ней ознакомиться, так как там информация напрямую относящаяся к текущей теме оптимизации использования памяти сайта на bitrix при работе в bitrixenv.

Разработчики bitrixenv упростили работу системных администраторов по настройке сервера, внедрив службу bvat, которая автоматически при запуске сервера подбирает оптимальные параметры следующих служб:

mysql
apache
nginx
php

Настройки будут зависеть от количества доступной оперативной памяти. В целом, это неплохой шаг, который упрощает начальную настройку сервера. Чаще всего конфигурация служб получается адекватной и подохдящей для типовых сайтов.

В моем случае стандартные настройки перестали подходить. На сервере время от времени появлялась нехватка оперативной памяти. Приходил OOM Killer (OOM — Out of memory) и грохал mysql сервер, так как он потреблял больше всего оперативной памяти. Какое-то время все работало нормально, потом провторялось то же самое.

Мое внимание привлекли события из мониторинга Zabbix, такие как Lack of available memory on server. Посмотрел график и все сразу стало ясно, еще до подключения к серверу

Зашел на сервер, посмотрел системный лог. Увидел там вот это:

kernel: Out of memory: Kill process 7382 (mysqld) score 431 or sacrifice child
kernel: Killed process 7382 (mysqld) total-vm:3967860kB, anon-rss:1942144kB, file-rss:0kB, shmem-rss:0kB
systemd: mysqld.service: main process exited, code=killed, status=9/KILL
systemd: Unit mysqld.service entered failed state.
systemd: mysqld.service failed.
systemd: mysqld.service holdoff time over, scheduling restart.
systemd: Stopped MySQL Server.
systemd: Starting MySQL Server...
systemd: Started MySQL Server.

Первое, что я сделал — увеличил swap раздел до объема всей оперативной памяти. До этого он был размером в 1G. Это сразу помогло и предотвратило регулярный приход OOM Killer. А я стал спокойно разбираться, что делать дальше.

План дальнейшей настройки сервера для стабильной работы сайта на bitrix следующий:

Определяем основных потребителей оперативной памяти.
Распределяем всю свободную память между ними.
Убеждаемся, что под нагрузкой все работает корректно, всем хватает памяти, OOM Killer не приходит.

Проверяем, кто занимает всю память на сервере

Я столкнулся с неожиданным поведением сервера, на котором работал сайт на битриксе. Длительное время он работал, занимая всю доступную оперативную память. Я получал об этом уведомления от заббикса, но не обращал большого внимания на сервер, так как в целом это нормальная ситуация, когда у тебя mysql и apache трудятся вместе. Где-то пол года он работал нормально, а потом стал сильно деградировать по производительности. В общем, начались настоящие проблемы.

Я пошел на сервер и стал разбираться, в чем дело. Начал с того, что посмотрел, кто занимает оперативную память.

Не удивился, увидев, что mysql. Первое, что сделал — перезапустил его и стал наблюдать. Увидел такую картинку в zabbix.

Дальше сервер кушал весь своп и прибивал процесс mysql с сообщением в системном логе:

Mysql перезапускался автоматом и дальше все продолжалось по кругу. Надо было разбираться в первую очередь с ним.

Где в CMS хранятся настройки подключения к базе данных? и другие настройки

CMS, CMFкак подключиться к этой созданной базе данных

можно навскидку посмотреть файлы где нибудь в корне сайта; обычно кофигурационные файлы имеют в своём названии слова conf, configuration и тд; обычно их легко найти;
можно посмотреть исходники файлов, что где подключается и найти этот файлик, обычно подключается где то в начале скриптов;
можно посмотреть документацию по продукту; кстати вся эта проблема вовсе и не проблема на этапе инсталляции, так как во многих продуктах есть исталляторы, которые сами создадут нужные файлы и пропишут что нужно;
можно посмотреть в интернете;

Так вот, насчёт последнего пункта, решил составить список, где у разных CMS хранятся настройки, в частности настройки подключения к базе данных. Обычно все конфигурационные директивы хранятся в одном месте.

Буду указывать название продукта и версию. Пути к файлам будут относительно корня сайта. Все настройки описывать не буду. Буду указывать настройки подключения к базе данных по шаблону типа «в чём хранятся(переменные, константы) имя переменной(константы) хранящий адрес хоста, имя базы данных, логин пользователя, пароль пользователя»

Так же там могут быть настройки кодировки подключения, префикса таблиц, но их указывать не буду. Вообще если найти файл, то там всё должно быть логично и даже прокомментировано.

Оптимизация php под bitrix

Из настроек php я бы обратил внимание на следующие параметры:

memory_limit — максимальное количетсво памяти на выполнение php скрипта;
sendmail_path — управляет параметрами отправки сообщений, хотя к теме текущей статьи и не имеет отношение;
post_max_size — максимальный размер данных для всего POST запроса;
upload_max_filesize — максимальный размер файла для загрузки через POST запрос;
max_execution_time — максимальное время в секундах, в течение которого скрипт должен полностью загрузиться.

Так или иначе, эти параметры, кроме sendmail, влияют на производительнойсть сервера и потребление памяти. Не ставьте эти значения слишком большими без особой надобности. Я бы для начала выставил в 256 Мб и увеличивал по мере необходимости. Да, 256 Мб это и так очень много, но сайт на bitrix требует высоких значений этих параметров для корректной работы. 256 мб это общая рекомендация для дефолтных значений.

Свои параметры php вы можете размещать в отдельном конфиге, который не будет перетираться bitrixenv — /etc/php.d/z_bx_custom.ini. После изменения настроек надо перезапускать apache для применения.

Как изменить настройки mysql в bitrixenv

Для того, чтобы руками изменить какие-то параметры в mysql, которые не будут изменяться динамически, необходимо воспользоваться файлом /etc/mysql/conf.d/z_bx_custom.cnf. Основной параметр, который приводит к тому, что mysql занимает всю оперативную память — innodb_buffer_pool_size. В первую очередь следует переназначить именно его. Сделать где-то в треть реальной оперативной памяти. С остальными параметрами надо разбираться отдельно. Я не стал тратить на это время, пока временно отдал серверу первоначальный объем памяти в 16Гб. В ближайшее время обновлю полностью сервер вместе с bitrix env и посмотрю, исчез ли глюк с тем, что память определяется неправильно. Если нет, буду руками выставлять параметры под реальную оперативную память сервера.

Оптимизация настроек Mysql

На подопытном сервере имеется 12 Гб оперативной памяти. Я решил половину этой памяти отдать под mysql. Приступим к тюнингу конфигурации mysql. В общем случае достаточно будет одного параметра, который в основном отвечает за потребление памяти:

innodb_buffer_pool_size = 4G

В моем случае этого было недостаточно. Я решил более внимательно подойти к настройке mysql. Нашел неплохой инструмент — MySQLTuner, который анализируя работу mysql, выдает некоторые рекомендации по настройке. Сам я не разбираюсь в тонкой настройке mysql, поэтому решил довериться утилите. Судя по отзывам, она неплоха и доверять ей можно, если сам не разбираешься в теме. Забегая вперед скажу, что с помощью этого тюнера я настроил mysql на стабильную работу с фиксированным потребелением памяти. Проблем с этим сервером с тех пор не возникало.

Итак, копируем себе на сервер сам скрипт:

# wget http://mysqltuner.pl/ -O mysqltuner.pl

Запускаем его:

# perl mysqltuner.pl

Для того, чтобы рекомендации получились более эффективные, служба mysql должна поработать у вас несколько дней. Если накануне перезапускали ее, а я это делал, то рекомендую через несколько дней зайти и еще раз прогнать тесты. Будут новые советы по конфигу.

Для оптимизации потребления памяти, достаточно будет прогнать скрипт в любое время. Я вам рекомендую внимательно изучить его возможности. Подробно на них я сейчас не буду останавливаться, а рассмотрю только то, что касается памяти. Помимо прочего, вы увидите следующую информацию.

У меня уже все оптимизировано под потребленее не более примерно 6 Гб памяти. Расскажу, какие параметры за это отвечают. Как уже сказал ранее, это параметр innodb_buffer_pool_size. В общем случае для mysql сревера рекомендуют указывать этот параметр равный 80% доступной памяти сервера. Но это в том случае, если у вас кроме mysql на этом сервере ничего не крутится. А у нас там полно других служб, поэтому нам такой совет не подходит.

Дальше нам нужно выяснить, сколько памяти занимает thread (процесс, который порождает соединение) и в соотвествии с этим выставить предел числа подключений. Размер thread равен сумме следующих парметров — read_buffer_size + sort_buffer_size + join_buffer_size.

innodb_buffer_pool_size = 4G
sort_buffer_size = 18M
join_buffer_size = 18M
max_connections = 70

С такими настройками максимальное потребление памяти службой mysql не будет превышать 6.8 Гб, о чем подсказывает вывод mysqltuner. Конкретно моему сайту 70 подключений к mysql достаточно. До этого поставил 50, были сообщения о нехватке подключений. На своем сервере выбирайте параметры сами, у меня не копируйте.

 Maximum possible memory usage: 6.8G (58.69% of installed RAM)

На практике так и получилось. Через несколько дней я зашел и прогнал еще раз проверку, которая показала, что реально использование памяти не вышло за эти пределы. Плюс, подредактировал некоторые параметры.

Советы по изменению параметров даются в заключительной секции mysqltuner — Variables to adjust. Не буду приводить свои рекомендации, так как они будут актуальны только для конкретного сервера. Советую посмотреть все рекомендации, почитать описание параметров и попробовать применить их у себя. Слепо не надо менять то, что там советуют.

Приведу список основных параметров mysql, которые влияют на производительность и на которые надо в первую очередь обращать внимание:

max_connections
log_bin
table_open_cache_size
table_definitions_cache_size
open_files_limit
innodb_buffer_pool_size
innodb_log_file_size
innodb_flush_log_at_trx_commin
innodb_flush_method=O_DIRECT

Список взял отсюда. Очень полезная статья, рекомендую.

Где хранить константы доступные пользователям?

Не нашел подходящего места в системе администрирования для хранения констант, уникальных для всего сайта.Например, количества новостей для вывода на странице.(Нужно чтобы редактор контента имел возможность их изменять.)

Можно, конечно, создать фиктивный инфоблок, но это как-то криво. и придется проверять не создали ли их несколько или не удалили ли единственный (а тогда неплохо бы и запретить создание/удаление).Куча работы из-за 5 констант.

Кто как решает такие задачи?

И что порекомендуют разработчики?

Цитата
Влад К пишет:Куча работы из-за 5 констант.

Такие настройки задаются для каждого программного компонента. Параметры управляются в визуальном редакторе.Вы можете попробовать использовать свойства страниц (или разделов) для управления такими константами.

Цитата

Dmitry Valyanov пишет:

Цитата
Влад К пишет:

Куча работы из-за 5 констант.

Проверяем, кто занимает всю память на сервере

Я пошел на сервер и стал разбираться, в чем дело. Начал с того, что посмотрел, кто занимает оперативную память.

Дальше сервер кушал весь своп и прибивал процесс mysql с сообщением в системном логе:

Где CMS хранит настройки подключения к базе данных

Ниже приведена информация о конфигурационных файлах, хранящих настройки подключения к базам данных популярных CMS.

В корневом каталоге вашего сайта в файле configuration.php найдите строки:

u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
u1234567_database — база данных, которую использует сайт;
password — пароль, с которым сайт подключается к базе данных .

В корневом каталоге вашего сайта в файле wp-config.php найдите строки:

u1234567_database — база данных, которую использует сайт;
u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных .

В зависимости от версии Bitrix, а именно от используемого ядра, сведения о подключении к базе данных содержатся в разных файлах.

Bitrix с новым ядром D7

Начиная с версии «1С-Битрикс: Управление сайтом 14.0» настройки БД хранятся в файле /bitrix/.settings.php в секции «connections»

Bitrix со старым ядром

В корневом каталоге вашего сайта перейдите в подкаталог /bitrix/php_interface/ и в файле dbconn.php найдите строки:

u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных;
u1234567_database — база данных, которую использует сайт.

В корневом каталоге вашего сайта перейдите в подкаталог /config/ и в файле settings.inc.php найдите строки:

u1234567_database — база данных, которую использует сайт;
u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных.

В корневом каталоге вашего сайта перейдите в подкаталог /core/config/ и в файле config.inc.php найдите строки:

u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных;
u1234567_database — база данных, которую использует сайт.

В корневом каталоге вашего сайта перейдите в подкаталог /modules/core/config/ и в файле database.php найдите строки:

u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных;
u1234567_database — база данных, которую использует сайт.

В корневом каталоге вашего сайта перейдите в подкаталог /engine/data/ и в файле dbconfig.php найдите строки:

u1234567_database — база данных, которую использует сайт;
u1234567_dbuser — пользователь, от имени которого сайт подключается к базе данных;
password — пароль, с которым сайт подключается к базе данных.

источник

Где в bitrix env настройки mysql

Для начала нужно было проверить, где на сервере с bitrixenv хранятся настройки mysql. По аналогии с остальными настройками (php, apache, nginx), предвкушал долгие поиски и не ошибся. В итоге выяснил, что хранятся они в файле /etc/mysql/conf.d/bvat.cnf. Но мало узнать, где они хранятся. Как оказалось, этот файл формируется динамически при каждом запуске сервера, в зависимости от доступной оперативной памяти. Тут то я и понял, в чем проблема. Расскажу обо всем по порядку.

В bitrix env есть служба под названием bvat. Она стартует при загрузке сервера через /etc/init.d/bvat. Эта служба определяет количество оперативной памяти на сервере и в зависимости от этого меняет некоторые настройки web окружения. В частности mysql, php, apache. Можно посмотреть этот скрипт, чтобы понять, что он делает. Если кратко, то он запускает скрипт /etc/ansible/library/bx_perf, который подключает некоторые переменные и формирует новые конфиги. Свою работу логирует в файле /opt/webdir/logs/bvat.log.

В моем случае bvat не изменял конфиг для mysql. Я проверил документацию по нему на сайте битрикса. Четко сказано, что он работает при загрузке системы. Я запускал руками те проверки из скрипта, что должны менять именно mysql конфиг. Удалял конфиг, но bvat неизменно создавал новый конфиг, из расчета, что на сервере 16Гб памяти. Это так и было на момент первоначальной установки. Но со временем гипервизор нагрузили и память сделали динамическую, уменьшив максимально доступную.

В какой-то момент всем памяти на гипервизоре стало не хватать и он начал распределять ее по виртуальным машинам. Конкретно подопытному серверу стало доставаться меньше памяти, чем 16 Гб, но все конфиги были заточены под это количество. Из-за этого серверу не хватало памяти и он начинал уходить в своп и аварийно перезапускать службы, пожирающие память.

Когда я все понял, сделал виртуальной машине статическую память (меньше 16Гб) и перезагрузился. Но конфиг mysql не изменился. Тут явно какой-то глюк. bvat по прежнему откуда-то доставал 16Гб памяти и на основе их рисовал конфиг. Я просмотрел весь скрипт. Там используется несколько проверок памяти. Я посмотрел основную, через free -m, она показывает корректное значение, которое меньше 16Гб, но bvat откуда-то берет другое число. Я не стал разбираться с этим, так как налицо баг, который скорее всего либо уже исправлен, либо будет исправлен после какого-нибудь обновления.

Что получим

Веб-окружение позиционируется, как лучшее решение для всей линейки продуктов Битрикс – как для всех редакций “1С-Битрикс: Управление Сайтом” так и для коробки Битрикс24. Давайте посмотрим, что нам предлагают использовать в качестве рекомендуемой связки. Сама схема традиционна: Apache+nginx. Для текущей 7.0.1 версии веб-окружения используются стабильные Apache 2.4 и nginx 1.10.2. Самое главное нововведение, переход на php 7. Про официальную поддержку nginx+php-fpm пока даже слухов нет, так что данный вариант по прежнему придется собирать руками. Версия MySQL, а точнее форка MariaDB, по прежнему 5.5, в соответствии с официальными репозиториями CentOS. Хотя, если вы обновлялись до последних версий Битрикс, наверняка встречали предложение выполнить в консоли БД некий sql-запрос для модуля “Веб-мессенджер”, который можно провернуть только с версией 5.6. Про переход на 5.6, так же как нибудь расскажу. Что еще входит в пакет:

memcached – сервис обеспечивающий кеширование данных в ОЗУ, при правильном использовании дает значительное ускорение работы. По умолчанию не используется;
stunnel – для организации шифрованных ssl-тунелей;
catdoc – библиотека для работы с форматами MS Office. В частности используется для поиска по документам;
xpdf – задачи те же что и пунктом выше, только для PDF;
munin и nagios – мониторинг состояния сервера. По умолчанию не используется;
sphinx – полнотекстовый поиск. На данный момент наилучшее решение по удобству, качеству и скорости поиска. По умолчанию не используется.

Само собой все это уже настроено на корректную работу друг с другом. Давайте ставить.

Оптимизация php под bitrix

Из настроек php я бы обратил внимание на следующие параметры:

memory_limit — максимальное количетсво памяти на выполнение php скрипта;
sendmail_path — управляет параметрами отправки сообщений, хотя к теме текущей статьи и не имеет отношение;
post_max_size — максимальный размер данных для всего POST запроса;
upload_max_filesize — максимальный размер файла для загрузки через POST запрос;
max_execution_time — максимальное время в секундах, в течение которого скрипт должен полностью загрузиться.

Bitrix где настройки mysql

Курс предназначен для организаций, предоставляющих услуги хостинга и желающих получить компетенцию Рекомендуемый хостинг.

В курсе рассматриваются требования платформы Bitrix Framework к хостингу, вопросы установки, настройки продукта а также вопросы инструментов и методов оптимизации серверов и баз данных для работы с системой

Для хостеров не является обязательным, но рекомендуется изучение курсов Контент-менеджер и Администратор. Базовый для получения более полного представления о возможностях системы и способах работы с ней.

Рекомендуется ознакомиться с опытом настройки и тестирования серверов в блогах Александра Демидова и Дениса Шаромова, а так же с отзывами клиентов о хостингах в группе Черный и белый список хостингов социальной сети компании «1С-Битрикс».

Если ваш хостинг на Windows, то вам может быть полезна группа 1С-Битрикс на платформе Windows Server 2008 в социальной сети сайта «1С-Битрикс». В ней пользователи делятся опытом работы системы на IIS 7.

После изучения курса вам будет предложено пройти тесты на сертификацию. При успешной сдаче линейки тестов на странице Моё обучение можно просмотреть результат обучения и загрузить сертификат в формате PDF.

На каждой странице курса авторизованный на сайте посетитель может дать комментарий к содержимому страницы. Комментарий — не форум, там не ведётся обсуждений или разъяснений. Это инструмент для сообщений нам об ошибках, неточностях. Для отправки комментария воспользуйтесь расположенной в правом нижнем углу окна браузера кнопкой:

Скачать материалы курса в формате CHM. Файлы формата CHM обновляются ежемесячно, тем не менее, возможно некоторое отставание их от онлайновой версии курса.

Чтобы отключить подобное отношение к файлу необходимо:

перейти в свойства файла на вкладку

Общие. Внизу у Вас отобразится сообщение о том, что этот файл был заблокирован системой с целью защиты компьютера.

Отсутствие кнопки Разблокировать возможно в двух случаях:

Файл лежит не локально, а на сетевом ресурсе.
Если файл лежит на локальном диске, но путь к нему содержит спецсимволы (# и прочие).

источник

Проверяем, кто занимает всю память на сервере

Я пошел на сервер и стал разбираться, в чем дело. Начал с того, что посмотрел, кто занимает оперативную память.

Дальше сервер кушал весь своп и прибивал процесс mysql с сообщением в системном логе:

Где хранить константы доступные пользователям?

Кто как решает такие задачи?

И что порекомендуют разработчики?

Цитата
Влад К пишет:Куча работы из-за 5 констант.

Цитата

Dmitry Valyanov пишет:

Цитата
Влад К пишет:

Куча работы из-за 5 констант.

Выводы

Итак, мы с вами рассмотрели часто используемый оптимизаторами функционал в рамках системы 1С-Битрикс. Очень мало систем управления могут похвастаться таким широким инструментарием из коробки. В связи с чем цена Битрикса становится более чем оправданной, а в перспективе вам удастся даже сильно сэкономить на времени работы специалистов, менеджеров, разработчиков.

Мифы о медленной скорости Битрикса, к счастью для владельцев данной системы управления, не являются правдой, но к этому вопросу нужно подойти очень ответственно:

Подберите оптимизированный функциональный шаблон. Всегда помните, что скупой платит дважды. Выбирайте варианты, которые имеют высокую скорость загрузки, большой набор настроек, микроразметку и другие полезные инструменты. В перспективе более дорогой шаблон с данным функционалом из коробки обойдется вам дешевле, чем доработка дешевого шаблона.
Подберите хостинг или сервер, подходящий под ваши требования: объем каталога, количество визитов, нагрузка, которую дают используемые на страницах внешние плагины и компоненты.
Не экономьте на разработчиках. Выбирайте ответственных сертифицированных специалистов, которые будут вносить доработки именно в шаблоны без кастомизации непосредственно ядра. Обязательно уточняйте, будут ли внесенные изменения перетираться при обновлении системы управления и шаблона.

Очень часто бывает так, что заказчики или специалисты не знают особенностей системы управления, из-за чего ставят различные модули и костыли, которые полностью или частично дублируют типовой функционал. Это сильно усложняет работу, поэтому прежде чем поставить что-либо из Маркетплейса, обязательно узнайте, вдруг это уже есть в вашей редакции.

Если вам все-таки не хватает какого-либо функционала, скорее всего он уже есть среди готовых решений в Маркетплейсе.

И в заключении хочу сказать, что в плане работы для SEO-специалиста Битрикса — самая удобная платформа. Это по нашей личной статистике.

Спасибо за внимание и до связи!

Заключение

После оптимизации всех указанных выше параметров в bitrixenv, потребление памяти сервером стабилизировалось. Bitrix сайт стал работать ровно с предсказуемой производительностью без неожиданных тормозов и падений.

На этом у меня все по теме оптимизации настроек сервера под bitrix. Система интересная и многогранная. Всегда любопытно заглянуть под капот bitrixenv. Как по мне, сделано неплохо, хотя и доставляет хлопот при разборе каких-то иницидентов.

В целом считаю, что в общем случае, все сделано удобно и функционально для быстрого запуска bitrix сайта. Справится даже неподготовленный человек, а конкретно какой-нибудь программист. Он бы запарился настраивать эту связку самостоятельно, а тут все из коробки работает. Но вот если возникают проблемы, то разобраться бывает не всегда просто.

Следующим этапом жду появление docker сборок с bitrixenv внутри. Либо один общий образ, либо набор через docker-compose. Это было бы логичное продолжение развития в свете популярности контейнеров и микросервисов.

Онлайн курс «DevOps практики и инструменты»

Если у вас есть желание научиться строить и поддерживать высокодоступные и надежные системы, научиться непрерывной поставке ПО, мониторингу и логированию web приложений, рекомендую познакомиться с онлайн-курсом «DevOps практики и инструменты» в OTUS. Курс не для новичков, для поступления нужны базовые знания по сетям и установке Linux на виртуалку. Обучение длится 5 месяцев, после чего успешные выпускники курса смогут пройти собеседования у партнеров.

Проверьте себя на вступительном тесте и смотрите программу детальнее по .

Заключение

К bitrixenv у меня неоднозначное отношение. С одной стороны удобно, что все собрано в одном месте, связано друг с другом и быстро устанавливается, настраивается. Но когда нужно дебажить какие-то проблемы, уходит в разы больше времени, чем если бы ты использовал классический веб сервер, настроенный собственноручно. Сейчас я уже неплохо ориентируюсь в bitrixenv, решаю вопросы быстро, но с mysql столкнулся впервые. Обычно там проблемы с конфигами php, apache, nginx, с отправкой почты.

Закономерный вывод в конце — bitrixenv не предназначен для работы на сервере с динамической оперативной памятью. Надо либо отключать bvat, либо ставить статическую память виртуальной машине.