9 мин

146

Привет, Хабр!

Меня зовут Жуйков Андрей, в Диасофт я занимаюсь развитием и продвижением СУБД Digital Q.DataBase.

За последние несколько лет тема импортозамещения систем управления базами данных перестала быть исключительно вопросом соответствия требованиям регуляторов. Сегодня для многих организаций это уже практическая задача, которую необходимо решать без остановки бизнес-процессов и без многомесячной переработки прикладных систем.

На практике ситуация выглядит достаточно типично. В компании уже работают приложения, рассчитанные на MS SQL Server, PostgreSQL или Oracle Database. За годы эксплуатации вокруг них формируется большая экосистема: накопленная бизнес-логика, отчеты, интеграции, процедуры, триггеры и собственные инструменты администрирования. Полный перенос всего этого хозяйства на новую СУБД часто оказывается самым дорогим и рискованным этапом проекта.

На практике объем работ при миграции может быть весьма значительным. Представим информационную систему, содержащую около 2 000 хранимых процедур и функций общим объёмом порядка 900 тысяч строк SQL-кода. Ручная переработка такого количества объектов под новую СУБД может занять многие месяцы работы команды разработчиков и сопровождаться высоким риском появления ошибок.

Даже при использовании автоматизированных средств конвертации большая часть проектов требует последующей доработки, тестирования и исправления несовместимостей. Именно поэтому одним из ключевых требований при выборе новой платформы становится возможность сохранить существующую прикладную логику и минимизировать объем изменений в коде приложений.

Подход, реализованный в Digital Q.DataBase, позволяет существенно сократить объем необходимых доработок за счет воспроизведения функциональности популярных СУБД и поддержки привычных протоколов взаимодействия. В результате многие системы могут быть перенесены значительно быстрее по сравнению с полной переработкой прикладного слоя.

Именно поэтому при разработке Digital Q.DataBase мы сделали ставку не только на импортозамещение, но и на совместимость с существующими системами. СУБД поддерживает несколько популярных диалектов SQL и позволяет запускать многие приложения без масштабной переработки их логики.

Недавно вышла версия Digital Q.DataBase 18.2, в которой была существенно переработана архитектура продукта. Вместо единого монолитного решения СУБД получила независимые компоненты, воспроизводящие функциональность PostgreSQL, Microsoft SQL Server и Oracle Database.Такой подход упрощает установку, сопровождение и обновление системы, а также позволяет использовать только те компоненты, которые действительно необходимы в конкретном проекте.

В этой статье я покажу, как установить Digital Q.DataBase 18.2 на Astra Linux 1.8, познакомлю с новой архитектурой продукта и продемонстрирую подключение к каждому из поддерживаемых диалектов.

Что такое Digital Q.DataBase

Digital Q.DataBase — российская СУБД, предназначенная для построения корпоративных информационных систем и миграции с зарубежных платформ управления данными.

Одной из ключевых особенностей продукта является поддержка нескольких диалектов SQL, что позволяет использовать привычные механизмы работы для приложений, изначально разработанных под PostgreSQL, Microsoft SQL Server или Oracle Database.

Основные возможности платформы:

• поддержка нескольких SQL-диалектов;

• снижение объема доработок при миграции приложений;

• развитые механизмы безопасности и разграничения доступа;

• резервное копирование и восстановление данных;

• поддержка поколоночного и in-memory хранения данных;

• партиционирование и масштабирование крупных баз данных;

• инструменты миграции существующих систем.

Версия 18.2 стала одним из самых заметных обновлений платформы за последнее время благодаря переходу на новую модульную архитектуру.

Что изменилось в версии 18.2

Главное изменение — разделение СУБД на три независимых модуля:

• Pearl — модуль PostgreSQL;

• Marble — модуль, воспроизводящий функциональность Microsoft SQL Server;

• Onyx — модуль, воспроизводящий функциональность Oracle Database.

Теперь каждый модуль можно устанавливать, обновлять и сопровождать отдельно от остальных. Например, если в инфраструктуре используются только приложения PostgreSQL, можно установить исключительно модуль Pearl.

Дополнительно для PostgreSQL-совместимого режима были выбраны стандартные настройки, привычные большинству администраторов:

• порт 5432 вместо использовавшихся ранее нестандартных значений;

• пользователь postgres по умолчанию;

• стандартные механизмы подключения клиентских приложений.

Благодаря этому многие существующие приложения начинают работать практически без изменения настроек подключения.

Кроме архитектурных изменений, в версии 18.2 существенно расширена совместимость с Microsoft SQL Server и Oracle Database. Добавлена поддержка новых конструкций языка, улучшена работа с процедурами, функциями, правами доступа и средствами администрирования.

Получение дистрибутива

Дистрибутив Digital Q.DataBase можно скачать с сайта Диасофт.

Для Astra Linux 1.8 поставка включает четыре пакета:

• qdatabase-18-pearl — модуль PostgreSQL;

• qdatabase-18-marble — модуль, воспроизводящий функциональность Microsoft SQL Server;

• qdatabase-18-onyx — модуль, воспроизводящий функциональность Oracle Database;

• qdatabaseclient-18 — клиентские инструменты и дополнительные утилиты.

Такой подход позволяет устанавливать только необходимые компоненты.
 
Важно отметить, что каждый режим Digital Q.DataBase работает как отдельный экземпляр сервера и имеет собственные конфигурационные файлы.

Например:

• Pearl (PostgreSQL) — /var/lib/qdatabase-18/pearl/data/pg_hba.conf

• Marble (T-SQL) — /var/lib/qdatabase-18/marble/data/pg_hba.conf

• Onyx (Oracle) — /var/lib/qdatabase-18/onyx/data/pg_hba.conf

Важно отметить, что каждый режим Digital Q.DataBase работает как отдельный экземпляр сервера и использует собственный файл postgresql.conf, расположенный в каталоге данных соответствующего экземпляра:

• Pearl (PostgreSQL) — /var/lib/qdatabase-18/pearl/data/postgresql.conf

• Marble (T-SQL) — /var/lib/qdatabase-18/marble/data/postgresql.conf

• Onyx (Oracle) — /var/lib/qdatabase-18/onyx/data/postgresql.conf

Через данные файлы настраиваются сетевые параметры серверов, лимиты подключений, параметры памяти и другие настройки экземпляров СУБД.

Системные требования

Для установки потребуется: 

• Astra Linux 1.8;

• доступ к стандартному репозиторию пакетов Astra Linux;

• права администратора;

• бесплатная версия до 8 ядер.

Если доступ к репозиторию ограничен политиками безопасности, необходимо заранее подготовить локальное зеркало репозитория. Без этого установка не сможет завершиться успешно из-за отсутствия зависимостей. Не забудьте подготовить на сервере необходимые вам кодировки.

Установка Digital Q.DataBase 18.2

Перед началом установки рекомендуется обновить список пакетов:

sudo apt update

Установка PostgreSQL-модуля pearl:

sudo apt install ./qdatabase-18-pearl-18.2.26061101-astra1.8_x86_64.deb

После установки PostgreSQL-модуля необходимо обязательно применить данную команду, будь то кластер или просто нода:

sudo /opt/qdatabase-18/pearl/bin/pg_setting.sh

Проверяем запуск сервиса:
Сервер должен находиться в состоянии active (running) и прослушивать порт 5432.

Проверка работы сервиса. Проверим выполнение запросов:

Настройка удаленного доступа. Для подключения внешних клиентов определим расположение конфигурационных файлов hba_file и config_file
 
Добавим необходимые правила в pg_hba.conf:

host    all    all    0.0.0.0/0    md5
host    all    all    ::/0         md5

В файле postgresql.conf разрешим прослушивание сетевых интерфейсов

listen_addresses='*'

и перезапустим сервис используя sudo systemctl restart qdatabase-18.service:

Подключение из DBeaver

После настройки сетевого доступа подключение выполняется стандартным PostgreSQL-драйвером.

Параметры подключения:

• Host: IP-адрес сервера;

• Port: 5432;

• Database: postgres;

• User: postgres.

Установка модуля, воспроизводящего функциональность Microsoft SQL Server:

sudo apt install ./qdatabase-18-marble-18.2.26061101-astra1.8_x86_64.deb

Порт 1433 соответствует стандартному порту Microsoft SQL Server.

Проверка сервиса T-SQL

Для демонстрации совместимости выполним оператор MERGE:

MERGE employees AS target
 USING employee_updates AS source
 ON target.id = source.id
 WHEN MATCHED THEN
     UPDATE SET salary = source.salary
 WHEN NOT MATCHED THEN
     INSERT (fullname, salary)
     VALUES (source.fullname, source.salary);
 go

Для подключения к модулю Marble можно использовать стандартный драйвер Microsoft SQL Server.

Параметры подключения:

• Host: IP-адрес сервера;

• Port: 1433;

• User: qdbadmin.

Установка модуля, воспроизводящего функциональность Oracle Database:

sudo apt install ./qdatabase-18-onyx-18.2.26061101-astra1.8_x86_64.deb

По умолчанию используется стандартный Oracle-порт 1521.

Подключимся к модулю onyx через qclient и выполним простой пример с использованием пакета DBMS_RANDOM:

SELECT
     DBMS_RANDOM.STRING('U', 8) AS random_text,
     ROUND(DBMS_RANDOM.VALUE(1,100),2) AS random_number
 FROM dual;

Результат демонстрирует работу Oracle-совместимого SQL-диалекта и системных пакетов.

Для подключения к модулю Onyx из DBeaver укажите следующие параметры:

• Сервер: ВАШ_IP

• Порт: 1521

• База данных: qdbora

• Пользователь: SYSDBA

• Пароль: SYSDBA

В окне «Настройки драйвера» на вкладке «Библиотеки» удалите все существующие элементы списка и добавьте предоставленный компанией «Диасофт» JDBC-драйвер jdbc-42.7.0.jar.

После установки всех трех компонентов на одном сервере становятся доступны сразу три режима работы Digital Q.DataBase, воспроизводящие функциональность PostgreSQL, Microsoft SQL Server и Oracle Database. Это позволяет подключать существующие приложения через привычные протоколы и использовать уже имеющийся SQL-код без масштабного переписывания бизнес-логики.

При необходимости устанавливаем клиентскую часть:

sudo apt install ./qdatabaseclient-18-18.2.26061101-astra1.8_x86_64.deb

Просмотр содержимого пакета через dpkg-deb.
Клиентская часть СУБД (наименование qdb_client..) содержит интерактивные sql-строки (psql, qclient) и Мастер переноса БД.

Порты и параметры подключения

После установки сервисы становятся доступны на стандартных портах:

Перед установкой рекомендуется убедиться, что эти порты свободны:

sudo netstat -tulpn | grep -E ":(5432|1433|1521)\s"

Расположение файлов

Исполняемые файлы:

/opt/qdatabase-18/pearl
/opt/qdatabase-18/marble
/opt/qdatabase-18/onyx

Данные:

/var/lib/qdatabase-18/

Логи:

/var/log/qdatabase-18/

Клиентские утилиты:

/opt/qdb

Сервисы

После установки запускаются следующие сервисы:

• qdatabase-18 — модуль Pearl;

• qdatabase-18-marble — модуль Marble;

• qdatabase-18-onyx — модуль Onyx;

• qdbparse — сервис обработки Oracle-совместимых запросов.

Проверка состояния:

sudo systemctl status qdatabase-18
sudo systemctl status qdatabase-18-marble
sudo systemctl status qdatabase-18-onyx

Консольное подключение к модулю Pearl

По умолчанию создается база данных postgres.

Подключение:

psql -U postgres -d postgres

или

psql -U postgres -d postgres -h localhost -p 5432

Консольное подключение к модулю Marble

tsql -H localhost -p 1433 -U qdbadmin -P qdbadmin -D master

Как и в Microsoft SQL Server, выполнение пакета команд осуществляется после командыgo

Консольное подключение к модулю Onyx

qclient qdb://SYSDBA:SYSDBA@localhost:1521/qdbora

Пример подключения прикладной системы

В реальных проектах возможности Digital Q.DataBase используются не только при работе через административные консоли и клиентские утилиты. Платформа позволяет запускать прикладные системы, которые ранее использовали Microsoft SQL Server или Oracle Database в качестве серверов данных.

Для пользователя приложения процесс работы остается привычным: используются те же механизмы подключения, а основная бизнес-логика продолжает выполняться на стороне базы данных. Именно поэтому совместимость с существующими диалектами SQL и протоколами взаимодействия играет важную роль при миграции корпоративных информационных систем.

Что дальше

Digital Q.DataBase 18.2 — это не только обновление совместимости с популярными СУБД, но и серьезное изменение архитектуры продукта. После установки всех трех модулей на одном сервере организация получает единую платформу данных, способную воспроизводить функциональность PostgreSQL, Microsoft SQL Server и Oracle Database. Это позволяет запускать существующие приложения с минимальными изменениями, сокращать сроки миграции и снижать объём переработки прикладного кода.
 
Помимо рассмотренных в статье возможностей, в версии 18.2 были существенно доработаны механизмы совместимости с Microsoft SQL Server и Oracle Database, улучшены средства миграции данных и появились новые инструменты для построения отчетности.

В следующих материалах подробнее рассмотрим миграцию существующих баз данных и практические сценарии запуска прикладных систем на Digital Q.DataBase.