[Sysadmins] Создание кластера

[Sysadmins] Создание кластера

[Шенцев Алексе владимирович]

Всем привет!
Планируется закупить несколько серверов.
Хотим создать кластер и запихнуть различные сервисы и сервера в 
виртуальные контейнеры на кластеры.
Как создаётся кластер?
Что для этого нужно: ПО, дополнительная аппаратура?
Как сделать кластер на базе альта?
В общем что, где почитать, кто что посоветует, расскажет?

Re: [Sysadmins] Создание кластера

[Anton Farygin]

On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
> Всем привет!
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера в
> виртуальные контейнеры на кластеры.
> Как создаётся кластер?
> Что для этого нужно: ПО, дополнительная аппаратура?
> Как сделать кластер на базе альта?
> В общем что, где почитать, кто что посоветует, расскажет?

Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.

Если деньги позволяют - берите нормальную дисковую полку, и подключайте 
её по чему-то быстром (FibreChannel, например).

Желательно полку набить SSD, но это совсем не бюджетно.

Дальше зависит от задач, которые будут крутиться на виртуалках, железа и 
поставленных целей.

Re: [Sysadmins] Создание кластера

[Шенцев Алексей Владимирович]

26.07.2014 00:13, Anton Farygin пишет:
> On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
>> Всем привет!
>> Планируется закупить несколько серверов.
>> Хотим создать кластер и запихнуть различные сервисы и сервера в
>> виртуальные контейнеры на кластеры.
>> Как создаётся кластер?
>> Что для этого нужно: ПО, дополнительная аппаратура?
>> Как сделать кластер на базе альта?
>> В общем что, где почитать, кто что посоветует, расскажет?
>
> Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.
>
> Если деньги позволяют - берите нормальную дисковую полку, и
> подключайте её по чему-то быстром (FibreChannel, например).


Какое железо посоветуешь?
Пока думаем в сторон железа от: IBM, HP, Dell.

> Желательно полку набить SSD, но это совсем не бюджетно.

Хм ... Да же для компании в которой сейчас работую дороговато будет (не
в смысле денег мало, а в смысле вряд ли дадут много).
Предполагается так же сетевое хранилище.

> Дальше зависит от задач, которые будут крутиться на виртуалках, железа
> и поставленных целей.

Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
готова для этого?), терминал- сервера.
Это для начала.

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [Sysadmins] Создание кластера

[alexei]

----- Исходное сообщение -----
> От: "Шенцев Алексей Владимирович" <ashen@mail.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 5:23:18
> Тема: Re: [Sysadmins] Создание кластера
> 

...

> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.

Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
обслуживать, но на бОльших нагрузках рано или поздно придется ставить
его на голое железо.

ADC на нашей самбе поднять можно, только ее надо пересобрать с поддержкой DC

Re: [Sysadmins] Создание кластера

[Anton Gorlov]

26.07.2014 05:58, alexei@taf.ru пишет:
> Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> его на голое железо.
Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и
тянет более чем.
Причём хостинг помимо обычных  php ещё и  кучку тяжеловесов в виде ruby,
apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с
mysql/percona и postgresql,mongodb
Порядка 1к вхостов, из которых более 200  ruby (unicorn)

Re: [Sysadmins] Создание кластера

[alexei]

----- Исходное сообщение -----
> От: "Anton Gorlov" <stalker@altlinux.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 16:49:14
> Тема: Re: [Sysadmins] Создание кластера
> 
> 26.07.2014 05:58, alexei@taf.ru пишет:
> > Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> > не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> > обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> > его на голое железо.
> Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и
> тянет более чем.
> Причём хостинг помимо обычных  php ещё и  кучку тяжеловесов в виде ruby,
> apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с
> mysql/percona и postgresql,mongodb
> Порядка 1к вхостов, из которых более 200  ruby (unicorn)

Я говорил исключительно про работу Squid внутри виртуалок. Перечисленное вами
и у меня работает в виртуалках в товарных количествах, на радость пользователям.

Равно как и не имеет смысла городить виртуальные роутеры. Даже с прямым пробросом
сетевых карт из хост-систем внутрь виртуалки (при этом теряется серьезный козырь
в виде абсолютной независимости гостевой системы от аппаратной конфигурации хоста),
можно выхватить ~50% деградацию производительности.

Re: [Sysadmins] Создание кластера

[Stanislav Vlasov]

26 июля 2014 г., 7:58 пользователь  <alexei@taf.ru> написал:
>> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
>> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
>> готова для этого?), терминал- сервера.
>> Это для начала.
>
> Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> его на голое железо.

Года 3 назад было ~300 клиентов, внешний канал вначале 20Мбит, потом
расширили до 100Мбит, Alt 4.0 (слегка заапгрейженый до того сизифа),
пользователи в локальной реплике LDAP.
Не затыкалось на виртуалке с одним ядром и гигом памяти.
vmware, дисковая полка - HP EVA P4000.

-- 
Stanislav

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.
>
Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У меня 
в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда его 
выключаю, заметно резвее работают другие виртуалки. Но у меня не 
дисковая полка) 2 sas 10K в raid1.

Re: [Sysadmins] Создание кластера

[Anton Gorlov]

Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
noop и на серверах с хостингом noop
Плюс режим  virtio для дисков и writeback режим кеширования

26.07.2014 18:33, Фаизов Алишер пишет:
>
>> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
>> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
>> готова для этого?), терминал- сервера.
>> Это для начала.
>>
> Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У
> меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда
> его выключаю, заметно резвее работают другие виртуалки. Но у меня не
> дисковая полка) 2 sas 10K в raid1.

Re: [Sysadmins] Создание кластера

[alexei]

----- Исходное сообщение -----
> От: "Anton Gorlov" <stalker@altlinux.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 23:52:11
> Тема: Re: [Sysadmins] Создание кластера
> 
> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
> noop и на серверах с хостингом noop
> Плюс режим  virtio для дисков и writeback режим кеширования
> 
> 26.07.2014 18:33, Фаизов Алишер пишет:
> >
> >> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> >> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> >> готова для этого?), терминал- сервера.
> >> Это для начала.
> >>
> > Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У
> > меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда
> > его выключаю, заметно резвее работают другие виртуалки. Но у меня не
> > дисковая полка) 2 sas 10K в raid1.

К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в
виде файловых образов, то дисковая производительность мало уступает таковой
для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так
и сделал.

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

> К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в
> виде файловых образов, то дисковая производительность мало уступает таковой
> для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так
> и сделал.
> _______________________________________________
>
Это понятно, читал много статей с подобным замечанием, но на образах 
легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов, буду 
благодарен.

Re: [Sysadmins] Создание кластера

[Валентин Росавицкий]

26.07.2014 19:18, Фаизов Алишер пишет:
>
>> К написанному добавлю, что если выделять диск для гостя в виде LVM, а 
>> не в
>> виде файловых образов, то дисковая производительность мало уступает 
>> таковой
>> для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую 
>> базу так
>> и сделал.
>> _______________________________________________
>>
> Это понятно, читал много статей с подобным замечанием, но на образах 
> легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов, 
> буду благодарен.
Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv") читаем 
разделы с лвма, дальше маунтим (mount -o ro 
/dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все 
заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После 
окончания бэкапа kpartx -d /dev/"$vg"/"$lv"

> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins


-- 
С уважением,
Валентин Росавицкий

Re: [Sysadmins] Создание кластера

[alexei]

----- Исходное сообщение -----
> От: "Фаизов Алишер" <alisher_faiz@rambler.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Понедельник, 28 Июль 2014 г 1:01:41
> Тема: Re: [Sysadmins] Создание кластера
> 
> 27.07.2014 03:04, Anton Gorlov пишет:
> 
> 
> 
> 27.07.2014 00:53, Валентин Росавицкий пишет:
> 
> 
> Мы делаем так - через kpartx (kpartx -av / dev/mapper / "$vg"-"$lv") читаем
> разделы с лвма, дальше маунтим (mount -o ro / dev/mapper /
> "$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все заскриптовано, скрипты
> дергаются бакулой перед началом бэкапа. После окончания бэкапа kpartx -d /
> dev / "$vg"/"$lv" У меня бакула-клиенты крутятся внутри виртуалок. Думаю
> разница несущественная
> 
> А виндовые виртуалки?

С ними все еще проще, так как виндовый клиент бакулы умеет работать с VSS

Re: [Sysadmins] Создание кластера

[Anton Gorlov]

bacula-client емнип под винду тоже есть.
А так..в своё время наступил на чудесатые глюки при бекапе
ксеновиртуалок методом монтирования в хост систему разделов с гостями.
Так например в госте файл изменился, а в хост системе всё ещё хз какой
древности. sync на госте конечно же не помогал

27.07.2014 20:01, Фаизов Алишер пишет:
> 27.07.2014 03:04, Anton Gorlov пишет:
>> 27.07.2014 00:53, Валентин Росавицкий пишет:
>>> Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv")
>>> читаем разделы с лвма, дальше маунтим (mount -o ro
>>> /dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все
>>> заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После
>>> окончания бэкапа kpartx -d /dev/"$vg"/"$lv" 
>> У меня бакула-клиенты крутятся внутри виртуалок. Думаю разница
>> несущественная
>>
> А виндовые виртуалки?
>
>

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

26.07.2014 20:52, Anton Gorlov пишет:
> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
> noop и на серверах с хостингом noop
> Плюс режим  virtio для дисков и writeback режим кеширования
>
>
Поменял. Буду наблюдать. Спасибо. Был до этого CFQ.

Re: [Sysadmins] Создание кластера

[Anton Gorlov]

С  CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не
лучше.. Но у меня десктоп-мутант :)
Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес..  и в громоптице
кучка ящиков с примерно 10к писем (imap)

26.07.2014 20:08, Фаизов Алишер пишет:
>> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
>> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
>> noop и на серверах с хостингом noop
>> Плюс режим  virtio для дисков и writeback режим кеширования
>>
>>
> Поменял. Буду наблюдать. Спасибо. Был до этого CFQ. 

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

26.07.2014 22:11, Anton Gorlov пишет:
> С  CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не
> лучше.. Но у меня десктоп-мутант :)
> Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес..  и в громоптице
> кучка ящиков с примерно 10к писем (imap)
>
>
У мен примерно также на ноутбуке) А с cfq на нем вообще 12309 проявляется.

Re: [Sysadmins] Создание кластера

[Anton Farygin]

On 26.07.2014 00:23, Шенцев Алексей Владимирович wrote:
> 26.07.2014 00:13, Anton Farygin пишет:
>> On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
>>> Всем привет!
>>> Планируется закупить несколько серверов.
>>> Хотим создать кластер и запихнуть различные сервисы и сервера в
>>> виртуальные контейнеры на кластеры.
>>> Как создаётся кластер?
>>> Что для этого нужно: ПО, дополнительная аппаратура?
>>> Как сделать кластер на базе альта?
>>> В общем что, где почитать, кто что посоветует, расскажет?
>>
>> Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.
>>
>> Если деньги позволяют - берите нормальную дисковую полку, и
>> подключайте её по чему-то быстром (FibreChannel, например).
>
>
> Какое железо посоветуешь?
> Пока думаем в сторон железа от: IBM, HP, Dell.

Да любое собственно, главное что б подключалось напрямую к серверам не 
по Ethernet.

>
>> Желательно полку набить SSD, но это совсем не бюджетно.
>
> Хм ... Да же для компании в которой сейчас работую дороговато будет (не
> в смысле денег мало, а в смысле вряд ли дадут много).
> Предполагается так же сетевое хранилище.

Сетевое IMHO тормозить будет.


>
>> Дальше зависит от задач, которые будут крутиться на виртуалках, железа
>> и поставленных целей.
>
> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.

а тут ещё нагрузки надо учитывать. Как резонно заметили в треде - под 
большой нагрузкой нет смысла уходить в виртуалки, а

Re: [Sysadmins] Создание кластера

[Anton Gorlov]

28.07.2014 12:36, Anton Farygin пишет:
> Да любое собственно, главное что б подключалось напрямую к серверам не
> по Ethernet. 
infiniband или как оно там понравилось, когда успел пощупать

Re: [Sysadmins] Создание кластера

[Anton Farygin]

On 28.07.2014 12:43, Anton Gorlov wrote:
> 28.07.2014 12:36, Anton Farygin пишет:
>> Да любое собственно, главное что б подключалось напрямую к серверам не
>> по Ethernet.
> infiniband или как оно там понравилось, когда успел пощупать

или всё-таки fibrechannel ?
да, можно и infiniband, но там есть свои минусы, начиная с цены и 
заканчивая назначением в первую очередь в качестве быстрого 
интерконнекта для вычислений.

и поверх inifniband должна жить какая-то FS. Какая ? lustre или glusterfs ?

Re: [Sysadmins] Создание кластера

[Michael Shigorin]

On Mon, Jul 28, 2014 at 12:58:48PM +0400, Anton Farygin wrote:
> да, можно и infiniband, но там есть свои минусы, начиная с цены

Для точки-точки можно и без свича обойтись, помнится.

> и заканчивая назначением в первую очередь в качестве быстрого
> интерконнекта для вычислений.

Из HPC многое года за три начинает перетекать в датацентры.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] Создание кластера

[Michael Shigorin]

On Fri, Jul 25, 2014 at 10:20:47PM +0400, Шенцев Алексе владимирович wrote:
                                                      ^^^
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера
> в виртуальные контейнеры на кластеры.  Как создаётся кластер?

Обычно помогает формулировать собственно задачу,
а не сырое видение решения.  И не искать под фонарём.

Скажем, у нас в своё время жил терминальный сервер в одном
контейнере ovz и три хэшерницы -- в соседних с ним.

Задачей было обеспечить фунциклирование офиса,
проблемой -- острая нехватка железа.

Решением оказалась консолидация ресурсов с разделением дисковой
нагрузки по различным физическим шпинделям (точнее, зеркалам на
них) -- это сильно помогает бороться с падением IOPS на HDD.

Лёш, это американцы пусть думают от "у меня есть".
Мы думаем от конечной точки, дедуктивно.
Распиши себе: что надо.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

26.07.2014 00:20, Шенцев Алексе владимирович пишет:
> Всем привет!
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера в 
> виртуальные контейнеры на кластеры.
> Как создаётся кластер?
> Что для этого нужно: ПО, дополнительная аппаратура?
> Как сделать кластер на базе альта?
> В общем что, где почитать, кто что посоветует, расскажет?
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь поднять подобное.

Re: [Sysadmins] Создание кластера

[Dmitriy L. Kruglikov]

On Mon, 28 Jul 2014 11:36:44 +0600
Фаизов Алишер wrote:

> Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь
> поднять подобное.

Как бы, это...
Определитесь сперва, кластер вам для чего?
Для обеспечения высокой доступности? Тогда один разговор.
А если для обеспечения балансировки нагрузки, то совершенно другой.
А если всё сразу, то множим первое на второе.

Будут немного разные требования как к железу, так и к набору решений.
При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить...
;)

-- 
Best regards,
 Dmitriy Kruglikov

Re: [Sysadmins] Создание кластера

[Фаизов Алишер]

> Как бы, это...
> Определитесь сперва, кластер вам для чего?
> Для обеспечения высокой доступности? Тогда один разговор.
> А если для обеспечения балансировки нагрузки, то совершенно другой.
> А если всё сразу, то множим первое на второе.
>
> Будут немного разные требования как к железу, так и к набору решений.
> При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить...
> ;)
>
Я рассматриваю для shared vps. Для высокой доступности, балансировка не 
важна особо. 3 сервера. Понял, что для этих целей используется 
corosync+pacemaker, но может в альте что-то специфичное есть.

Re: [Sysadmins] Создание кластера

[Dmitriy L. Kruglikov]

On Mon, 28 Jul 2014 14:49:24 +0600
Фаизов Алишер wrote:

> Я рассматриваю для shared vps. 
- Вам зеленый или синий?
- Квадратный...

> Для высокой доступности,
> балансировка не важна особо. 3 сервера. Понял, что для этих
> целей используется corosync+pacemaker, но может в альте что-то
> специфичное есть.
То есть, вам нужно, чтобы в случае выхода из строя сервера А,
в бой вступил сервер Б.
В этом случае обеспечивается высокая доступность, но в то время, когда
сервер А работает штатно, сервер Б нагло курит в стороне и хихикает 
с того, что сервер А потеет и кряхтит под нагрузкой.

Рекомендую совместить режим высокой доступности с режимом балансировки нагрузки.
В таком режиме часть функций выполняет сервер А, часть функций - сервер Б.
При выходе из строя одного из них, все функции выполняет тот, кто в строю остался.

Набор технологий для обеспечения:
1) То, что обеспечит идентичность данных на диске. (DRBD или подобное). 
DRBD работает парами, обычно. Для трех серверов ищите подобное.

2) То, что обеспечит автоподнятие сервисов на хостах А или Б (или С).
Например, heartbeat. Опять же, парами удобнее.

3) То, что обеспечит балансировку нагрузки между серверами А и Б, или только А, или только Б.
Просто решается через Nginx для http-запросов. Ну а вам решать, что балансировать и как.

Могу рассказать, как перебрасывать с сервера на сервер контейнеры OpenVZ, в которых
нужные мне службы. 
Но это подходит к моим задачам и не обязательно подойдет к вашим.
Это всё очень зависит от того, что у вас в ваших VPS и как они организованы.

P.S.
Всё, что используется - штатные средства, имеющиеся в наших репозиториях.

-- 
Best regards,
 Dmitriy Kruglikov