Re: [Sysadmins] linux cluster GATEWAY

Re: [Sysadmins] linux cluster GATEWAY

[Anton Kvashin]

14.05.2012 17:42, Alexandr ANDREEV написал:
> Столкнулся с новой но очень интересной для меня задачей. Имя ей -
> отказоустойчивый шлюз.
>
> Который должен состоять из 2-х или более однотипных серверов.
>
> т.е. чтобы в локальной сети - группа этих серверов, определялась как
> один сервер.
>
> в случае выхода из строя одного из серверов, его функции на себя брал
> другой ("резервный") сервер,
>
> и все это в автоматическом режиме.
>
> основная задача данной группы серверов: маршрутизация, прокси-сервер,
> ВПН-сервер(OpenVPN), DNS...
>
> т.е. типичные задачи для шлюза в локальной сети.
>
> предполагается, что каждый сервер будет подключен к 2-м (или более)
> разным провайдерам (одинаковый набор для всех серверов)
>
> собственно тема для меня новая возникает много вопросов:
>
> как наиболее правильно это сделать?

Нужно обеспечить привязку нужных сервисов к одному ip. Этот ip может 
мигрировать между узлами кластера, соответственно и сервисы.

Сервисы работают с данными, которые должны быть одинаковы для всех узлов 
кластера. Это вопрос синхронизации и хранения данных.

> И где на эту тему лучше всего посмотреть материалы?

http://xgu.ru/wiki/Heartbeat
http://xgu.ru/wiki/Drbd
http://habrahabr.ru/company/mailru/blog/134109/

> какие подводные камни при этом встречаются у подобного решения?

Усложняется схема работы, поскольку обслуживаются дополнительные сервисы.

-- 
Anton Kvashin

Re: [Sysadmins] linux cluster GATEWAY

[Mykola S. Grechukh]

Алсо, freevrrp.

15 мая 2012 г., 11:21 пользователь Anton Kvashin <foo@junior.esoo.ru> написал:
> 14.05.2012 17:42, Alexandr ANDREEV написал:
>
>> Столкнулся с новой но очень интересной для меня задачей. Имя ей -
>> отказоустойчивый шлюз.
>>
>> Который должен состоять из 2-х или более однотипных серверов.
>>
>> т.е. чтобы в локальной сети - группа этих серверов, определялась как
>> один сервер.
>>
>> в случае выхода из строя одного из серверов, его функции на себя брал
>> другой ("резервный") сервер,
>>
>> и все это в автоматическом режиме.
>>
>> основная задача данной группы серверов: маршрутизация, прокси-сервер,
>> ВПН-сервер(OpenVPN), DNS...
>>
>> т.е. типичные задачи для шлюза в локальной сети.
>>
>> предполагается, что каждый сервер будет подключен к 2-м (или более)
>> разным провайдерам (одинаковый набор для всех серверов)
>>
>> собственно тема для меня новая возникает много вопросов:
>>
>> как наиболее правильно это сделать?
>
>
> Нужно обеспечить привязку нужных сервисов к одному ip. Этот ip может
> мигрировать между узлами кластера, соответственно и сервисы.
>
> Сервисы работают с данными, которые должны быть одинаковы для всех узлов
> кластера. Это вопрос синхронизации и хранения данных.
>
>
>> И где на эту тему лучше всего посмотреть материалы?
>
>
> http://xgu.ru/wiki/Heartbeat
> http://xgu.ru/wiki/Drbd
> http://habrahabr.ru/company/mailru/blog/134109/
>
>
>> какие подводные камни при этом встречаются у подобного решения?
>
>
> Усложняется схема работы, поскольку обслуживаются дополнительные сервисы.
>
> --
> Anton Kvashin
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Dmitriy Kruglikov]

25 мая 2012 г., 10:35 пользователь Alexandr ANDREEV написал:
> в продолжении темы...
>
> попробовал настроить Heartbeat, но самостоятельно осилить не смог - появился
> ряд вопросов:
>

Добро пожаловать в клуб самоубивцев ;)

Попробуйте засунуть ваше приложение в контейнер OpenVZ, а сам котейнер
перебрасывать Heartbeat-ом...
А вот в контейнере поднимать нужный адрес...

Например:
HostNode1 с адресом 10.10.10.1
HostNode2 с адресом 10.10.10.2
VEID10 с адресом 10.10.10.10
И этот 10.10.10.10 будет обслуживать все ваши запросы...

P.S. Хорошо бы еще диски с этими OpenVZ перебрасывать Heartbeat-ом...
drbd, если что...

-- 
Best regards,
 Dmitriy Kruglikov.
    QString at, dot, mail, XMPP;
    at = "@";
    dot = ".";
    mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
    XMPP = $mail;

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Anton Kvashin]

25.05.2012 13:35, Alexandr ANDREEV написал:
> в продолжении темы...
>
> попробовал настроить Heartbeat, но самостоятельно осилить не смог -
> появился ряд вопросов:
>
> 1 если при использовании одного виртульного IP все хорошо работает, то
> при использовании 2х IP на разных интерфейсах добиться автоматического
> переключения не смог...(в данном случае тестировал на 2-х серверах, в
> каждом из которых установлены 2 сетевые карты - одна смотрит в локальную
> сеть, вторая в интернет. Локальные сетевые карты этих двух серверов,
> запустить с единым виртуальны IP не получилось, в вот "внешнии"
> получилось, система продолжала работать пока не упадет ее внешний
> виртуальный IP.
>
> При этом при старте heartbeat на локальном интерфейсе пропадали IP адреса

Кластерные IP следует делать альясами на основных ethX. Судя по конфигу 
у вас это не так.

> 2 как правильно загружать настройки фаервола?
>
> просто если их грузить при запуске системы интерфейс на резервной
> системе не активен и правила отбрасываются...

Heartbeat умеет запускать скрипты (например из /etc/init.d/), когда 
кластерный IP "переехал".

-- 
Anton Kvashin

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Anton Kvashin]

25.05.2012 14:52, Alexandr ANDREEV написал:
> Здравствуйте, Anton, Dmitriy.
>>  Кластерные IP следует делать альясами на основных ethX. Судя по конфигу
>>  у вас это не так.
>>  Heartbeat умеет запускать скрипты (например из /etc/init.d/), когда
>>  кластерный IP "переехал".
>
> можно попросить вас это немного пояснить?

haresources:

node5 192.168.1.174/24/eth0:1 drbddisk::r0 \
     Filesystem::/dev/drbd1::/mnt/mysql::ext4 \
     mysql sams samsf openfire squid3 apache2

имена из /etc/init.d/

-- 
Anton Kvashin

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Anton Kvashin]

25.05.2012 17:31, Alexandr ANDREEV написал:
> можно вас попросить показать файлики
> ha.cf

logfile /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
ucast eth1 172.16.100.7
auto_failback on
node    node5
node    node6
ping 192.168.1.3

> и haresousces полностью.

node5 192.168.1.174/24/eth0:1 drbddisk::r0 \
       Filesystem::/dev/drbd1::/mnt/mysql::ext4 \
       mysql sams samsf openfire squid3 apache2

-- 
Anton Kvashin

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Anton Kvashin]

28.05.2012 14:40, Alexandr ANDREEV написал:
> Здравствуйте, Anton.
> Вы писали:
>
>>  Кластерные IP следует делать альясами на основных ethX. Судя по конфигу
>>  у вас это не так.
>
> поясните пожалуйста о чем речь?

Ваш конфиг:

> claster1 IPaddr::10.0.0.1/24/eth0

Мой конфиг:

> node5 192.168.1.174/24/eth0:1

Разница в том, что вы переписываете рабочий IP-адрес сервера (который 
10.0.0.2) на основной 10.0.0.1 (тот с которым работают юзеры). А 
heartbeat в моей конфигурации добавляет основной IP (а он временный) как 
альяс eth0:1.

Погуглите схемы работы heartbeat, чтобы стало понятно как работает 
кластер высокой доступности.

-- 
Anton Kvashin

Re: [Sysadmins] linux cluster GATEWAY #part 1 - Heartbeat

[Anton Kvashin]

28.05.2012 18:17, Alexandr ANDREEV написал:
> Вы писали 28 мая 2012 г., 13:03:13:
>> > Кластерные IP следует делать альясами на основных ethX.
>
> а разве это не происходит автоматически?
>
> небольшой эксперимент показал, что 10.0.0.240/24/eth0:1 в моем случае ни
> на что не влияет...
>
> т.е. я указываю как у вас алиас .../eth0:1 или .../eth0, но в результате
> получаю интерфейс .../eth0:0

Судя по вашим экспериментам - да, heartbeat сам все делает. Будем знать.

> и 2 вопрос:
>
> у вас хост назван node5 или это имя кластера?

Хост.

> у меня просто проблема, нужно чтобы, если падает любой IP или служба на
> одном сервере, это сервер "отключался" полностью. т.е. чтобы второй
> начинал выполнять все его функции...

Для служб можно использовать monit (на этом же сервере).

> но с примером из двух IP это работает с проблемами... переключение на
> работающий хост
>
> при живом сервере происходит очень очень долго(ну допустим одна из
> сетевух со вторым IP сгорела) ...
>
> быстро работает, только, если падает любой из интерфейсов на основной
> (eth0) на любом из кластеров. тогда происходит быстрое переключение
> кластерного IP на другой хост кластера.
>
> я это связываю с тем, что там у меня еще и бродкасты бегают - ну небыло
> у меня еще 2х сетевух на отдельное подключение между серверами.

Возможно следует разделить сервера, т.е. сделать два кластера. Либо 
читать доки по heartbeat (умеет ли он такое).

Можно посмотреть Pacemaker (надстройка над heartbeat), 
http://habrahabr.ru/post/107837/

> уменьшил значения
>
> keepalive 1
>
> deadtime 3
>
> warntime 4
>
> initdead 3
>
>
> не помогло
>
> добавил
>
> ping 10.0.0.241 # IP второго сервера в кластере
>
> ping 192.168.211.2
>
> без пингов переключения при сбое на второй паре адресов не было.
>
> если не извращаться с сетевыми картами, а допустить, что реально
> сломался один из серверов (неожиданно отключили питание).
>
> То опять-же запасной сервер поднимает замечательно и быстро только
> первый вертуальный интерфейс (eth0:0),
>
> второй мучает аж 15 минут после первого...

Попробуйте руками все сделать (heartbeat выключен на обеих нодах). Т.е. 
выключить первый сервер, а на втором поднять все нужные IP и сервисы. 
Убедиться что это работает.

-- 
Anton Kvashin