[Sysadmins] Вопрос о ethernet bonding

[Sysadmins] Вопрос о ethernet bonding

[Alex Moskalenko]

Здравствуйте!

Возник вопрос о реализации отказоустойчивой конфигурации сети с 
распределением нагрузки. Есть сервер с 4мя портами ethernet. Есть два 
коммутатора (не стекируемых), поддерживающие 802.3ad. Есть linux и 
bonding. Хотелось бы получить что-либо подобное:

bond0 = eth0+eth1, mode 802.3ad - транк на коммутатор 1;
bond1 = eth2+eth3, mode 802.3ad - транк на коммутатор 2;
bond2 = bond0+bond1, mode balance-alb - аггрегированый канал из 2х 
вышеупомянутых транков.

В результате должно получиться нечто отказоустойчивое и с балансировкой 
нагрузки. :)

Вопрос в следующем - можно ли объединять bond-интерфейсы в один 
bond-интерфейс? На ядре 3.3.8 такая конфигурация ядром съедается 
(работоспособность еще не проверял, настораживают значения unknown в 
Speed и Duplex в /proc/net/bonding/bond2). На ядре 3.4.2 ситуация 
интереснее - при добавлении bond'а в bond и последующем поднятии 
ethernet-моста (даже никак не связанного с bond'ами) ядро падает. 
Порядок поднятия интерфейсов - сначала мост, затем bond с bond'ами или 
наоборот - значения не имеет - ядро падает.

В связи с вышесказанным, вопрос - можно ли аггрегировать уже 
аггрегированные линки? Прямого запрета в документации bonding вроде как 
и нет, но как-то пугают падения нового ядра...

Re: [Sysadmins] Вопрос о ethernet bonding

[Sergey]

On Thursday 14 June 2012, Alex Moskalenko wrote:

> bond0 = eth0+eth1, mode 802.3ad - транк на коммутатор 1;
> bond1 = eth2+eth3, mode 802.3ad - транк на коммутатор 2;
> bond2 = bond0+bond1, mode balance-alb - аггрегированый канал из 2х 
> вышеупомянутых транков.

А зачем ?

> В результате должно получиться нечто отказоустойчивое и с
> балансировкой нагрузки. :)
 
Я, вообще-то, в Linux таким не занимался, но про 802.3ad
пишут, как про преемника Ether Channel. А у Ether Channel
Уже была балансировка + надёжность при поддержке до 4-х
каналов. Если всё так и осталось, то bond1 и bond2 не 
нужны, надо сразу bond0 на eth0/1/2/3 делать и не париться.


-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Вопрос о ethernet bonding

[Alex Moskalenko]

15.06.2012 09:48, Sergey пишет:
> On Thursday 14 June 2012, Alex Moskalenko wrote:
>
>> bond0 = eth0+eth1, mode 802.3ad - транк на коммутатор 1;
>> bond1 = eth2+eth3, mode 802.3ad - транк на коммутатор 2;
>> bond2 = bond0+bond1, mode balance-alb - аггрегированый канал из 2х
>> вышеупомянутых транков.
> А зачем ?
В результате должно получиться нечто отказоустойчивое и с балансировкой 
нагрузки. :)
>
> Я, вообще-то, в Linux таким не занимался, но про 802.3ad
> пишут, как про преемника Ether Channel. А у Ether Channel
> Уже была балансировка + надёжность при поддержке до 4-х
> каналов. Если всё так и осталось, то bond1 и bond2 не
> нужны, надо сразу bond0 на eth0/1/2/3 делать и не париться.
802.3ad также поддерживает 4 (и больше) каналов. Проблема только в том, 
что коммутаторов 2 и они друг о друге ничего не знают и узнать не могут 
(не стекируются). Поэтому один 802.3ad канал, включающий в себя 2 
коммутатора, и распределяющий трафик, сделать не получится. Получится 
только отказоустойчивость, без балансировки (активен будет только один 
из 802.3ad аггрегированных линков, второй будет в резерве).

PS Наверное, есть смысл не заморачиваться и вообще выкинуть 802.3ad 
часть схемы, оставив один bond0 с mode=balance-alb на все 4 физических 
интерфейса. Не так красиво, но скорее всего работать будет.

Re: [Sysadmins] Вопрос о ethernet bonding

[Sergey]

On Friday 15 June 2012, Alex Moskalenko wrote:

> 802.3ad также поддерживает 4 (и больше) каналов. Проблема
> только в том, что коммутаторов 2 и они друг о друге ничего
> не знают и узнать не могут (не стекируются).

Что-то я не заметил сразу, что речь про два коммутатора. Мне,
тогда, не очень понятно, как оно может работать.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Вопрос о ethernet bonding

[Sergey Alembekov]

14.06.2012 14:45, Alex Moskalenko пишет:
> Здравствуйте!
>
> Возник вопрос о реализации отказоустойчивой конфигурации сети с 
> распределением нагрузки. Есть сервер с 4мя портами ethernet. Есть два 
> коммутатора (не стекируемых), поддерживающие 802.3ad. Есть linux и 
> bonding. Хотелось бы получить что-либо подобное:
>
> bond0 = eth0+eth1, mode 802.3ad - транк на коммутатор 1;
> bond1 = eth2+eth3, mode 802.3ad - транк на коммутатор 2;
> bond2 = bond0+bond1, mode balance-alb - аггрегированый канал из 2х 
> вышеупомянутых транков.
>
> В результате должно получиться нечто отказоустойчивое и с 
> балансировкой нагрузки. :)
>
> Вопрос в следующем - можно ли объединять bond-интерфейсы в один 
> bond-интерфейс? На ядре 3.3.8 такая конфигурация ядром съедается 
> (работоспособность еще не проверял, настораживают значения unknown в 
> Speed и Duplex в /proc/net/bonding/bond2). На ядре 3.4.2 ситуация 
> интереснее - при добавлении bond'а в bond и последующем поднятии 
> ethernet-моста (даже никак не связанного с bond'ами) ядро падает. 
> Порядок поднятия интерфейсов - сначала мост, затем bond с bond'ами или 
> наоборот - значения не имеет - ядро падает.
>
> В связи с вышесказанным, вопрос - можно ли аггрегировать уже 
> аггрегированные линки? Прямого запрета в документации bonding вроде 
> как и нет, но как-то пугают падения нового ядра...
Думаю это работать не будет.
На мой взгляд у вас два варианта, либо сменить коммутаторы на 
стекируемые и использовать 802.3ad, либо два бонда в режиме 
active-backup, воткнутые в оба коммутатора каждый. Предостерегаю от 
использования balance-схем, мой опыт применения их с коммутаторами 
cisco4948 печален.

__
Sergey Alembekov
ALTLinux Team