[Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Чернов Евгений]

Раз сюда послали то делаю форвард из community.

   Разбираемся тут с openvz на сервере четвертом. Возникла проблема, даже
две. Стоит серверок с двумя сетевыми. Внутри охота поднять контейнер. По
хорошему охота привязать две сетевые внутри котейнера к внешнем сетевым.
Связанно это с тем что стоять она будет в рассечке сети между нами и
инетом. То есть на внутреннем интерфейсе приватная сеть на внешнем
нормальная(так же возникла идея сразу убить на хост-машине адреса с
внешней сетевой и оставить только сеть из контейнера). Внутри контейнера
прокси с почтовиком, днс и нат(пока в таком виде на поиграться и
проверить миграцию на соседнюю машину). Насколько смотрел не увидел
возможности использовать venet в данной связке(нужна жёсткая привязка
eth0-хост_машина<->eth0-контейнер, eth1-хост_машина<->eth1-контейнер).
Установка через --netdev_add не подходит в связи с необходимостью
несколько контейнеров  иметь, а там только на один контейнер
пробрасывает интерфейс. Поэтому остановились на veth, там можно задать к
какому интерфейсу биндиться. Пока прокинул eth0(все с wiki используя
proxy_arp,forwarding). Запихнули все настройки хост-машины в
/etc/net/veth<xxx.0>. Сразу первый вопрос возник. Сеть поднимается
раньше openvz, следовательно veth интерфейс ещё не доступен и настроить
не получается(при restart хост-машины хана сети). Как по правильному
прописывать данное дело? Может скрипт какой есть для дергания veth после
поднятия openvz? И второй вопрос более общий после привязывания из
контейнера двух интерфейсов к внешним на хотс-машине и поднятия на всех
интерфейсах proxy_arp и forwarding не поплохеет серверу? Или правилами
задавить на хост-машине трафик между eth0<->eth1 ?

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1403 bytes --]

Чернов Евгений пишет:
> Раз сюда послали то делаю форвард из community.
> 
>    Разбираемся тут с openvz на сервере четвертом. Возникла проблема, даже
...
> proxy_arp,forwarding). Запихнули все настройки хост-машины в
> /etc/net/veth<xxx.0>. Сразу первый вопрос возник. Сеть поднимается
> раньше openvz, следовательно veth интерфейс ещё не доступен и настроить
> не получается(при restart хост-машины хана сети). Как по правильному
> прописывать данное дело? Может скрипт какой есть для дергания veth после
> поднятия openvz? И второй вопрос более общий после привязывания из
> контейнера двух интерфейсов к внешним на хотс-машине и поднятия на всех
> интерфейсах proxy_arp и forwarding не поплохеет серверу? Или правилами
> задавить на хост-машине трафик между eth0<->eth1 ?

  Мне понравилось работать с veth через бриджи. Алгоритм примерно такой:

1. Создаём бриджи (с IFUP_PARENTS=no, чтобы мог подниматься при
отсутствии родителей), и все настройки делаем в них.

2. veth загоняем в нужные бриджи.

3. При поднятии VE -- реконфигурируем бриджи (дёргаем setup-bri)

  По идее, новые vzctl и etcnet должны быть обучены подобной
функциональности.

PS: См.
<http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
и
<http://lists.altlinux.org/pipermail/sysadmins/2007-October/011959.html>,
как пример использования.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

[Sysadmins] openvz и несколько veth + учет трафика

[Eugene Prokopiev]

Aleksey Avdeev пишет:
> Чернов Евгений пишет:
>> Раз сюда послали то делаю форвард из community.
>>
>>    Разбираемся тут с openvz на сервере четвертом. Возникла проблема, даже
> ...
>> proxy_arp,forwarding). Запихнули все настройки хост-машины в
>> /etc/net/veth<xxx.0>. Сразу первый вопрос возник. Сеть поднимается
>> раньше openvz, следовательно veth интерфейс ещё не доступен и настроить
>> не получается(при restart хост-машины хана сети). Как по правильному
>> прописывать данное дело? Может скрипт какой есть для дергания veth после
>> поднятия openvz? И второй вопрос более общий после привязывания из
>> контейнера двух интерфейсов к внешним на хотс-машине и поднятия на всех
>> интерфейсах proxy_arp и forwarding не поплохеет серверу? Или правилами
>> задавить на хост-машине трафик между eth0<->eth1 ?
> 
>   Мне понравилось работать с veth через бриджи. Алгоритм примерно такой:
> 
> 1. Создаём бриджи (с IFUP_PARENTS=no, чтобы мог подниматься при
> отсутствии родителей), и все настройки делаем в них.
> 
> 2. veth загоняем в нужные бриджи.
> 
> 3. При поднятии VE -- реконфигурируем бриджи (дёргаем setup-bri)
> 
>   По идее, новые vzctl и etcnet должны быть обучены подобной
> функциональности.
> 
> PS: См.
> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
> и
> <http://lists.altlinux.org/pipermail/sysadmins/2007-October/011959.html>,
> как пример использования.

Я делаю так - 
http://git.altlinux.ru/people/enp/packages/?p=docs-linux_ha_openvz-enp.git;a=blob;f=linux_ha_openvz/doc/had%2Bdrbd%2Bopenvz-final.tex;h=b84b48a24e9578a924039f578b9bb0d234806449;hb=e047be676947109d673f311b72391cbd7ebc54b0

Искать по слову vznet.conf

Описана более сложная схема с HA, но его можно игнорировать, для одного 
сервера все будет точно так же.

Кстати, есть такая проблема: если в VE будет жить роутер между LAN и 
WAN, и есть необходимость считать трафик по адресам LAN, то чем это 
делать? ULOG очень удобен, т.к. позволяет совместить учет с правилами 
firewall, но в VE он не работает, в bugzilla.openvz.org реакции пока 
нет, так что если это и появится, то не скоро.

Остаются pcap-based tools, с ними никогда дела не имел, поэтому вопросы:

1) что из них лучше?
2) есть ли такое, которое считает не только IP (раз уж мы спустились на 
уровень ниже)?
3) на каком интерфейсе правильнее считать (интерфейс в HN? сохранится ли 
на нем информация о серых внутренних адресах?)?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] openvz и несколько veth + учет трафика

[Peter V. Saveliev]

В сообщении от Wednesday 17 October 2007 10:40:11 Eugene Prokopiev написал(а):
<skip />
> Остаются pcap-based tools, с ними никогда дела не имел, поэтому вопросы:
>
> 1) что из них лучше?
<skip />

Не знаю насчёт "лучше", но "проще" -- ipcad. Очень простой и вменяемый 
инструмент. Главное -- в конфиге не забыть про лимиты на память и грамотно 
проводить агрегацию, не отходя от кассы.

-- 
Peter V. Saveliev

Re: [Sysadmins] openvz и несколько veth + учет трафика

[Denis Klimov]

On Wed, 17 Oct 2007 10:40:11 +0400 Eugene Prokopiev wrote:
> 
> Кстати, есть такая проблема: если в VE будет жить роутер между LAN и 
> WAN, и есть необходимость считать трафик по адресам LAN, то чем это 
> делать? ULOG очень удобен, т.к. позволяет совместить учет с правилами 
> firewall, но в VE он не работает, в bugzilla.openvz.org реакции пока 
> нет, так что если это и появится, то не скоро.

Ссылку дайте пожалуйста на эту багу.
У меня ULOG в VE работает, тут лишь один момент - необходимо догрузить
ipt_ULOG модуль ядра в HN

> 
> Остаются pcap-based tools, с ними никогда дела не имел, поэтому вопросы:
> 
> 1) что из них лучше?
> 2) есть ли такое, которое считает не только IP (раз уж мы спустились на 
> уровень ниже)?
> 3) на каком интерфейсе правильнее считать (интерфейс в HN? сохранится ли 
> на нем информация о серых внутренних адресах?)?
> 
> -- 
> С уважением,
> Прокопьев Евгений


--
Denis Klimov 
zver

Re: [Sysadmins] openvz и несколько veth + учет трафика

[Eugene Prokopiev]

Denis Klimov пишет:
> On Wed, 17 Oct 2007 10:40:11 +0400 Eugene Prokopiev wrote:
>> Кстати, есть такая проблема: если в VE будет жить роутер между LAN и 
>> WAN, и есть необходимость считать трафик по адресам LAN, то чем это 
>> делать? ULOG очень удобен, т.к. позволяет совместить учет с правилами 
>> firewall, но в VE он не работает, в bugzilla.openvz.org реакции пока 
>> нет, так что если это и появится, то не скоро.
> 
> Ссылку дайте пожалуйста на эту багу.

http://bugzilla.openvz.org/show_bug.cgi?id=701

> У меня ULOG в VE работает, тут лишь один момент - необходимо догрузить
> ipt_ULOG модуль ядра в HN

ядро 2.6.18-ovz-smp-alt16

# grep ULOG /etc/vz/vz.conf
IPTABLES="ipt_REJECT ipt_tos ipt_limit ipt_multiport iptable_filter 
iptable_mangle ipt_TCPMSS ipt_tcpmss ipt_ttl ipt_length ipt_ULOG"

# modprobe ipt_ULOG

# vzctl start 103
Warning: Unknown iptable module: ipt_ULOG, skipped
Starting VE ...
VE is mounted
Setting CPU units: 1000
Configure meminfo: 35000
VE start in progress...

Дальше я не проверял, подумал, что раз skipped, то в VE пытаться его 
использовать бесполезно.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Eugene Prokopiev]

> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>

в vzctl-3.0.18-alt3 из бранча этих изменений нет, вешать баг?

кроме того, вопросы:

теперь уже можно добавлять venet-интерфейсы в бриджи? или это опечатка?

зачем venet-интерфейсу адрес? или это тоже опечатка?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Aleksey Avdeev]

Eugene Prokopiev пишет:
>> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
> 
> в vzctl-3.0.18-alt3 из бранча этих изменений нет, вешать баг?

  На ваше усмотрение.

> 
> кроме того, вопросы:
> 
> теперь уже можно добавлять venet-интерфейсы в бриджи?

  Нельзя: эту фичу я не правил.

> или это опечатка?

  Нет, это глюк: скрипт назван venet-update_bri, хотя название
veth-update_bri было-бы более правельным.

> 
> зачем venet-интерфейсу адрес? или это тоже опечатка?

  Нет. Адрес нужен когда eth интерфейсов > 1: если его нет -- нелзя
надёжно сказать, с каким ip уйдут в venet0 пакеты, сформарованные в
хостсистеме (особенно -- если поднимать/класть интерфейсы). Бобъехать
это спомощью iptables/iproute скорее всего можно, но это решение не
тревиально.

-- 

С уважением. Алексей.

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Eugene Prokopiev]

Aleksey Avdeev пишет:
> Eugene Prokopiev пишет:
>>> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
>> в vzctl-3.0.18-alt3 из бранча этих изменений нет, вешать баг?
> 
>   На ваше усмотрение.

Вам не интересно, попадут ли ваши изменения в сизиф? ;)

>> зачем venet-интерфейсу адрес? или это тоже опечатка?
> 
>   Нет. Адрес нужен когда eth интерфейсов > 1: если его нет -- нелзя
> надёжно сказать, с каким ip уйдут в venet0 пакеты, сформарованные в
> хостсистеме (особенно -- если поднимать/класть интерфейсы). Бобъехать
> это спомощью iptables/iproute скорее всего можно, но это решение не
> тревиально.

Да, это действительно полезно. У вас уже есть патчи к сизифовским 
etcnet/vzctl?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 978 bytes --]

Eugene Prokopiev пишет:
> Aleksey Avdeev пишет:
>> Eugene Prokopiev пишет:
>>>> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
>>> в vzctl-3.0.18-alt3 из бранча этих изменений нет, вешать баг?
>>   На ваше усмотрение.
> 
> Вам не интересно, попадут ли ваши изменения в сизиф? ;)

  А я об этом в devel@ уже прокукарекал (касательно vzctl -- ldv@ в
курсе). :-)

> 
>>> зачем venet-интерфейсу адрес? или это тоже опечатка?
>>   Нет. Адрес нужен когда eth интерфейсов > 1: если его нет -- нелзя
>> надёжно сказать, с каким ip уйдут в venet0 пакеты, сформарованные в
>> хостсистеме (особенно -- если поднимать/класть интерфейсы). Бобъехать
>> это спомощью iptables/iproute скорее всего можно, но это решение не
>> тревиально.
> 
> Да, это действительно полезно. У вас уже есть патчи к сизифовским 
> etcnet/vzctl?

  Всё залитое в git -- как раз к сизифовским etcnet/vzctl (на момент
залива).

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1537 bytes --]

Aleksey Avdeev пишет:
> Eugene Prokopiev пишет:
>> Aleksey Avdeev пишет:
>>> Eugene Prokopiev пишет:
>>>>> <http://lists.altlinux.org/pipermail/sysadmins/2007-September/011469.html>
>>>> в vzctl-3.0.18-alt3 из бранча этих изменений нет, вешать баг?
>>>   На ваше усмотрение.
>> Вам не интересно, попадут ли ваши изменения в сизиф? ;)
> 
>   А я об этом в devel@ уже прокукарекал (касательно vzctl -- ldv@ в
> курсе). :-)

  На всякий пожарнфй -- развесил баги (со ссылками в git): #13146,
#13147 и #13148

> 
>>>> зачем venet-интерфейсу адрес? или это тоже опечатка?
>>>   Нет. Адрес нужен когда eth интерфейсов > 1: если его нет -- нелзя
>>> надёжно сказать, с каким ip уйдут в venet0 пакеты, сформарованные в
>>> хостсистеме (особенно -- если поднимать/класть интерфейсы). Бобъехать
>>> это спомощью iptables/iproute скорее всего можно, но это решение не
>>> тревиально.
>> Да, это действительно полезно. У вас уже есть патчи к сизифовским 
>> etcnet/vzctl?
> 
>   Всё залитое в git -- как раз к сизифовским etcnet/vzctl (на момент
> залива).

  На данный момент:

1. etcnet-0.9.3-alt3.1
(<http://git.altlinux.ru/people/solo/packages/?p=etcnet.git;a=commit;h=4c13196debd81e628d38f33012310fb7d7de54e4>),
закрывающий #13146, лежит в Daedalus, и похоже ещё не протух.

2. В incoming/Daedalus отправлен vzctl-3.0.18-alt3.2
(<http://git.altlinux.ru/people/solo/packages/?p=vzctl.git;a=commit;h=459bd2402a8807d5d6d69796dd118c66b3497061>),
закрывающий #13147 и #13148.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [Sysadmins] [Fwd: [Comm] openvz и несколько veth]

[Eugene Prokopiev]

Спасибо

Ждем ldv@

-- 
С уважением,
Прокопьев Евгений