[Sysadmins] Сеть в OpenVZ

[Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

Добрый день.

Помогите сняться с ручника.
Не могу понять как настраивать venet.

Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?

Это надо править под свою сетку или в этом фэйке есть тайный смысл?

Конфигурация типа такой:

# ip addr
2: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
8: sit0: <NOARP,UP> mtu 1480 qdisc noqueue
    link/sit 0.0.0.0 brd 0.0.0.0
4: dummy0: <BROADCAST,NOARP,UP> mtu 1500 qdisc noqueue
    link/ether 22:a5:eb:7b:14:99 brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.1/32 scope global dummy0
    inet6 fe80::20a5:ebff:fe7b:1499/64 scope link
       valid_lft forever preferred_lft forever
6: lan: <BROADCAST,MULTICAST,NOTRAILERS,UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:17:31:2a:01:83 brd ff:ff:ff:ff:ff:ff
    inet xxx.xxx.xxx.xxx/24 brd xxx.xxx.xxx.xxx scope global lan
    inet6 fe80::217:31ff:fe2a:183/64 scope link
       valid_lft forever preferred_lft forever

К VPS прикручен адрес 10.1.1.2.

P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
доку и форум я уже скурил.

-- 
Алексей.

Re: [Sysadmins] Сеть в OpenVZ

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1598 bytes --]

Alexey Borovskoy пишет:
> Помогите сняться с ручника.
>   
:-)
> Не могу понять как настраивать venet.
> Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> Это надо править под свою сетку или в этом фэйке есть тайный смысл?
>   
Нет. Так должно быть. Скрипты править не надо.
> Конфигурация типа такой:
>
> # ip addr
> 2: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
>     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
>     inet 127.0.0.1/8 scope host lo
> 8: sit0: <NOARP,UP> mtu 1480 qdisc noqueue
>     link/sit 0.0.0.0 brd 0.0.0.0
> 4: dummy0: <BROADCAST,NOARP,UP> mtu 1500 qdisc noqueue
>     link/ether 22:a5:eb:7b:14:99 brd ff:ff:ff:ff:ff:ff
>     inet 10.1.1.1/32 scope global dummy0
>     inet6 fe80::20a5:ebff:fe7b:1499/64 scope link
>        valid_lft forever preferred_lft forever
> 6: lan: <BROADCAST,MULTICAST,NOTRAILERS,UP> mtu 1500 qdisc pfifo_fast qlen 1000
>     link/ether 00:17:31:2a:01:83 brd ff:ff:ff:ff:ff:ff
>     inet xxx.xxx.xxx.xxx/24 brd xxx.xxx.xxx.xxx scope global lan
>     inet6 fe80::217:31ff:fe2a:183/64 scope link
>        valid_lft forever preferred_lft forever
>
> К VPS прикручен адрес 10.1.1.2.
>   
А где интерфейс venet0 ?
serviсe vz start делали? Какое ядро?
Он автоматом поднимается после старта vz  (и без ни одного VE).
> P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
> доку и форум я уже скурил.
>   
Это тоже  http://www.freesource.info/wiki/AltLinux/Dokumentacija/OpenVZ ?

-- 
С уважением,
Дубровский Вячеслав.


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3237 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Slava Dubrovskiy пишет:

>> Не могу понять как настраивать venet. Зачем в 
>> /etc/vz/dists/scripts/etcnet-add_ip.sh указано 
>> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ? Это
>>  надо править под свою сетку или в этом фэйке есть тайный
>> смысл?
> 
> Нет. Так должно быть. Скрипты править не надо.

Я не понимаю как эта конструкция работает.
В VE получается очень странная таблица маршрутизации. Исходя из
которой видно, что VE никого кроме себя видеть не умеет, т.к.
маршрута в HN у нее нету, а default gw -- фэйковый.

Если поставить в качестве default gw ипшник с HN, то все начинает
ездить. Но это потребует изменения FAKE*.

>> Конфигурация типа такой:
>> 
>> # ip addr 2: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue 
>> link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 
>> 127.0.0.1/8 scope host lo 8: sit0: <NOARP,UP> mtu 1480 qdisc 
>> noqueue link/sit 0.0.0.0 brd 0.0.0.0 4: dummy0: 
>> <BROADCAST,NOARP,UP> mtu 1500 qdisc noqueue link/ether 
>> 22:a5:eb:7b:14:99 brd ff:ff:ff:ff:ff:ff inet 10.1.1.1/32 scope
>>  global dummy0 inet6 fe80::20a5:ebff:fe7b:1499/64 scope link 
>> valid_lft forever preferred_lft forever 6: lan: 
>> <BROADCAST,MULTICAST,NOTRAILERS,UP> mtu 1500 qdisc pfifo_fast 
>> qlen 1000 link/ether 00:17:31:2a:01:83 brd ff:ff:ff:ff:ff:ff 
>> inet xxx.xxx.xxx.xxx/24 brd xxx.xxx.xxx.xxx scope global lan 
>> inet6 fe80::217:31ff:fe2a:183/64 scope link valid_lft forever 
>> preferred_lft forever
>> 
>> К VPS прикручен адрес 10.1.1.2.
>> 
> 
> А где интерфейс venet0 ?

Сервис vz остановлен. Письмо писал вечером, и уже собирался домой.
Завтра напишу как этот интерфейс выглядит.

> serviсe vz start делали?

Делал.

> Какое ядро?

ovz из сизифа поставленное на Compact 3.0. на обычном vz даже не
запустится.

> Он автоматом поднимается после старта vz  (и без ни одного VE).

Конечно поднимается.
Но проблема же не в этом. У меня с HN не пингуется VE. tcpdump -i
venet0 видит как в VE улетает echo request, а обратно ничего не
возвращается.

Учитывая что таблица маршрутизации в VE мне непонятна, неудивительно
что не работает.

>> P.S. Или я всё делаю не так? Если да, то подскажите как 
>> правильно, доку и форум я уже скурил.
>> 
> 
> Это тоже 
> http://www.freesource.info/wiki/AltLinux/Dokumentacija/OpenVZ ?

Да.

Хочу увидеть как выглядит таблица маршрутизации в HN и в VE. Не
доходит до меня как работает эта конструкция с venet.

- --
Алексей.
GPG key fingerprint
949B BC0E 2C44 7528 4F63  2753 E37A 9E3F 11F3 BDE1
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.2.5 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFE4bO+43qePxHzveERAtItAKC2jYc3ysUb2fT8PGr/drrwgnxoHACgo7nd
sx3KSezqe7wH5uV2VYedY5M=
=mVPe
-----END PGP SIGNATURE-----

Re: [Sysadmins] Сеть в OpenVZ

[Maxim Bodyansky]

В сообщении от 15 августа 2006 09:47 Alexey Borovskoy 
написал(a):
> Это надо править под свою сетку или в этом фэйке есть
> тайный смысл?

Не нужно, так работает.

> P.S. Или я всё делаю не так? Если да, то подскажите как
> правильно, доку и форум я уже скурил.

Скорее всего правильно. Тут детально описан процесс 
отпирания двери в Интернет для VPS:

 * http://wiki.openvz.org/Using_NAT_for_VE_with_private_IPs

К тому же, часто необходимо подправить цепочки FORWARD в 
iptables.

-- 
WBR,
Maxim Bodyansky

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Maxim Bodyansky пишет:
> В сообщении от 15 августа 2006 09:47 Alexey Borovskoy написал(a):
> 
> 
>> Это надо править под свою сетку или в этом фэйке есть тайный
>> смысл?
> 
> 
> Не нужно, так работает.

Черная магия. :-)

> 
>> P.S. Или я всё делаю не так? Если да, то подскажите как 
>> правильно, доку и форум я уже скурил.
> 
> 
> Скорее всего правильно. Тут детально описан процесс отпирания
> двери в Интернет для VPS:
> 
> * http://wiki.openvz.org/Using_NAT_for_VE_with_private_IPs
> 
> К тому же, часто необходимо подправить цепочки FORWARD в 
> iptables.
> 

У меня VE не пингуется с HN. Тоесть даже в пределах одной машины
пинги не ходят.

Пинги в venet уходят с концами. Назад не возвращаются.

- --
Алексей.
GPG key fingerprint
949B BC0E 2C44 7528 4F63  2753 E37A 9E3F 11F3 BDE1
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.2.5 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFE4bUF43qePxHzveERAkMHAJ9946tlsVGAneLpOnV5CmMd0ZrJNACeLSrf
tXC5VLGT8mSRt802X591aYk=
=L6x6
-----END PGP SIGNATURE-----

Re: [Sysadmins] Сеть в OpenVZ

[Konstantin A. Lepikhov]

<цитата от="Alexey Borovskoy">
<skip>
> У меня VE не пингуется с HN. Тоесть даже в пределах одной машины
> пинги не ходят.
>
> Пинги в venet уходят с концами. Назад не возвращаются.
а вы forwarding на venet0 включали?

-- 
WBR et al.

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Konstantin A. Lepikhov пишет:
> <цитата от="Alexey Borovskoy">
> <skip>
> 
>>У меня VE не пингуется с HN. Тоесть даже в пределах одной машины
>>пинги не ходят.
>>
>>Пинги в venet уходят с концами. Назад не возвращаются.
> 
> а вы forwarding на venet0 включали?
> 

Да, включил.

- --
Алексей.
GPG key fingerprint
949B BC0E 2C44 7528 4F63  2753 E37A 9E3F 11F3 BDE1
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.2.5 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFE4cBF43qePxHzveERAtgIAKCC1hgC8g3CQlExviGxklcFxP2kGgCgntBW
ys/LxvwI71PDJ+uNERl//kk=
=8o2B
-----END PGP SIGNATURE-----

Re: [Sysadmins] Сеть в OpenVZ

[Konstantin A. Lepikhov]

<цитата от="Alexey Borovskoy">
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA1
>
> Konstantin A. Lepikhov пишет:
>> <цитата от="Alexey Borovskoy">
>> <skip>
>>
>>>У меня VE не пингуется с HN. Тоесть даже в пределах одной машины
>>>пинги не ходят.
>>>
>>>Пинги в venet уходят с концами. Назад не возвращаются.
>>
>> а вы forwarding на venet0 включали?
>>
>
> Да, включил.
тогда надо смотреть вывод ip r l на host системе.

-- 
WBR et al.

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

16.08.06, Konstantin A. Lepikhov<lakostis@unsafe.ru> написал(а):
>
> тогда надо смотреть вывод ip r l на host системе.

HN
------

#ip link

# ip l
2: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4: dummy0: <BROADCAST,NOARP,UP> mtu 1500 qdisc noqueue
    link/ether b2:2d:59:80:27:6a brd ff:ff:ff:ff:ff:ff
6: lan: <BROADCAST,MULTICAST,NOTRAILERS,UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:17:31:2a:01:83 brd ff:ff:ff:ff:ff:ff
8: sit0: <NOARP,UP> mtu 1480 qdisc noqueue
    link/sit 0.0.0.0 brd 0.0.0.0
1: venet0: <BROADCAST,POINTOPOINT,MULTICAST,NOARP,UP> mtu 1500 qdisc noqueue
    link/void

#ip addr

# ip a
2: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
4: dummy0: <BROADCAST,NOARP,UP> mtu 1500 qdisc noqueue
    link/ether b2:2d:59:80:27:6a brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.1/32 scope global dummy0
    inet6 fe80::b02d:59ff:fe80:276a/64 scope link
       valid_lft forever preferred_lft forever
6: lan: <BROADCAST,MULTICAST,NOTRAILERS,UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:17:31:2a:01:83 brd ff:ff:ff:ff:ff:ff
    inet 172.16.81.28/24 brd 172.16.81.255 scope global lan
    inet6 fe80::217:31ff:fe2a:183/64 scope link
       valid_lft forever preferred_lft forever
8: sit0: <NOARP,UP> mtu 1480 qdisc noqueue
    link/sit 0.0.0.0 brd 0.0.0.0
1: venet0: <BROADCAST,POINTOPOINT,MULTICAST,NOARP,UP> mtu 1500 qdisc noqueue
    link/void

#ip ro

# ip ro l
10.1.1.2 dev venet0  scope link  src 172.16.81.28
172.16.81.0/24 dev lan  proto kernel  scope link  src 172.16.81.28
default via 172.16.81.1 dev lan

VE
-------

# vzctl exec 101 ip link

1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
3: venet0: <BROADCAST,POINTOPOINT,NOARP,UP> mtu 1500 qdisc noqueue
    link/void

# vzctl exec 101 ip add
1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
3: venet0: <BROADCAST,POINTOPOINT,NOARP,UP> mtu 1500 qdisc noqueue
    link/void
    inet 127.0.0.1/32 scope host venet0
    inet 10.1.1.2/32 scope global venet0:1

# vzctl exec 101 ip ro l
<пусто>

# vzctl exec 101 netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface

Но в /etc/net/ifaces/venet0/ipv4route
191.255.255.0/24 scope host
default via 191.255.255.1

Как же она увидит HN?
Делаем в VE route add default gw 172.16.81.28 и всё начинает ездить.

P.S.
NH=VE=ALC30

P.P.S.
Зачем там в скриптах FAKE* то?

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

16.08.06, Alexey Borovskoy<alexey.borovskoy@gmail.com> написал(а):
>
> Как же она увидит HN?
> Делаем в VE route add default gw 172.16.81.28 и всё начинает ездить.

Не, не так: вместо 172.16.81.28 надо читать 10.1.1.2.
В этом случае, трафик VE заворачивается в venet0 и это имхо правильно.

P.S. Что править-то? Неужели это только у меня не работает?

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 604 bytes --]

On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> Помогите сняться с ручника.
> Не могу понять как настраивать venet.

Должно работать "из коробки".

> Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> 
> Это надо править под свою сетку или в этом фэйке есть тайный смысл?

Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.

> P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
> доку и форум я уже скурил.

Что у вас работает и что не работает?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry Lebkov]

Dmitry V. Levin пишет:
> On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
>> Помогите сняться с ручника.
>> Не могу понять как настраивать venet.
> 
> Должно работать "из коробки".
> 
>> Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
>> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
>>
>> Это надо править под свою сетку или в этом фэйке есть тайный смысл?
> 
> Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.

Дмитрий, если не затруднит - поясни, какой. Судя по RFC3330:

   191.255.0.0/16 - This block, corresponding to the numerically highest
   to the former Class B addresses, was initially and is still reserved
   by the IANA.  Given the present classless nature of the IP address
   space, the basis for the reservation no longer applies and addresses
   in this block are subject to future allocation to a Regional Internet
   Registry for assignment in the normal manner.

Т.е. вполне реальные шансы на то, что эти адреса таки отдадут кому-нить
из RIR'ов ...

-- 
WBR, Dmitry Lebkov

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1351 bytes --]

On Wed, Aug 16, 2006 at 09:36:27AM +1100, Dmitry Lebkov wrote:
> Dmitry V. Levin пишет:
> > On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> >> Помогите сняться с ручника.
> >> Не могу понять как настраивать venet.
> > 
> > Должно работать "из коробки".
> > 
> >> Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> >> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> >>
> >> Это надо править под свою сетку или в этом фэйке есть тайный смысл?
> > 
> > Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.
> 
> Дмитрий, если не затруднит - поясни, какой. Судя по RFC3330:

Видимо, чтобы ни с кем не пересечься.

>    191.255.0.0/16 - This block, corresponding to the numerically highest
>    to the former Class B addresses, was initially and is still reserved
>    by the IANA.  Given the present classless nature of the IP address
>    space, the basis for the reservation no longer applies and addresses
>    in this block are subject to future allocation to a Regional Internet
>    Registry for assignment in the normal manner.
> 
> Т.е. вполне реальные шансы на то, что эти адреса таки отдадут кому-нить
> из RIR'ов ...

Ну да, на эту тему есть дискуссия:
http://forum.openvz.org/index.php?t=msg&goto=4929

Интересно, что бы вы предложили?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry Lebkov]

Dmitry V. Levin пишет:
> On Wed, Aug 16, 2006 at 09:36:27AM +1100, Dmitry Lebkov wrote:
>> Dmitry V. Levin пишет:
>>> On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
>>>> Помогите сняться с ручника.
>>>> Не могу понять как настраивать venet.
>>> Должно работать "из коробки".
>>>
>>>> Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
>>>> FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
>>>>
>>>> Это надо править под свою сетку или в этом фэйке есть тайный смысл?
>>> Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.
>> Дмитрий, если не затруднит - поясни, какой. Судя по RFC3330:
> 
> Видимо, чтобы ни с кем не пересечься.
> 
>>    191.255.0.0/16 - This block, corresponding to the numerically highest
>>    to the former Class B addresses, was initially and is still reserved
>>    by the IANA.  Given the present classless nature of the IP address
>>    space, the basis for the reservation no longer applies and addresses
>>    in this block are subject to future allocation to a Regional Internet
>>    Registry for assignment in the normal manner.
>>
>> Т.е. вполне реальные шансы на то, что эти адреса таки отдадут кому-нить
>> из RIR'ов ...
> 
> Ну да, на эту тему есть дискуссия:
> http://forum.openvz.org/index.php?t=msg&goto=4929

Угу, там есть вполне разумное предложение: 192.0.2.0/24.
 
> Интересно, что бы вы предложили?

Как вариант, что-нибудь из "крайних" подсетей следующих блоков:

10.0.0.0/8
127.0.0.0/8
172.16.0.0/12
192.168.0.0/16


127.255.255.0/24 для этих целей выглядит вполне подходящим вариантом.

-- 
WBR, Dmitry Lebkov

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> > Помогите сняться с ручника.
> > Не могу понять как настраивать venet.
>
> Должно работать "из коробки".

В моем случае "коробка" это ALC 3.0.4 с ядром kernel-image-ovz-smp-2.6.16-alt4.

> > Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> > FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> >
> > Это надо править под свою сетку или в этом фэйке есть тайный смысл?
>
> Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.

Какой?

> > P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
> > доку и форум я уже скурил.
>
> Что у вас работает и что не работает?

Не ходят пинги между HN и VE. Судя по tcpdump -i venet0 в HN, пинги в
VE уходят, но обратно не возвращаются. Что-то не так с маршрутизацией
в VE, ip ro l там пустой. Если сделать в VE gefault gw равным ip,
который я назначил для VE, то всё начинает работать.

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1729 bytes --]

On Wed, Aug 16, 2006 at 11:37:23AM +1300, Alexey Borovskoy wrote:
> 16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> > On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> > > Помогите сняться с ручника.
> > > Не могу понять как настраивать venet.
> >
> > Должно работать "из коробки".
> 
> В моем случае "коробка" это ALC 3.0.4 с ядром kernel-image-ovz-smp-2.6.16-alt4.
> 
> > > Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> > > FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> > >
> > > Это надо править под свою сетку или в этом фэйке есть тайный смысл?
> >
> > Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.
> 
> Какой?

Эта сетка выбрана таким образом, чтобы не пересечься ни с чем.
Т.е. вы, конечно, можете её поменять, но зачем?

> > > P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
> > > доку и форум я уже скурил.
> >
> > Что у вас работает и что не работает?
> 
> Не ходят пинги между HN и VE. Судя по tcpdump -i venet0 в HN, пинги в
> VE уходят, но обратно не возвращаются. Что-то не так с маршрутизацией
> в VE, ip ro l там пустой. Если сделать в VE gefault gw равным ip,
> который я назначил для VE, то всё начинает работать.

У меня ip r l непустой:
$ /sbin/ip r l
191.255.255.0/24 dev venet0  scope host 
default via 191.255.255.1 dev venet0 

Я помню 3 типа граблей, вследствие которых ip r l был пустым:
1. отсутствие etcnet/net-scripts в контейнере (нет ни того ни другого);
2. chkconfig network off - последствие миграции с vserver;
2. неправильная информация о шаблоне, вследствие чего использовался не тот
  скрипт из /etc/vz/dists/scripts/, который нужен.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> On Wed, Aug 16, 2006 at 11:37:23AM +1300, Alexey Borovskoy wrote:
> > 16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> > > On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> > > > Помогите сняться с ручника.
> > > > Не могу понять как настраивать venet.
> > >
> > > Должно работать "из коробки".
> >
> > В моем случае "коробка" это ALC 3.0.4 с ядром kernel-image-ovz-smp-2.6.16-alt4.
> >
> > > > Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> > > > FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> > > >
> > > > Это надо править под свою сетку или в этом фэйке есть тайный смысл?
> > >
> > > Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный смысл.
> >
> > Какой?
>
> Эта сетка выбрана таким образом, чтобы не пересечься ни с чем.
> Т.е. вы, конечно, можете её поменять, но зачем?
>
> > > > P.S. Или я всё делаю не так? Если да, то подскажите как правильно,
> > > > доку и форум я уже скурил.
> > >
> > > Что у вас работает и что не работает?
> >
> > Не ходят пинги между HN и VE. Судя по tcpdump -i venet0 в HN, пинги в
> > VE уходят, но обратно не возвращаются. Что-то не так с маршрутизацией
> > в VE, ip ro l там пустой. Если сделать в VE gefault gw равным ip,
> > который я назначил для VE, то всё начинает работать.
>
> У меня ip r l непустой:
> $ /sbin/ip r l
> 191.255.255.0/24 dev venet0  scope host
> default via 191.255.255.1 dev venet0

Добавил вручную, пинги пошли.

> Я помню 3 типа граблей, вследствие которых ip r l был пустым:
> 1. отсутствие etcnet/net-scripts в контейнере (нет ни того ни другого);

# vzctl exec 101 rpm -qa|grep etcnet
etcnet-0.7.16-alt1

> 2. chkconfig network off - последствие миграции с vserver;

# vzctl exec 101 chkconfig --list
fbsetfont       0:off   1:off   2:off   3:off   4:off   5:off   6:off
netfs           0:off   1:off   2:off   3:on    4:on    5:on    6:off
random          0:off   1:off   2:on    3:on    4:on    5:on    6:off
rawdevices      0:off   1:off   2:off   3:off   4:off   5:off   6:off
consolesaver    0:off   1:off   2:on    3:on    4:on    5:on    6:off
keytable        0:off   1:off   2:on    3:off   4:off   5:off   6:off
crond           0:off   1:off   2:on    3:on    4:on    5:on    6:off
network         0:off   1:off   2:on    3:on    4:on    5:on    6:off
sound           0:off   1:off   2:on    3:on    4:on    5:on    6:off
ethtool         0:off   1:off   2:off   3:off   4:off   5:off   6:off
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off
syslogd         0:off   1:off   2:on    3:on    4:on    5:on    6:off

> 2. неправильная информация о шаблоне, вследствие чего использовался не тот
>   скрипт из /etc/vz/dists/scripts/, который нужен.

# cat /etc/vz/conf/101.conf |grep OSTEMPLATE
OSTEMPLATE="altlinux-3.0"

Осталось понять почему не добавляются маршруты при старте контейнера.

# vzctl exec 101 service network stop
Computing interface groups: .. 2 interfaces found
Processing /etc/net/vlantab: 0 lines processed.
Stopping group 0/virtual (2 interfaces)
        Stopping lo: .OK
        Stopping venet0: .OK

# vzctl exec 101 service network start
error: unknown error 1 setting key 'net.ipv4.conf.default.rp_filter'
error: unknown error 1 setting key 'net.ipv4.icmp_echo_ignore_broadcasts'
error: unknown error 1 setting key 'net.ipv4.tcp_syncookies'
error: unknown error 1 setting key 'net.ipv4.tcp_timestamps'
Computing interface groups: .. 2 interfaces found
Starting group 0/virtual (2 interfaces)
        Starting lo: ....OK
        Starting venet0: ....RTNETLINK answers: No such device
.RTNETLINK answers: Network is unreachable
.OK
Processing /etc/net/vlantab: 0 lines processed.

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

Проблема решена.
В контейнере с ALC 3.0.4 нужен etcnet-0.8.3-alt2.

Осталось понять чего не хватало в etcnet-0.7.16-alt1
.

Re: [Sysadmins] Сеть в OpenVZ

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1903 bytes --]

On Wed, Aug 16, 2006 at 12:34:19PM +1300, Alexey Borovskoy wrote:
> 16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> > On Wed, Aug 16, 2006 at 11:37:23AM +1300, Alexey Borovskoy wrote:
[...]
> > > Не ходят пинги между HN и VE. Судя по tcpdump -i venet0 в HN, пинги в
> > > VE уходят, но обратно не возвращаются. Что-то не так с маршрутизацией
> > > в VE, ip ro l там пустой. Если сделать в VE gefault gw равным ip,
> > > который я назначил для VE, то всё начинает работать.
> >
> > У меня ip r l непустой:
> > $ /sbin/ip r l
> > 191.255.255.0/24 dev venet0  scope host
> > default via 191.255.255.1 dev venet0
> 
> Добавил вручную, пинги пошли.

Естественно.

> > Я помню 3 типа граблей, вследствие которых ip r l был пустым:
> > 1. отсутствие etcnet/net-scripts в контейнере (нет ни того ни другого);
> 
> # vzctl exec 101 rpm -qa|grep etcnet
> etcnet-0.7.16-alt1

Ага.
# rpmquery etcnet
0.8.3-alt1.1

[...]
> Осталось понять почему не добавляются маршруты при старте контейнера.
[...]
> # vzctl exec 101 service network start
> error: unknown error 1 setting key 'net.ipv4.conf.default.rp_filter'
> error: unknown error 1 setting key 'net.ipv4.icmp_echo_ignore_broadcasts'
> error: unknown error 1 setting key 'net.ipv4.tcp_syncookies'
> error: unknown error 1 setting key 'net.ipv4.tcp_timestamps'
> Computing interface groups: .. 2 interfaces found
> Starting group 0/virtual (2 interfaces)
>         Starting lo: ....OK
>         Starting venet0: ....RTNETLINK answers: No such device
> .RTNETLINK answers: Network is unreachable
> .OK
> Processing /etc/net/vlantab: 0 lines processed.

Я ведь патчил etcnet на тему обработки интерфейсов типа venet:

0.8.3-alt1.1
- /etc/net/scripts/network.init:type2group(): Handle venet type.
- Added %triggerpostun script to save network service during
  net-scripts -> etcnet migration.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Alexey Borovskoy]

16.08.06, Dmitry V. Levin<ldv@altlinux.org> написал(а):
> Я ведь патчил etcnet на тему обработки интерфейсов типа venet:
>
> 0.8.3-alt1.1
> - /etc/net/scripts/network.init:type2group(): Handle venet type.
> - Added %triggerpostun script to save network service during
>   net-scripts -> etcnet migration.

Вечером запатчу etcnet-0.7.16-alt1.

Re: [Sysadmins] Сеть в OpenVZ

[Ildar Mulyukov]

On 16.08.2006 04:10:24, Dmitry V. Levin wrote:
> On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> > Помогите сняться с ручника.
> > Не могу понять как настраивать venet.
> 
> Должно работать "из коробки".
У меня не заработало. Может, я что-то пропустил?

> > Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> > FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> >
> > Это надо править под свою сетку или в этом фэйке есть тайный смысл?
> Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный
> смысл.
Тогда более подробно.
# uname -r
2.6.16-ovz-smp-alt4
# rpm -q vzctl
vzctl-3.0.10-alt5
1. service vz start
	делает следующее:
         action "Bringing up interface $VZDEV:" \
                 ip link set ${VZDEV} up || return
         action "Assigning address to interface $VZDEV:" \
                 ip addr add 0.0.0.0/0 dev ${VZDEV} || return
Т.о. venet0 на хосте умышленно поднимается без адреса и даже  
прописыванием его в etc/net/ifaces ничего не исправить, только править  
/etc/rc.d/init.d/vz

2. Замечательно, что сетка для виртуальных серверов уже предусмотрена.  
Однако это нигде не указано (легко исправить, я готов сам в вики  
занести). Но, что хуже, даже попадая в нужную сетку, получаю
# vzctl exec 1001 ip addr
.....
3: venet0: <BROADCAST,POINTOPOINT,NOARP,UP> mtu 1500 qdisc noqueue
     link/void
     inet 127.0.0.1/32 scope host venet0
     inet 191.255.255.11/32 scope global venet0:2
маска, заметьте, /32, поэтому
# vzctl exec 1001 ping 191.255.255.1
connect: Invalid argument

В общем, у меня "из коробки" не получилось. Только рашпилем... Где я  
ошибся?

Последний вопрос. Лучше здесь продолжить или сразу идти в bugzilla?

Спасибо.
--
Ildar  Mulyukov,
   free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================

Re: [Sysadmins] Сеть в OpenVZ

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1477 bytes --]

Ildar Mulyukov пишет:
> Тогда более подробно.
> # uname -r
> 2.6.16-ovz-smp-alt4
> # rpm -q vzctl
> vzctl-3.0.10-alt5
> 1. service vz start
> 	делает следующее:
>          action "Bringing up interface $VZDEV:" \
>                  ip link set ${VZDEV} up || return
>          action "Assigning address to interface $VZDEV:" \
>                  ip addr add 0.0.0.0/0 dev ${VZDEV} || return
> Т.о. venet0 на хосте умышленно поднимается без адреса и даже  
> прописыванием его в etc/net/ifaces ничего не исправить, только править  
> /etc/rc.d/init.d/vz
>   
Да так должно быть. Не надо править ничего. Это так ядро хитро работает,
а venet это такой хитрый интерфейс, типа p-to-p.
> 2. Замечательно, что сетка для виртуальных серверов уже предусмотрена.  
> Однако это нигде не указано (легко исправить, я готов сам в вики  
> занести). Но, что хуже, даже попадая в нужную сетку, получаю
> # vzctl exec 1001 ip addr
> .....
> 3: venet0: <BROADCAST,POINTOPOINT,NOARP,UP> mtu 1500 qdisc noqueue
>      link/void
>      inet 127.0.0.1/32 scope host venet0
>      inet 191.255.255.11/32 scope global venet0:2
>   
Скажите, а 191.255.255.11 это тот IP который вы указывали в команде
vzctl set 1001 --ipadd ?
> Последний вопрос. Лучше здесь продолжить или сразу идти в bugzilla?
>   
Наверно сначала тут и если выявится баг, то занесем.

Я немного дописал на вики про veth. Гляньте, может что-то не так.

-- 
С уважением,
Дубровский Вячеслав.


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3237 bytes --]

Re: [Sysadmins] Сеть в OpenVZ

[Ildar Mulyukov]

#9890, патчи уже там.

Ильдар.


On 16.08.2006 14:24:37, Ildar Mulyukov wrote:
> 
> On 16.08.2006 04:10:24, Dmitry V. Levin wrote:
> > On Tue, Aug 15, 2006 at 06:47:10PM +1300, Alexey Borovskoy wrote:
> > > Помогите сняться с ручника.
> > > Не могу понять как настраивать venet.
> >
> > Должно работать "из коробки".
> У меня не заработало. Может, я что-то пропустил?
> 
> > > Зачем в /etc/vz/dists/scripts/etcnet-add_ip.sh указано
> > > FAKEGATEWAY=191.255.255.1 и FAKEGATEWAYNET=191.255.255.0 ?
> > >
> > > Это надо править под свою сетку или в этом фэйке есть тайный
> смысл?
> > Это НЕ надо править под свою сетку, в этом FAKE* есть скрытый явный
> > смысл.
> Тогда более подробно.
> # uname -r
> 2.6.16-ovz-smp-alt4
> # rpm -q vzctl
> vzctl-3.0.10-alt5
> 1. service vz start
> 	делает следующее:
>          action "Bringing up interface $VZDEV:" \
>                  ip link set ${VZDEV} up || return
>          action "Assigning address to interface $VZDEV:" \
>                  ip addr add 0.0.0.0/0 dev ${VZDEV} || return
> Т.о. venet0 на хосте умышленно поднимается без адреса и даже
> прописыванием его в etc/net/ifaces ничего не исправить, только править
> 
> /etc/rc.d/init.d/vz
> 
> 2. Замечательно, что сетка для виртуальных серверов уже предусмотрена.
> 
> Однако это нигде не указано (легко исправить, я готов сам в вики
> занести). Но, что хуже, даже попадая в нужную сетку, получаю
> # vzctl exec 1001 ip addr
> .....
> 3: venet0: <BROADCAST,POINTOPOINT,NOARP,UP> mtu 1500 qdisc noqueue
>      link/void
>      inet 127.0.0.1/32 scope host venet0
>      inet 191.255.255.11/32 scope global venet0:2
> маска, заметьте, /32, поэтому
> # vzctl exec 1001 ping 191.255.255.1
> connect: Invalid argument
> 
> В общем, у меня "из коробки" не получилось. Только рашпилем... Где я
> ошибся?
> 
> Последний вопрос. Лучше здесь продолжить или сразу идти в bugzilla?

--
Ildar  Mulyukov,
   free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================