[Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[seriv]

(posted to community@ and sysadmins@)

Прошу помощи.

Раньше ни разу не требовалось организолыввать VEs соединённые с двумя разными сетями. В моём случае - это локальная сеть с 10.*.*.* адресами и WAN, честные статические ipv4 адреса. Установлен Server-4.0.1 + updates.

Я попробовал делать всё согласно описанному в http://www.freesource.info/wiki/SergeyLebedev/EisSystem/RootSystemEIS& - то есть с помощью bridges. Устроил vzbr0, отнял у eth0 его ipv3address заменив на 0.0.0.0 и передал этот адрес интерфейсу vzbr0. 

Потом устроил default route для vzbr0.

Всё пробовал и /sbin/service/network restart отрабатывало замечаательно, вплоть до того что при помощи скриптов из 
http://wiki.openvz.org/Using_private_IPs_for_Hardware_Nodes (конкретнее - скрипта /usr/sbin/vznetcfg.custom) e моём VE создавался интерфейс eth0, добавлялся к bridge vzbr0, устраивались routes.

Затем, перед тем как доделать то же самое для другой сети, решил дпя проверки перезагрузить сервер. И он не появился в сети! 

Спустя несколько дней к нему поехали на colocation, попытались перезагрузиться и вручную запустить сеть и sshd чтобы я мог увидеть что случилось и поправить. Увы, сервер расположен не в моей часовой зоне, и видимо ночью я соображаю плохо.

Первое что я осознал - это что мои bridge devices vzbr0 и vzbr1 дописаны в /etc/iftable и забирают у eth0/eth1 карточки по макадресам, так что eth0/eth1 подняться не удеётся вовсе. Так что /sbin/ifconfig eth0 10.16.0.12 говорит 'fetching interface information - device not found'

Попросил перезагрузиться в runlevel 1. Потом ifconfig, service sshd start. После этого смог соединиться удалённо. Обнаружил vzbr{0,1} в /etc/iftable Решив вначале создать для сбе "гарантии" против повторных таких проблем. Написал сходу что-то типа (сейчас по памяти воспроизвожу):
---
#!/bin/bash
## /root/bin/10.sh - script to bring up interface up if it ifrenamed to anything but vzbr*

NAME=`ifconfig -a | grep '00:04:05:06:07:08' |grep -v '^vzbr' | awk '{print $1}'` 

if ! ping -c 1 -I $NAME >/dev/null 2>&1 
then
   ifconfig $NAME 10.16.0.12/24
fi
---
(вместо реального макадреса написал произвольную последовательность цифр).

Имея два поднятых интерфейса мог себе позволить проверить этот скрипт, поместил его в crontab на каждые 5 минут.  Искуственно опустил интерфейс, и увидел что он поднялся из этого скрипта.

Сделал такой же скрипт для WAN.

И перезагрузил опять мошину. Это было вчера. Теперь вот надо будет опять организовывать чтобы к ней поехали и восстанавливали вручную.


   Прошу подсказать, как надо настраивать OpenVZ, etcnet и bridges в такой ситуации. Прошу покритиковать то что я делал

-- 

   Сергей Иванов.

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Sergey]

On Monday 11 February 2008, seriv@parkheights.dyndns.org wrote:

> Первое что я осознал - это что мои bridge devices vzbr0 и vzbr1 дописаны в 
> /etc/iftable и забирают у eth0/eth1 карточки по макадресам, 

Через Альтератор делалось ?

>    Прошу подсказать, как надо настраивать OpenVZ, etcnet и bridges в такой 
>    ситуации. Прошу покритиковать то что я делал 

Так что надо, в конце концов ? получить именно 2 VE в разных сетях ? Или они 
как-то связаны должны быть ? В общем, если eth нарезать на 802.1q интерфейсы, 
а, потом, распихать их по разным VE, это работает. Так не пойдёт ?

Остаётся только на другой стороне провода (свич ?) 802.1q включить и правильно
VLAN-ы настроить.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> В общем, если eth нарезать на 802.1q интерфейсы,
> а, потом, распихать их по разным VE, это работает.

Нарезание внутри VE тоже работает :)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Sergey]

On Tuesday 12 February 2008, Eugene Prokopiev wrote:

> > В общем, если eth нарезать на 802.1q интерфейсы,
> > а, потом, распихать их по разным VE, это работает.
> 
> Нарезание внутри VE тоже работает :)
 
Ух ты. А как ? У меня не получилось в VE модуль 8021q загнать. Или он там не
нужен ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> > > В общем, если eth нарезать на 802.1q интерфейсы,
> > > а, потом, распихать их по разным VE, это работает.
> >
> > Нарезание внутри VE тоже работает :)
>
> Ух ты. А как ? У меня не получилось в VE модуль 8021q загнать. Или он там не
> нужен ?

https://bugzilla.altlinux.org/show_bug.cgi?id=13607

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Sergey]

On Tuesday 12 February 2008, Eugene Prokopiev wrote:

> https://bugzilla.altlinux.org/show_bug.cgi?id=13607

О как. То есть, это именно из-за попытки подгрузить проблема, а так 
работать должно ? И ничего в конфигурации vz/VE специально делать не
надо ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> > https://bugzilla.altlinux.org/show_bug.cgi?id=13607
>
> О как. То есть, это именно из-за попытки подгрузить проблема, а так
> работать должно ? И ничего в конфигурации vz/VE специально делать не
> надо ?

нет

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> Прошу подсказать, как надо настраивать OpenVZ, etcnet и bridges в такой ситуации. Прошу покритиковать то что я делал

Вообще-то, подобная конфигурация должна работать без всяких 802.1q,
правда про назначение /etc/iftable я ничего не знаю, как и про
проблемы с забиранием маков.

Стандартно средствами etcnet настроен бридж, адреса (802.1q vlans
тоже, но там они как раз нужны - сетевых интерфейсов меньше, чем
нужных сетей) перенесены с физического интерфейса на бридж. В тот же
бридж /usr/sbin/vznetcfg (на самом деле не он, а скрипты, которые он
вызывает - почитайте) добавляет veth0-интерфейсы VE, а парные
интерфейсы в VE уже конфигурятся как обычно, в т.ч. и для 802.1q.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Sergey]

On Tuesday 12 February 2008, Eugene Prokopiev wrote:

> > О как. То есть, это именно из-за попытки подгрузить проблема, а так
> > работать должно ? И ничего в конфигурации vz/VE специально делать не
> > надо ?
> 
> нет

Нет - не надо указывать, или нет - не должно работать ? :-) В общем, надеюсь
на первое... А проверку сейчас сделать просто. Вопрос только, на сколько оно 
будет постоянно и не поменяется ли формат вывода...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> > > О как. То есть, это именно из-за попытки подгрузить проблема, а так
> > > работать должно ? И ничего в конфигурации vz/VE специально делать не
> > > надо ?
> >
> > нет
>
> Нет - не надо указывать, или нет - не должно работать ? :-) В общем, надеюсь
> на первое... А проверку сейчас сделать просто. Вопрос только, на сколько оно
> будет постоянно и не поменяется ли формат вывода...

работать будет, нужно только etcnet уговорить не отваливаться после
того, как не получилось подгрузить модуль

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Peter Evdokimov]

On Mon, 11 Feb 2008 10:25:50 -0500 (EST)
seriv@parkheights.dyndns.org wrote:

> Раньше ни разу не требовалось организолыввать VEs соединённые с двумя
> разными сетями. В моём случае - это локальная сеть с 10.*.*.*
> адресами и WAN, честные статические ipv4 адреса. Установлен
> Server-4.0.1 + updates.
....

> Затем, перед тем как доделать то же самое для другой сети, решил дпя
> проверки перезагрузить сервер. И он не появился в сети! 
....

искать обсуждение или здесь или в sisyphus@ про bridge, ovz и помещение
какой-то сборки vzctl в daedalus. где-то за конец октября - начало
ноября. это если я правильно понял вопрос. 


sy,
	peter

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

> искать обсуждение или здесь или в sisyphus@ про bridge, ovz и помещение
> какой-то сборки vzctl в daedalus. где-то за конец октября - начало
> ноября. это если я правильно понял вопрос.

https://bugzilla.altlinux.org/show_bug.cgi?id=13147 и
https://bugzilla.altlinux.org/show_bug.cgi?id=13148 ?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Peter Evdokimov]

On Tue, 12 Feb 2008 17:45:00 +0300
Eugene Prokopiev wrote:

> > искать обсуждение или здесь или в sisyphus@ про bridge, ovz и
> > помещение какой-то сборки vzctl в daedalus. где-то за конец октября
> > - начало ноября. это если я правильно понял вопрос.
> 
> https://bugzilla.altlinux.org/show_bug.cgi?id=13147 и
> https://bugzilla.altlinux.org/show_bug.cgi?id=13148 ?

угу, похоже на то. в бранче не исправлено. в сизифе не пробовал.
свои костыли не лепил - ждал, что тестирование и внесение в сизиф/бранч
будет завершено, но всё затихло, как я понял. да и сервера у меня в 20
метрах.

и спасибо за ссылки на патчи - завтра вылечу у себя =)

sy,
	peter

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Eugene Prokopiev]

12.02.08, Peter Evdokimov<blackp@vpmes.ru> написал(а):
> On Tue, 12 Feb 2008 17:45:00 +0300
> Eugene Prokopiev wrote:
>
> > > искать обсуждение или здесь или в sisyphus@ про bridge, ovz и
> > > помещение какой-то сборки vzctl в daedalus. где-то за конец октября
> > > - начало ноября. это если я правильно понял вопрос.
> >
> > https://bugzilla.altlinux.org/show_bug.cgi?id=13147 и
> > https://bugzilla.altlinux.org/show_bug.cgi?id=13148 ?
>
> угу, похоже на то. в бранче не исправлено. в сизифе не пробовал.
> свои костыли не лепил - ждал, что тестирование и внесение в сизиф/бранч
> будет завершено, но всё затихло, как я понял. да и сервера у меня в 20
> метрах.
>
> и спасибо за ссылки на патчи - завтра вылечу у себя =)

проблемы с veth мне не совсем понятны - видимо vznetcfg покрывает все
мои потребности ;)

а вот клонированный из гита solo@ vzctl с поддержкой ip-адреса на
venet средствами etcnet у меня работает (там это изменение в отдельном
бранче), и я не представляю, что б я без него делал ...

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Michael Shigorin]

On Tue, Feb 12, 2008 at 09:04:25PM +0300, Eugene Prokopiev wrote:
> а вот клонированный из гита solo@ vzctl с поддержкой ip-адреса
> на venet средствами etcnet у меня работает (там это изменение в
> отдельном бранче), и я не представляю, что б я без него делал
> ...

А оно уже висит багой на vzctl? :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 451 bytes --]

Michael Shigorin пишет:
> On Tue, Feb 12, 2008 at 09:04:25PM +0300, Eugene Prokopiev wrote:
>> а вот клонированный из гита solo@ vzctl с поддержкой ip-адреса
>> на venet средствами etcnet у меня работает (там это изменение в
>> отдельном бранче), и я не представляю, что б я без него делал
>> ...
> 
> А оно уже висит багой на vzctl? :)

  Это и есть <https://bugzilla.altlinux.org/show_bug.cgi?id=13148>

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 544 bytes --]

Re: [Sysadmins] OpenVZ @ server-4.0.1 - большие проблемы

[Aleksey Avdeev]

[-- Attachment #1.1: Type: text/plain, Size: 1287 bytes --]

Eugene Prokopiev пишет:
> 12.02.08, Peter Evdokimov<blackp@vpmes.ru> написал(а):
> 
>>On Tue, 12 Feb 2008 17:45:00 +0300
>>Eugene Prokopiev wrote:
>>
>>
>>>>искать обсуждение или здесь или в sisyphus@ про bridge, ovz и
>>>>помещение какой-то сборки vzctl в daedalus. где-то за конец октября
>>>>- начало ноября. это если я правильно понял вопрос.
>>>
>>>https://bugzilla.altlinux.org/show_bug.cgi?id=13147 и
>>>https://bugzilla.altlinux.org/show_bug.cgi?id=13148 ?
>>
>>угу, похоже на то. в бранче не исправлено. в сизифе не пробовал.
>>свои костыли не лепил - ждал, что тестирование и внесение в сизиф/бранч
>>будет завершено, но всё затихло, как я понял. да и сервера у меня в 20
>>метрах.
>>
>>и спасибо за ссылки на патчи - завтра вылечу у себя =)
> 
> 
> проблемы с veth мне не совсем понятны - видимо vznetcfg покрывает все
> мои потребности ;)

  Сегодня ещё раз решал задачу бридживания veth. На этот раз -- с
помощью EXTERNAL_SCRIPT (определяемого в /etc/vz/vznet.conf)
специального вида (передела из vznetcfg, см. вложение).

  Эффект от работы скрипта следующее: все vethX.Y с внутренними (в VE)
именами <имя> помещаются в бриджи с именами вида b<имя>.

PS: В прилагаемом варианте защита от дурака отсутствует.

-- 

С уважением. Алексей.

[-- Attachment #1.2: vznetcfg_brctl --]
[-- Type: text/plain, Size: 1767 bytes --]

#!/bin/sh
#  Copyright (C) 2000-2007 SWsoft. All rights reserved.
#
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#
#  You should have received a copy of the GNU General Public License
#  along with this program; if not, write to the Free Software
#  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
#
#VZNETCFG='/etc/vz/vznet.conf'
#
#[ -f "$VZNETCFG" ] && source "$VZNETCFG"

usage()
{
	echo >&2 "vznetcfg init veth <dev>"
}

init_veth()
{
	local dev="$1"

	ip link set "$dev" up
	if [ -n "$VEID" ]; then
		sed -ne '1,/^NETIF=/{/^NETIF=/s/^NETIF=\"\([^\"]\+\)\"/\1/p}' "/etc/vz/conf/$VEID.conf" | \
			sed -ne 's/\([^,;=]\+\)=\([^,;]*\)[,;]/\1 \2\n/pg' | \
			{
				local bname=
				local n p
				while read -r n p; do
					if [ "x$n" = "xifname" ]; then
						bname="b$p"
					elif [ "x$n$p" = "xhost_ifname$dev" ]; then
						echo brctl addif "$bname" "$dev"
						brctl addif "$bname" "$dev" ||:
					fi
				done
			}
	fi
}

## Call the external script if defined
#if [ -n "$EXTERNAL_SCRIPT" -a -x "$EXTERNAL_SCRIPT" ]; then
#	export VEID
#	exec "$EXTERNAL_SCRIPT" $@
#fi

if test $# -le 2; then
    usage
    exit 0
fi

CMD="$1"
case "$CMD$2" in
	initveth)
		if test $# -ne 3; then
			usage
			exit 1
		fi
		init_veth "$3"
		;;
	*)
		echo "invalid action"
		exit 1
		;;
esac
exit 0

[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 548 bytes --]