[Sysadmins] shaping inside Openvz VPS

[Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 2012 bytes --]

здравствуйте все. более года я тут не появлялся, так что не пинайтие, если
что пропустил :) да и google на данную тему мало что говорит.

ситуация: в машину воткнуто три сетевухи - inet (dsl0), локалка по району (un0),
домашняя локалка (hm0, типа home). моя машине находится со стороны hm0,
машина брата - un0. оба лезут в инет через dsl0.

задача: поднять shaper так на un0 и hm0 да так, чтобы он функционировал
как на одном. как я поиска подобное решает imq, но тут я придумал
поинтересней.

в итоге: поднят VPS, куда прокинул dsl0. создал veth, связывающий VPS и
HN.

картинка:
                             : un0
                tc          /
dsl0 :VPS: eth0 --> gw0 :HN:
                            \ 
                             : hm0

теперь через htb можно красиво шейперить на девайсе eth0 внтури tc. вроде
бы можно.

результат: недавно ни с того ни с сего вся машина стала, если можно так
выразится, "залипать" - на пинги отвечает с перерывами, samba выдает
данные также с перерывами, по ssh доступ хуже чем на модеме с 28kbps.

внтури HN top показывает, что простой ssh ест порядка 30% проца, samba
тоже где-то 30, и скриптик мой через LWP по инету бродящий ест те же 30%.

удаление qdisc с eth внутри VPS решает проблему.

добавляние qdisc и классов вида:
tc qdisc add dev eth0 handle 1: root htb default 1
tc class add dev eth0 parent 1: classid 1:1 htb rate 100Mbit

дает интересную вещь: при подключении на VPS по ssh в класее 1:1 пакеты
начинают дропаться. если rate 1000Mbit воткнуть вроде жить можно. но такой
же эффект достигается через ping -f - вместо шейпинга получаем дроп. хотя
iftop показывает, что icmp поток не более 20Mbit/sec. HN слава богу живет.

если оставить tc qdisc без классов (выполняется только одна команда), то
через дня два машина опять "залипла". вместе с HN.

что за ересь - понять не могу. единственное похоже нашел
http://forum.openvz.org/index.php?t=msg&goto=16281
да не помогло.
-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shaping inside Openvz VPS

[Vladimir V. Kamarzin]

>>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:

 AD> что за ересь - понять не могу. единственное похоже нашел
 AD> http://forum.openvz.org/index.php?t=msg&goto=16281

У меня вообще tc filter не работает :)
https://bugzilla.altlinux.org/show_bug.cgi?id=13911

-- 
vvk

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Wed, Jan 23, 2008 at 10:27:29AM +0500, Vladimir V. Kamarzin wrote:
> >>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:
> 
>  AD> что за ересь - понять не могу. единственное похоже нашел
>  AD> http://forum.openvz.org/index.php?t=msg&goto=16281
> 
> У меня вообще tc filter не работает :)
> https://bugzilla.altlinux.org/show_bug.cgi?id=13911
что-то у меня подобное было - ни qdisc ни filter добавляться не хотел.
вколотил в /etc/modules модули sch_sfq, sch_htb, cls_u32, cls_route,
cls_fw и вроде добавляет.

что характернно - все работало. потом сдохло. почему - не ясно.
$ uname -r
2.6.18-ovz-smp-alt18

$ rpm -q vzctl
vzctl-3.0.22-alt1

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Wed, Jan 23, 2008 at 10:27:29AM +0500, Vladimir V. Kamarzin wrote:
> >>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:
> 
>  AD> что за ересь - понять не могу. единственное похоже нашел
>  AD> http://forum.openvz.org/index.php?t=msg&goto=16281
> 
> У меня вообще tc filter не работает :)
> https://bugzilla.altlinux.org/show_bug.cgi?id=13911
что-то у меня подобное было - ни qdisc ни filter добавляться не хотел.
вколотил в /etc/modules модули sch_sfq, sch_htb, cls_u32, cls_route,
cls_fw и вроде добавляет.

что характернно - все работало. потом сдохло. почему - не ясно.
$ uname -r
2.6.18-ovz-smp-alt18

$ rpm -q vzctl
vzctl-3.0.22-alt1

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Vladimir V. Kamarzin]

>>>>> On 23 Jan 2008 at 14:41 "AD" == Afanasov Dmitry writes:

 AD> On Wed, Jan 23, 2008 at 10:27:29AM +0500, Vladimir V. Kamarzin wrote:
>> >>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:
>> 
>>  AD> что за ересь - понять не могу. единственное похоже нашел
>>  AD> http://forum.openvz.org/index.php?t=msg&goto=16281
>> 
>> У меня вообще tc filter не работает :)
>> https://bugzilla.altlinux.org/show_bug.cgi?id=13911
 AD> что-то у меня подобное было - ни qdisc ни filter добавляться не хотел.
 AD> вколотил в /etc/modules модули sch_sfq, sch_htb, cls_u32, cls_route,
 AD> cls_fw и вроде добавляет.

Проверил. Модели загружены, так что дело в чём-то другом.

-- 
vvk

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 969 bytes --]

On Mon, Jan 28, 2008 at 11:19:19AM +0500, Vladimir V. Kamarzin wrote:
> >>>>> On 23 Jan 2008 at 14:41 "AD" == Afanasov Dmitry writes:
>  AD> On Wed, Jan 23, 2008 at 10:27:29AM +0500, Vladimir V. Kamarzin wrote:
> >> >>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:
>  AD> что-то у меня подобное было - ни qdisc ни filter добавляться не хотел.
>  AD> вколотил в /etc/modules модули sch_sfq, sch_htb, cls_u32, cls_route,
>  AD> cls_fw и вроде добавляет.
> 
> Проверил. Модели загружены, так что дело в чём-то другом.
тогда будем считать что мы об в растерянности :) хотя может в фильтрах
использованы классификаторы кроме u32, route либо fw. это у меня они
юзаются.

что странно, у меня ж работало. у упало до смены ядра.

я пока соберу себе 2.6.22 с последним openvz патчем, проверю, а уж потом
на forum.openvz.org пойду жаловаться.

разебрусь вот только с git'ами - все ведь туда перенесли, блин.

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shaping inside Openvz VPS

[Vladimir V. Kamarzin]

>>>>> On 28 Jan 2008 at 11:58 "AD" == Afanasov Dmitry writes:

 AD> On Mon, Jan 28, 2008 at 11:19:19AM +0500, Vladimir V. Kamarzin wrote:
>> >>>>> On 23 Jan 2008 at 14:41 "AD" == Afanasov Dmitry writes:
>>  AD> On Wed, Jan 23, 2008 at 10:27:29AM +0500, Vladimir V. Kamarzin wrote:
>> >> >>>>> On 22 Jan 2008 at 23:48 "AD" == Afanasov Dmitry writes:
>>  AD> что-то у меня подобное было - ни qdisc ни filter добавляться не хотел.
>>  AD> вколотил в /etc/modules модули sch_sfq, sch_htb, cls_u32, cls_route,
>>  AD> cls_fw и вроде добавляет.
>> 
>> Проверил. Модели загружены, так что дело в чём-то другом.
 AD> тогда будем считать что мы об в растерянности :) хотя может в фильтрах
 AD> использованы классификаторы кроме u32, route либо fw. это у меня они
 AD> юзаются.

Я проверял как раз u32 и fw.

-- 
vvk

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

Здравствуйте,

Зачем все так сложно? Htb достаточно гибкая дисциплина. опишите,
как вам нужно делить трафик между вашими un0 & hm0? или что
подразумевается :"поднять shaper так на un0 и hm0 да так, чтобы
он функционировал как на одном"? если поровну поделить канал -
поставьте одинакоывй ceil=maxBW и rate=1/2maxBW (не забывая о
том, что вышестоящий пров тоже шейпит и не отдаст больше)

On Tue, 22 Jan 2008, Afanasov Dmitry wrote:

> здравствуйте все. более года я тут не появлялся, так что не
> пинайтие, если
> что пропустил :) да и google на данную тему мало что говорит.
>
> ситуация: в машину воткнуто три сетевухи - inet (dsl0),
> локалка по району (un0),
> домашняя локалка (hm0, типа home). моя машине находится со
> стороны hm0,
> машина брата - un0. оба лезут в инет через dsl0.
>
> задача: поднять shaper так на un0 и hm0 да так, чтобы он
> функционировал
> как на одном. как я поиска подобное решает imq, но тут я
> придумал
> поинтересней.
>
> в итоге: поднят VPS, куда прокинул dsl0. создал veth,
> связывающий VPS и
> HN.
>
> картинка:
>                              : un0
>                 tc          /
> dsl0 :VPS: eth0 --> gw0 :HN:
>                             \
>                              : hm0
>
> теперь через htb можно красиво шейперить на девайсе eth0
> внтури tc. вроде
> бы можно.
>
> результат: недавно ни с того ни с сего вся машина стала, если
> можно так
> выразится, "залипать" - на пинги отвечает с перерывами, samba
> выдает
> данные также с перерывами, по ssh доступ хуже чем на модеме с
> 28kbps.
>
> внтури HN top показывает, что простой ssh ест порядка 30%
> проца, samba
> тоже где-то 30, и скриптик мой через LWP по инету бродящий ест
> те же 30%.
>
> удаление qdisc с eth внутри VPS решает проблему.
>
> добавляние qdisc и классов вида:
> tc qdisc add dev eth0 handle 1: root htb default 1
> tc class add dev eth0 parent 1: classid 1:1 htb rate 100Mbit
>
> дает интересную вещь: при подключении на VPS по ssh в класее
> 1:1 пакеты
> начинают дропаться. если rate 1000Mbit воткнуть вроде жить
> можно. но такой
> же эффект достигается через ping -f - вместо шейпинга получаем
> дроп. хотя
> iftop показывает, что icmp поток не более 20Mbit/sec. HN слава
> богу живет.
>
> если оставить tc qdisc без классов (выполняется только одна
> команда), то
> через дня два машина опять "залипла". вместе с HN.
>
> что за ересь - понять не могу. единственное похоже нашел
> http://forum.openvz.org/index.php?t=msg&goto=16281
> да не помогло.
>

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Wed, Jan 23, 2008 at 09:24:59AM +0200, Serg Rychka wrote:
> Здравствуйте,
> 
> Зачем все так сложно? Htb достаточно гибкая дисциплина. опишите,
> как вам нужно делить трафик между вашими un0 & hm0? или что
> подразумевается :"поднять shaper так на un0 и hm0 да так, чтобы
> он функционировал как на одном"? если поровну поделить канал -
> поставьте одинакоывй ceil=maxBW и rate=1/2maxBW (не забывая о
> том, что вышестоящий пров тоже шейпит и не отдаст больше)
именно "поднять shaper так на un0 и hm0 да так, чтобы он функционировал
как на одном" и подразумевается :)

то есть в отсутствие трафика на hm0 un0 должен отдаваться весь канал -
256Kbit, если не говорил ранее. тоже самое при отсутсвии трафика на un0. 

как я понял и доки такое происходит на одном iface.

к слову сказать настройки просты до безобразия - сваяны были, когда
torrent у брата совсем достал.

вот /etc/rc.d/rc.shape, запускаемый из rc.local:
tc qdisc add dev eth0 handle 1:0 root htb default 1 
tc class add dev eth0 classid 1:1 root htb rate 100Mbit ceil 100Mbit # для всего остального 
tc class add dev eth0 classid 1:2 root htb rate 278528bit # internet

# в ip route есть строка 
# default via 10.254.254.2 dev dsl0 realm inet
# filter натравлен на траф, приходящий по этому realm
tc filter add dev eth0 parent 1:0 protocol ip prio 100 route from inet flowid 1:2


# где-то вычитал о подобном шаманстве. 
tc qdisc add dev eth0 handle 2:0 parent 1:2 htb default 4

# пользовательский класс
tc class add dev eth0 classid 2:1 parent 2:0 htb rate 262144bit burst 27852

# класс для hm0
tc class add dev eth0 classid 2:2 parent 2:1 htb rate 131072bit ceil 262144bit prio 9 burst 13925

# кдасс для un0
tc class add dev eth0 classid 2:3 parent 2:1 htb rate 65536bit ceil 262144bit prio 5 burst 6962

# default класс для "левых" - ходют тут ещё человека три у меня
tc class add dev eth0 classid 2:4 parent 2:1 htb rate 65536bit ceil 262144bit prio 1 burst 6962

tc filter add dev eth0 parent 2:0 protocol ip prio 100 u32 match ip dst 10.167.2.1/32 flowid 2:2 # hm0
tc filter add dev eth0 parent 2:0 protocol ip prio 110 u32 match ip dst 10.254.1.0/24 flowid 2:2 # остальные vps
tc filter add dev eth0 parent 2:0 protocol ip prio 110 u32 match ip dst 10.254.0.0/24 flowid 2:2 # HN

tc filter add dev eth0 parent 2:0 protocol ip prio 150 u32 match ip dst 192.168.1.219/32 flowid 2:3 # брат из un0

tc qdisc add dev eth0 parent 1:1 sfq
tc qdisc add dev eth0 parent 2:2 sfq
tc qdisc add dev eth0 parent 2:3 sfq

теперь вопрос как такую функциональность реализовать на независимых
iface'ах. как я понял именно для этого imq и испольуется. но вот почему-то
мне кажется, что он будет посложнее qdisc inside VPS :)

хотя все равно ядро для esfq пересобирать, может потом и его воткну.

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Wed, 23 Jan 2008, Afanasov Dmitry wrote:

> On Wed, Jan 23, 2008 at 09:24:59AM +0200, Serg Rychka wrote:
> > Здравствуйте,
> >
> > Зачем все так сложно? Htb достаточно гибкая дисциплина. опишите,
> > как вам нужно делить трафик между вашими un0 & hm0? или что
> > подразумевается :"поднять shaper так на un0 и hm0 да так, чтобы
> > он функционировал как на одном"? если поровну поделить канал -
> > поставьте одинакоывй ceil=maxBW и rate=1/2maxBW (не забывая о
> > том, что вышестоящий пров тоже шейпит и не отдаст больше)

> именно "поднять shaper так на un0 и hm0 да так, чтобы он функционировал
> как на одном" и подразумевается :)
>
> то есть в отсутствие трафика на hm0 un0 должен отдаваться весь канал -
> 256Kbit, если не говорил ранее. тоже самое при отсутсвии трафика на un0.
>
> как я понял и доки такое происходит на одном iface.
>
> к слову сказать настройки просты до безобразия - сваяны были, когда
> torrent у брата совсем достал.
>
[SKIP]

с первого взгляда все верно

>
> теперь вопрос как такую функциональность реализовать на независимых
> iface'ах. как я понял именно для этого imq и испольуется. но вот почему-то
> мне кажется, что он будет посложнее qdisc inside VPS :)

да, в таком случае на незваисимых интерфейсах реализовать не
получиться. тут нужно или жестко задавать скорость или канал
будет делиться пропорционально числу псевдосоединений (sfq).
вобщем не подходящий для вас вариант, что я назвал.

если у вас используется iptables, попробуйте глянуть на число
соединений в /proc/net/ip_conntrack - не превышают ли они
заданного порога. Можно еще последить за наростанием очередей
шейпера, возможно это частично влияет...

>
> хотя все равно ядро для esfq пересобирать, может потом и его
> воткну.
>

все никак не собирусь пересобрать - если не сложно, выложите
после сборки


-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Wed, Jan 23, 2008 at 05:35:08PM +0200, Serg Rychka wrote:
> On Wed, 23 Jan 2008, Afanasov Dmitry wrote:
> если у вас используется iptables, попробуйте глянуть на число
> соединений в /proc/net/ip_conntrack - не превышают ли они
> заданного порога. Можно еще последить за наростанием очередей
> шейпера, возможно это частично влияет...
сейчас в ip_conntrack 3256 подключений. и в принципе так и держится. 

с другой стороны вряд ли conntrack влияет, так как удаление qdisc'а
вылечивает систему. не влияет же tc qdisc del root dev eth0 на количество
подключений.

> > хотя все равно ядро для esfq пересобирать, может потом и его
> > воткну.
> >
> 
> все никак не собирусь пересобрать - если не сложно, выложите
> после сборки
да без проблем. надеюсь свежесть сизифа будет не критична? у меня от
27.12.2007, и вряд ли будет свежее, пока я shaper не умучаю.

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Wed, 23 Jan 2008, Afanasov Dmitry wrote:

> On Wed, Jan 23, 2008 at 05:35:08PM +0200, Serg Rychka wrote:
> > On Wed, 23 Jan 2008, Afanasov Dmitry wrote:
> > если у вас используется iptables, попробуйте глянуть на число
> > соединений в /proc/net/ip_conntrack - не превышают ли они заданного порога.
> > Можно еще последить за наростанием очередей шейпера, возможно это частично влияет...
> сейчас в ip_conntrack 3256 подключений. и в принципе так и держится.

вполне нормально...

> с другой стороны вряд ли conntrack влияет, так как удаление qdisc'а
> вылечивает систему. не влияет же tc qdisc del root dev eth0 на количество
> подключений.

может влиять, смотря как делается шейпинг у вышестоящего прова.
Представим себе более длинные очереди у провайдера, чем у вас.
тогда вы своей очередью будете порождать более частые потери и, при
определенных условиях, односторонние закрытия соединений tcp, например, что в
свою очередь завставляет клиент-сервер открывать новые сокеты.
которые накапливаясь в таблице могут ее переполнить.
но в вашем случае с сравнительно небольшой входящей скоростью это
не должно влиять

>
> > > хотя все равно ядро для esfq пересобирать, может потом и его
> > > воткну.
> > >
> >
> > все никак не собирусь пересобрать - если не сложно, выложите после сборки
> да без проблем. надеюсь свежесть сизифа будет не критична? у меня от
> 27.12.2007, и вряд ли будет свежее, пока я shaper не умучаю.

годится :)

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[ahtoh]

В сообщении от 23 января 2008 Serg Rychka написал(a):
> заданного порога. Можно еще последить за наростанием очередей
> шейпера, возможно это частично влияет...

Кстати, где смотреть за очередями шейпера?

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Thu, 24 Jan 2008 ahtoh@pulnet.ru wrote:

> В сообщении от 23 января 2008 Serg Rychka написал(a):
> > заданного порога. Можно еще последить за наростанием очередей
> > шейпера, возможно это частично влияет...
>
> Кстати, где смотреть за очередями шейпера?
>

смотрите backlog в tc -s qdisc

to: lakostis@ - по поводу сборки esfq +1

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[ahtoh]

В сообщении от 23 января 2008 Serg Rychka написал(a):

> > хотя все равно ядро для esfq пересобирать, может потом и его
> > воткну.

Кстати, а почему в altserver не собирают esfq?

Re: [Sysadmins] shaping inside Openvz VPS

[Konstantin A. Lepikhov]

Hi ahtoh!

Thursday 24, at 11:06:25 AM you wrote:

> В сообщении от 23 января 2008 Serg Rychka написал(a):
> 
> > > хотя все равно ядро для esfq пересобирать, может потом и его
> > > воткну.
> 
> Кстати, а почему в altserver не собирают esfq?
потому что никто не заказывал.

-- 
WBR et al.

Re: [Sysadmins] shaping inside Openvz VPS

[ahtoh]

В сообщении от 24 января 2008 Konstantin A. Lepikhov написал(a):
> Hi ahtoh!
>
> Thursday 24, at 11:06:25 AM you wrote:
> > В сообщении от 23 января 2008 Serg Rychka написал(a):
> > > > хотя все равно ядро для esfq пересобирать, может потом и его
> > > > воткну.
> >
> > Кстати, а почему в altserver не собирают esfq?
>
> потому что никто не заказывал.

Все отдельно собирают.
Ну я бы заказал. К кому обращаться?
Нужно ещё iproute2 патчить.

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Tue, Jan 22, 2008 at 06:48:45PM +0000, Afanasov Dmitry wrote:
> результат: недавно ни с того ни с сего вся машина стала, если можно так
> выразится, "залипать" - на пинги отвечает с перерывами, samba выдает
> данные также с перерывами, по ssh доступ хуже чем на модеме с 28kbps.
> 
> внтури HN top показывает, что простой ssh ест порядка 30% проца, samba
> тоже где-то 30, и скриптик мой через LWP по инету бродящий ест те же 30%.
> 
> удаление qdisc с eth внутри VPS решает проблему.

> что за ересь - понять не могу. единственное похоже нашел
> http://forum.openvz.org/index.php?t=msg&goto=16281
> да не помогло.
господа, это все весело, но по сути проблемы есть идеи? shaper-то в дауне,
а он охх как нужен.

до форума openvz пока не добрался, пока пытать думаю вас, вдруг мантейнер
отзовется :) если это бага, так и скажите, тогда в багзиллу повешу.

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

On Tue, Jan 22, 2008 at 06:48:45PM +0000, Afanasov Dmitry wrote:
> добавляние qdisc и классов вида:
> tc qdisc add dev eth0 handle 1: root htb default 1
> tc class add dev eth0 parent 1: classid 1:1 htb rate 100Mbit
> 
> дает интересную вещь: при подключении на VPS по ssh в класее 1:1 пакеты
> начинают дропаться. если rate 1000Mbit воткнуть вроде жить можно. но такой
> же эффект достигается через ping -f - вместо шейпинга получаем дроп. хотя
> iftop показывает, что icmp поток не более 20Mbit/sec. HN слава богу живет.
дальнейшие эксперименты показали, что при одновременном добавлении htb на HN на другую
сторону veth устройста и добавлении qdisc'а со 100Mbit'ным классом никаких
потерь нет.

продолжаем добавлять свой 256Rbit'ный класс и получаем безумно
отрицательные значения burst в статистике и продолжающийся drop.

в каких случаях htb сообще дропает пакеты? что-то я все себе это уяснить не
могу.

-- 
 С уважением
 Афанасов Дмитрий

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Sat, 26 Jan 2008, Afanasov Dmitry wrote:

> On Tue, Jan 22, 2008 at 06:48:45PM +0000, Afanasov Dmitry
> wrote:
> > добавляние qdisc и классов вида:
> > tc qdisc add dev eth0 handle 1: root htb default 1
> > tc class add dev eth0 parent 1: classid 1:1 htb rate 100Mbit
> >
> > дает интересную вещь: при подключении на VPS по ssh в класее 1:1 пакеты
> > начинают дропаться. если rate 1000Mbit воткнуть вроде жить можно. но такой
> > же эффект достигается через ping -f - вместо шейпинга получаем дроп. хотя
> > iftop показывает, что icmp поток не более 20Mbit/sec. HN слава богу живет.
> дальнейшие эксперименты показали, что при одновременном добавлении htb на HN на другую
> сторону veth устройста и добавлении qdisc'а со 100Mbit'ым классом никаких
> потерь нет.
>
> продолжаем добавлять свой 256Rbit'ный класс и получаем безумно отрицательные значения burst в статистике и продолжающийся
> drop.
>
> в каких случаях htb сообще дропает пакеты? что-то я все себе это уяснить не могу.
>

Дисциплина HTB работает по принципу очереди TBF и фильтра DF -
вот в ту сторону и смотрите отностительно особенностей отброса.
В общем же случае пакеты отбрасываются когда очередь заполнена и
нет свободных токенов для пакетов. В общем то дроп пакетов это
процесс неизбежный. Можно еще попробовать не нагружать сильно
интерфейс соединениями от осла, а покачать что-то умеренно, если
можно ограничить скорость на клиентской машине и посмотреть что
измениться. Но мне кажется что проблема действительно лежит в
другой области.
PS: свои шейпера пока работают под ядром 2.4.х

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 1358 bytes --]

On Mon, Jan 28, 2008 at 09:38:23AM +0200, Serg Rychka wrote:
> On Sat, 26 Jan 2008, Afanasov Dmitry wrote:
> 
> > On Tue, Jan 22, 2008 at 06:48:45PM +0000, Afanasov Dmitry
> > в каких случаях htb сообще дропает пакеты? что-то я все себе это уяснить не могу.
> 
> Дисциплина HTB работает по принципу очереди TBF и фильтра DF -
> вот в ту сторону и смотрите отностительно особенностей отброса.
спасибо, про tbf я что-то и забыл - зеленым по черному в мане написано же
:)

> В общем же случае пакеты отбрасываются когда очередь заполнена и
> нет свободных токенов для пакетов. В общем то дроп пакетов это
> процесс неизбежный.
получается, что весь вопрос в том, отчего же очередь вдруг заполнена?
при отрицательных burst htb как мне помнится на время отключается и
начинает drop'ать. куда же этот burst тогда уходит, блин?

> Можно еще попробовать не нагружать сильно интерфейс соединениями от
> осла, а покачать что-то умеренно, если можно ограничить скорость на
> клиентской машине и посмотреть что измениться.
клиентов нет, работает один ssh. rate кажит 6 с лишним kbit, token'ов в
запредельном минусе (порядка -10^7)


> Но мне кажется что проблема действительно лежит в другой области.
меня все в сторону измерения времени, тиков что-то клонит. как часто у
veth "прерывания" срабатывают?

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Mon, 28 Jan 2008, Afanasov Dmitry wrote:

> > Можно еще попробовать не нагружать сильно интерфейс соединениями от
> > осла, а покачать что-то умеренно, если можно ограничить скорость на
> > клиентской машине и посмотреть что измениться.
> клиентов нет, работает один ssh. rate кажит 6 с лишним kbit, token'ов в
> запредельном минусе (порядка -10^7)
>

Это действительно ненормально. Тут и заимствования
токенов никакого быть не может.


> > Но мне кажется что проблема действительно лежит в другой области.
> меня все в сторону измерения времени, тиков что-то клонит. как часто у
> veth "прерывания" срабатывают?


можно конечно предположить что не всегда срабатывает то или иное
прерывание. Но в таком случае врядли-бы заканчивались токены на
низкой скорости передачи...
IMO: можно попробовать поменять ядро, а вобще вешать багу, и
временно (если есть возможность) использовать ядро 2.4

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 780 bytes --]

On Tue, Jan 29, 2008 at 09:23:30AM +0200, Serg Rychka wrote:
> > > Но мне кажется что проблема действительно лежит в другой области.
> > меня все в сторону измерения времени, тиков что-то клонит. как часто у
> > veth "прерывания" срабатывают?
> 
> 
> можно конечно предположить что не всегда срабатывает то или иное
> прерывание. Но в таком случае врядли-бы заканчивались токены на
> низкой скорости передачи...
> IMO: можно попробовать поменять ядро, а вобще вешать багу, и
> временно (если есть возможность) использовать ядро 2.4
это openvz, eth0 - виртуальный сетевой девайс. инетересно, что там с
"прерываниями"?

и я не уверен, что на 2.4 помжно этот самый девайс вообще поднять - там
патчи openvz-то накладываются? :)

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shaping inside Openvz VPS

[Serg Rychka]

On Tue, 29 Jan 2008, Afanasov Dmitry wrote:

> On Tue, Jan 29, 2008 at 09:23:30AM +0200, Serg Rychka wrote:
>
> и я не уверен, что на 2.4 помжно этот самый девайс вообще
> поднять - там
> патчи openvz-то накладываются? :)
>

Я предложить могу другой вариант - делайте все на одной сетевой
карте и раскидывайте подсети по VLANам и будет вам счастье (и
вешайте багу)

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Sysadmins] shaping inside Openvz VPS

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 437 bytes --]

On Wed, Jan 30, 2008 at 11:19:55AM +0200, Serg Rychka wrote:
> Я предложить могу другой вариант - делайте все на одной сетевой
> карте и раскидывайте подсети по VLANам и будет вам счастье (и
> вешайте багу)
vlan'ы? дома? интересная мысль. я б даже сказал хорошая: я тут как раз на
16-портовый signamax с теговвыми vlan'ами облизываюсь. а то мой только
port-based держит - не то взял.

:)

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]