[Comm] Тормозит сеть в виртуальной машине

[Comm] Тормозит сеть в виртуальной машине

[Сергей Бялко]

Здравствуйте, многоуважаемый ALL!

Установил AltLinux Server 4, обновил из branch. Создал виртуальные
машины для фтп, днс и др. - всё ок, всё работает. Виртуальные машины
сделал в подсети 172.16.0.0/24 и на родительской машине сделал nat на
эту подсеть + пробросил нужные порты для фтп и днс.
Однако возникла такая проблема:
когда я загружаю по фтп на виртуальную машину скорость нормальная, а
когда пытаюсь скачивать, то скорость падает, падает и связь вообще
теряется!

Куда копать? Где искать?

P.S. Сервак на SuperMicro 2U 6025B-TB



-- 
--
С уважением, Бялко Сергей.

Re: [Comm] Тормозит сеть в виртуальной машине

[Сергей Бялко]

07.11.07, Сергей Бялко<byalko@gmail.com> написал(а):
> Здравствуйте, многоуважаемый ALL!
>
> Установил AltLinux Server 4, обновил из branch. Создал виртуальные
> машины для фтп, днс и др. - всё ок, всё работает. Виртуальные машины
> сделал в подсети 172.16.0.0/24 и на родительской машине сделал nat на
> эту подсеть + пробросил нужные порты для фтп и днс.
> Однако возникла такая проблема:
> когда я загружаю по фтп на виртуальную машину скорость нормальная, а
> когда пытаюсь скачивать, то скорость падает, падает и связь вообще
> теряется!
>
> Куда копать? Где искать?
>
> P.S. Сервак на SuperMicro 2U 6025B-TB
>
>

На сервере такие сетевухи:

lspci |grep Ethernet
06:00.0 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit
Ethernet Controller (Copper) (rev 01)
06:00.1 Ethernet controller: Intel Corporation 80003ES2LAN Gigabit
Ethernet Controller (Copper) (rev 01)



-- 
--
С уважением, Бялко Сергей.

Re: [Comm] Тормозит сеть в виртуальной машине

[Peter V. Saveliev]

On Wednesday 07 November 2007, Сергей Бялко wrote:
> Здравствуйте, многоуважаемый ALL!
>
> Установил AltLinux Server 4, обновил из branch. Создал виртуальные
> машины для фтп, днс и др. - всё ок, всё работает. Виртуальные машины
> сделал в подсети 172.16.0.0/24 и на родительской машине сделал nat на
> эту подсеть + пробросил нужные порты для фтп и днс.
> Однако возникла такая проблема:
> когда я загружаю по фтп на виртуальную машину скорость нормальная, а
> когда пытаюсь скачивать, то скорость падает, падает и связь вообще
> теряется!
>
> Куда копать? Где искать?
>
> P.S. Сервак на SuperMicro 2U 6025B-TB

Копать, скорее всего, в сторону закрученных по самое пикачу лимитов на буферы 
venet. Посмотрите в userbeancounters на тему превышения этих буферов -- 
бывает поучительно.

-- 
Peter V. Saveliev

Re: [Comm] Тормозит сеть в виртуальной машине

[Peter V. Saveliev]

On Wednesday 07 November 2007, Сергей Бялко wrote:
> У меня стоят вот такие лимиты и превышение нигде нет:
>
> Служба значение макс. значение пороговое значение макс. значение кол-во
> превышений   kmemsize 1133889 2244907  0  lockedpages 0 0  0  privvmpages
> 2617 14053  0  shmpages 0 0  0  numproc 9 15  0  physpages 2144 2567  0
> vmguarpages 0 0  0  oomguarpages 2144 2567  0  numtcpsock 2 3  0  numflock
> 1 2  0  numpty 2 3  0  numsiginfo 0 3  0  tcpsndbuf 0 0  0  tcprcvbuf 0 0 
> 0 othersockbuf 6936 24456  0  dgramrcvbuf 0 8456  0  numothersock 7 12  0
> dcachesize 0 0  0  numfile 228 290  0  numiptent 10 10  0
>
<skip />

Странно, у меня даже при почти неработающем контейнере есть превышение 
othersockbuf. У Вас точно в tcpsndbuf/tcprcvbuf значение failcnt == 0? 
Используете venet или veth?

Просто описанные симптомы очень похожи не на железную проблему, а на работу 
congestion algo в tcp: при потере пакетов снижать скорость. А потеря может 
быть, в частности, из-за превышения размера буфера на передачу. В нормальных 
системах такое не происходит, однако при закрученных гайках в ovz я нечто 
похожее наблюдал.

Можно попробовать сделать так, на материнской системе:

# modprobe tcp_veno
# sysctl -w net.ipv4.tcp_congestion_control=veno

После чего попробовать снова скачать что-нибудь с ftp. Если станет немножко 
лучше, дело в потерях пакетов, а где они теряются -- ну, см. сами. Мне бы 
казалось, что в лимитах ovz.

ЗЫ: использовать veno на проводном линке на рабочей машине не стоит, после 
эксперимента вернуть обратно:

# sysctl -w net.ipv4.tcp_congestion_control=bic

-- 
Peter V. Saveliev

Re: [Comm] Тормозит сеть в виртуальной машине

[Peter V. Saveliev]

On Wednesday 07 November 2007, Сергей Бялко wrote:
> Странно, но у меня ни в одной из виртуалок не наблюдается ни одного
> превышения. Поменять на sysctl -w
> net.ipv4.tcp_congestion_control=venoникакого результато не дало.

модуль перед этим подгрузили? Если да, и результата нет -- не забудьте 
поменять обратно -- veno на проводной сети лучше не использовать.

> Значения tcpsndbuf/tcprcvbuf у меня стоят следующие:
> TCPSNDBUF="327680:532480" - максимальное значение 327000
> TCPRCVBUF="638976:1048576" - максимальное значение 6936
> При этом максимальные значение не меняются.
>
<skip />
> > Странно, у меня даже при почти неработающем контейнере есть превышение
> > othersockbuf. У Вас точно в tcpsndbuf/tcprcvbuf значение failcnt == 0?
> > Используете venet или veth?
>
> А как это посмотреть?

Подозреваю, что этот вопрос относится к venet/veth -- это очень легко увидеть 
через ip addr show или ifconfig в VE. Если же к failcnt -- то 
cat /proc/user_beancounters.

<skip />

...

Можете снять tcpdump, не сырой, а просто распечатку заголовков пакетов, только 
ftp-сессии? Хотя и сырьём пойдёт, в принципе. Это если там ничего секретного. 
Резалт, возможно, лучше слать в приват.

...

В dmesg ничего нет про сетевые адаптеры, в смысле ворнингов на переполнения?

...

А сеть от сервера до клиента насквозь гигабит? Или сотка?

-- 
Peter V. Saveliev

[Comm] Тормозит сеть в виртуальной машине

[Сергей Бялко]

Дело явно не в клиенте, т.к. я пытаюсь копировать файл из другого
контейнера по фтп и проблема таже. :( - только немного наоборот -
когда пытаешься залить файл на виртуалку. Часть файла заливается, а
потом всё останавливается.




07.11.07, Peter V. Saveliev<peet@altlinux.ru> написал(а):
> On Wednesday 07 November 2007, Сергей Бялко wrote:
> <skip />
> > В аттаче дамп фтп сессии.
> >
> > ФТП сессия устанавливается и начинает скачиваться на скорости где-то 320
> > кб/сек, далее скорость падет до 0. Успевает скачаться примерно 200кб файла
> > и всё :(
> <skip />
>
>
> Пока что я вижу, что скорость работы сети ftp-сервера по крайней мере в
> два-три раза выше, чем клиента. По дампу, клиент мучительно получает файл,
> который сервер выкинул в сеть, а потом рвёт соединение, т.е. рвёт именно
> клиент.
>
> Вообще говоря, этот дамп выглядит как вполне нормальный дам сессии, если не
> считать разницы в скорости работы клиента и сервера.
>
> Возможна ситуация, что между клиентом и сервером странный или кривой свитч?
>
> --
> Peter V. Saveliev
>


--
--
С уважением, Бялко Сергей.


-- 
--
С уважением, Бялко Сергей.