[devel] ovz, tcpsndbuf && vsftpd

[devel] ovz, tcpsndbuf && vsftpd

[Peter V. Saveliev]

...

По мотивам обсуждения проблем с ftp в рассылке community:

<quote>
В сообщении от Wednesday 07 November 2007 14:19:07 Сергей Бялко написал(а):
> Здравствуйте, многоуважаемый ALL!
>
> Установил AltLinux Server 4, обновил из branch. Создал виртуальные
> машины для фтп, днс и др. - всё ок, всё работает. Виртуальные машины
> сделал в подсети 172.16.0.0/24 и на родительской машине сделал nat на
> эту подсеть + пробросил нужные порты для фтп и днс.
> Однако возникла такая проблема:
> когда я загружаю по фтп на виртуальную машину скорость нормальная, а
> когда пытаюсь скачивать, то скорость падает, падает и связь вообще
> теряется!
>
> Куда копать? Где искать?
>
> P.S. Сервак на SuperMicro 2U 6025B-TB
</quote>

В итоге обсуждения Сергей выдал доступ, и я проверил; думаю, что результат в 
достаточной степени воспроизводим.

А ситуация вот какая. Скорость не падает. Просто в какой-то момент передача 
обрывается. Обрывает её сервер. Как показывает наблюдение, обрывает именно 
тогда, когда tcpsndbuf увеличивает failcnt. Клиент же этот обрыв не сечёт 
и "подвисает" на коннекте.

В этих же условиях proftpd "продолжает работать и работать".

Чтобы воспроизвести, достаточно скачать по очень быстрому линку (>1Gbit) 
большой (>10Mb) файл при достаточно небольшом tcpsndbuf.

...

Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он 
решил проблему переходом на sftp.

Кто-нибудь анализировал? Мне неохота залезать в потроха vsftpd, но интересно: 
это он дергает за ошибку в ядре или ошибка в самом vsftpd? А это, имхо, 
ошибка, т.к. переполнение буфера tcp на отправку -- ситуация вполне 
вероятная.

-- 
Peter V. Saveliev

Re: [devel] ovz, tcpsndbuf && vsftpd

[Anton Gorlov]

В общем у меня сейчас на 1 перегруженной машинке наблюдается похожая 
проблема...
Там перегрузка правда идёт по дисковой подсистема - LA до 60. (в 
качестве полумеры пока аппаратный рейд на гарантии склепал софтовый 5 
уровня) - наблюдаются аналогичные симптомы.
-- 

Re: [devel] ovz, tcpsndbuf && vsftpd

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 596 bytes --]

Hi Peter!

Sunday 11, at 12:30:26 AM you wrote:

<skip>
> ...
> 
> Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он 
> решил проблему переходом на sftp.
> 
> Кто-нибудь анализировал? Мне неохота залезать в потроха vsftpd, но интересно: 
> это он дергает за ошибку в ядре или ошибка в самом vsftpd? А это, имхо, 
> ошибка, т.к. переполнение буфера tcp на отправку -- ситуация вполне 
> вероятная.
скорее не буфера, а счетчика. Если есть внятный test case, или кто-то
может выдать shell народу из openvz team, то можно им повесить багу.

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] ovz, tcpsndbuf && vsftpd

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1049 bytes --]

On Sun, Nov 11, 2007 at 12:30:26AM +0300, Peter V. Saveliev wrote:
[...]
> А ситуация вот какая. Скорость не падает. Просто в какой-то момент передача 
> обрывается. Обрывает её сервер. Как показывает наблюдение, обрывает именно 
> тогда, когда tcpsndbuf увеличивает failcnt. Клиент же этот обрыв не сечёт 
> и "подвисает" на коннекте.
> 
> В этих же условиях proftpd "продолжает работать и работать".
> 
> Чтобы воспроизвести, достаточно скачать по очень быстрому линку (>1Gbit) 
> большой (>10Mb) файл при достаточно небольшом tcpsndbuf.
> 
> ...
> 
> Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он 
> решил проблему переходом на sftp.
> 
> Кто-нибудь анализировал? Мне неохота залезать в потроха vsftpd, но интересно: 
> это он дергает за ошибку в ядре или ошибка в самом vsftpd?

Поскольку vsftpd обычно отгружает файлы с помощью sendfile(2), то ошибка,
скорее всего, в ядре.

> А это, имхо, 
> ошибка, т.к. переполнение буфера tcp на отправку -- ситуация вполне 
> вероятная.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] ovz, tcpsndbuf && vsftpd

[Gennady Kovalev]

> Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он
> решил проблему переходом на sftp.

Очень похожая бага есть, с PureFTPd. Клиенты жаловались. Не анализировал, даже 
failcnt не смотрел.

> Кто-нибудь анализировал? Мне неохота залезать в потроха vsftpd, но
> интересно: это он дергает за ошибку в ядре или ошибка в самом vsftpd? А
> это, имхо, ошибка, т.к. переполнение буфера tcp на отправку -- ситуация
> вполне вероятная.

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [devel] ovz, tcpsndbuf && vsftpd

[Peter V. Saveliev]

В сообщении от Sunday 11 November 2007 01:01:04 Dmitry V. Levin написал(а):
<skip />
> Поскольку vsftpd обычно отгружает файлы с помощью sendfile(2), то ошибка,
> скорее всего, в ядре.
<skip />

Дима, спасибо огромное! Это уже интереснее. Попробую копнуть и зафиксировать 
баг.

-- 
Peter V. Saveliev

Re: [devel] ovz, tcpsndbuf && vsftpd

[Peter V. Saveliev]

В сообщении от Sunday 11 November 2007 00:43:29 Anton Gorlov написал(а):
> В общем у меня сейчас на 1 перегруженной машинке наблюдается похожая
> проблема...
> Там перегрузка правда идёт по дисковой подсистема - LA до 60. (в
> качестве полумеры пока аппаратный рейд на гарантии склепал софтовый 5
> уровня) - наблюдаются аналогичные симптомы.

Если наши предположения верны, то дисковая подсистема ни при чём... Попробуй 
proftpd, и если "подвисание" клиенто пройдёт -- отпишись. Заранее спасибо.

-- 
Peter V. Saveliev

Re: [devel] ovz, tcpsndbuf && vsftpd

[Anton Gorlov]

Peter V. Saveliev пишет:

>> В общем у меня сейчас на 1 перегруженной машинке наблюдается похожая
>> проблема...
>> Там перегрузка правда идёт по дисковой подсистема - LA до 60. (в
>> качестве полумеры пока аппаратный рейд на гарантии склепал софтовый 5
>> уровня) - наблюдаются аналогичные симптомы.
> Если наши предположения верны, то дисковая подсистема ни при чём... Попробуй 
> proftpd, и если "подвисание" клиенто пройдёт -- отпишись. Заранее спасибо.
Да я тоже уверен тчо тут не как таковая дисковая подсистема 
виновата..она скорее катализатор. Проявляется это так - если поставить 
на закачку с десятка 2 файлов -то скачивается только часть.
С proftpd у меняе сть 1 проблема - буква "Я"  в cp1251.


--

Re: [devel] ovz, tcpsndbuf && vsftpd

[Anton Gorlov]

Peter V. Saveliev пишет:

> Если наши предположения верны, то дисковая подсистема ни при чём... Попробуй 
> proftpd, и если "подвисание" клиенто пройдёт -- отпишись. Заранее спасибо.

В общем потестил - профтпд таки работает. На vsftpd периодически 
стабильно наблюдается такая ситуация - ставлю копироваться скажем 10 
файлов..и часть из них на 1 клиенте просто не копируется - total.. на 
другом - mc и far - говорят что не могут прочитать. При этом по 
отдельности всё ОК. В protpd такого не заметил.

-- 

Re: [devel] ovz, tcpsndbuf && vsftpd

[Sergey Y. Afonin]

On 11 ноября 2007, Peter V. Saveliev wrote:

> Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он 
> решил проблему переходом на sftp.
 
Я сталкивался: 
http://lists.altlinux.org/pipermail/sysadmins/2007-October/012002.html

-- 
С уважением, Сергей Афонин
asy@altlinux.ru

Re: [devel] ovz, tcpsndbuf && vsftpd

[Sergey Y. Afonin]

On 11 ноября 2007, Anton Gorlov wrote:

> В protpd такого не заметил.

Это случайно, судя по всему. Я заметил именно с proftpd.

-- 
С уважением, Сергей Афонин
asy@altlinux.ru

Re: [devel] ovz, tcpsndbuf && vsftpd

[Alexander Volkov]

On 2007-11-11 00:30:26 +0300, Peter V. Saveliev wrote:
PVS> ...

PVS> По мотивам обсуждения проблем с ftp в рассылке community:
VS> Кто-нибудь сталкивался с этой багой? Пока только один ns@ признался, но он 
PVS> решил проблему переходом на sftp.
я тоже столкнулся, решаю увеличением лимитов.
PVS> Кто-нибудь анализировал? Мне неохота залезать в потроха vsftpd, но интересно: 
PVS> это он дергает за ошибку в ядре или ошибка в самом vsftpd? А это, имхо, 
PVS> ошибка, т.к. переполнение буфера tcp на отправку -- ситуация вполне 
PVS> вероятная.
Не анализировал, не было времени.

--
 Regards, Alexander

Re: [devel] ovz, tcpsndbuf && vsftpd

[Peter V. Saveliev]

В сообщении от Monday 12 November 2007 10:02:00 Sergey Y. Afonin написал(а):
> On 11 ноября 2007, Anton Gorlov wrote:
> > В protpd такого не заметил.
>
> Это случайно, судя по всему. Я заметил именно с proftpd.

О как, то есть и proftpd тоже :| Стало быть, ядро... Пошёл в рассылку ovz, 
погрепаю там и в багзилле. Если что, багу повесим.

-- 
Peter V. Saveliev