[sisyphus] Опять rsync

[sisyphus] Опять rsync

[snmon]

Здравствуйте.
Три дня rsync проработал нормально. А
сегодня ночью опять обломался.
Оборвалось на dict-wn-2.0-alt0.1.noarch.rpm. Успело
скачать 9827728, до 10399358 осталось совсем
чуть-чуть. Но запуск
rsync -raltDPv --timeout=200 --delete-after --include-from=rs_f_inc \
    --exclude-from=rs_f_exc rsync.altlinux.org::ALTLinux/Sisyphus

замирал после получения списка пакетов.
Запустил strace rsync, кусок вывода ниже.
Потом удалил dict-wn и все опять стало
качаться.

В strace это выглядело так
В начале все нормально. Потом здесь
отправляем разницу между моим dict-wn?

lstat64("Sisyphus/files/noarch/RPMS/dict-wn-2.0-alt0.1.noarch.rpm",
{st_mode=S_IFREG|0644, st_size=9827728, ...}) = 0
open("Sisyphus/files/noarch/RPMS/dict-wn-2.0-alt0.1.noarch.rpm",
O_RDONLY|O_LARGEFILE) = 8
mmap2(NULL, 266240, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1,
0) = 0xb7b92000
read(8, "\355\253\356\333\3\0\0\0\0\1dict-wn-2.0-alt0.1\0\0\0\0"...,
262752) = 262752
read(8, "\244P\230\216\16\10g\253\221 ?x\20\241\310\204R}.\34\20"...,
262752) = 262752
read(8, "u\7\217\241\20\225+\347qc\321\263\10\220\374\301\224\354"...,
262752) = 262752
read(8, "@\302\2m\216\215p\223\"\333\260\273\205\350\213t\327\260"...,
262752) = 262752
read(8, ".\350\261\r\333\262\336H\333\217>m\246\2606\243\353|\323"...,
262752) = 262752
read(8, "\202\3218KJ\212\17?\255\355\326\271\270\23\210\v\322e\274"...,
262752) = 262752
read(8, ",\226b\3\'J\250\340\305Lj\207\220A\310\330mz\355\245t`"...,
262752) = 262752
read(8, "\214\276g\7\210\354\6B@\357\fY\335\6\35\261\226\32C\206"...,
262752) = 262752
read(8, "\303\243{\302_\350\3644>\313\341K\227\241\211\214#\'\277"...,
262752) = 262752
select(7, [6], [4], NULL, {60, 0})      = 1 (out [4], left {60, 0})
write(4, "\377\10\0\0\f\200F\f\0\0008\f\0\0\2\0\0\0x\n\0\0m\t;@\243"...,
4092) = 4092
time(NULL)                              = 1133599811
read(8, "?\334\216\244\35\210\353\223\207\25\211=\337=t\37\312\237"...,
262752) = 262752
read(8, "\335,\30\256\376[\263\\\342\367\2631l\"&\26\7\247\264\321"...,
262752) = 262752

skip

read(8, "<!\277h\"\266\327\354\n\275py\26\256p2\'\320\301\201o@"...,
262752) = 262752
read(8, "\272\220\25\16K\3474\341\275\345\332\371a\3652dH\340\312"...,
262752) = 262752
read(8, "*Fy\212\314\3740-[fqw\230\356$\273\234w\325\205l\3071v"...,
262752) = 262752
select(7, [6], [4], NULL, {60, 0})      = 1 (out [4], left {60, 0})
write(4, "\r\311\327\217F\321\313\217\314\270f\371\215\222\17\241"...,
4092) = 4092
time(NULL)                              = 1133599812
read(8, "\25\375\363\247\274\31_\261!_[#\317\313\235\225_gzj\330"...,
262752) = 262752
read(8, "\302\33\355b?\350\272q\366R3\320<H\237MyMo\361;\265\263"...,
262752) = 262752
read(8, "\374\t\363\33\301\25q\373|,\27\345=\17\236\213D\203\34"...,
262752) = 262752
read(8, "\335S\2L\354O6\310G\2511\337\370\342\341\234\352\325\241"...,
262752) = 262752
read(8, "\351\345U\245\32\0X\341>\363{M\177+\0\335}\235\376\373"...,
105904) = 105904
munmap(0xb7b92000, 266240)              = 0
close(8)                                = 0
lstat64("Sisyphus/files/noarch/RPMS/dict-yo-20031216-alt1.noarch.rpm",
{st_mode=S_IFREG|0644, st_size=193511, ...}) = 0

skip

lstalstat64("Sisyphus/files/noarch/RPMS/docs-whatis_linux-kirill-051017-alt1.noarch.rpm",
0xbff21280) = -1 ENOENT (No such file or directory)
lstat64("Sisyphus/files/noarch/RPMS/docs-wifi_short-kirill-050321-alt4.noarch.rpm",
0xbff21280) = -1 ENOENT (No such file or directory)
select(7, [6], [4], NULL, {60, 0})      = 1 (out [4], left {60, 0})
write(4, "\6\355a!,\16\231\220\361$\311\360\317\2^\344 \352\"\315"...,
4092) = 4092
time(NULL)                              = 1133599812
lstat64("Sisyphus/files/noarch/RPMS/dosemu-freedos-050405-alt2.noarch.rpm",
{st_mode=S_IFREG|0644, st_size=806989, ...}) = 0

skip

lstat64("Sisyphus/orphaned/kernel-source-nvidia-5328-1.0.5328-alt1.src.rpm",
{st_mode=S_IFREG|0644, st_size=6686908, ...}) = 0
lstat64("Sisyphus/orphaned/kernel-source-subfs-0.2-0.2-alt1.src.rpm",
{st_mode=S_IFREG|0644, st_size=14502, ...}) = 0
select(5, NULL, [4], NULL, {60, 0})     = 1 (out [4], left {51, 724000})
write(4, "\0\0\0\240\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0Q\t\0\0\0\240"...,
2608) = 2608
time(NULL)                              = 1133599821
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0})       = 0 (Timeout)
select(7, [6], [], NULL, {60, 0}io timeout after 240 seconds -- exiting
rsync error: timeout in data send/receive (code 30) at io.c(183)
)       = 1 (in [6], left {49, 748000})
--- SIGCHLD (Child exited) @ 0 (0) ---
waitpid(-1, [{WIFEXITED(s) && WEXITSTATUS(s) == 30}], WNOHANG) = 30520
waitpid(-1, 0xbff20620, WNOHANG)        = -1 ECHILD (No child processes)
sigreturn()                             = ? (mask now [])
read(6, "", 4)                          = 0
write(2, "rsync: connection unexpectedly c"..., 81rsync: connection
unexpectedly closed (789205 bytes received so far) [generator]
) = 81
rt_sigaction(SIGUSR1, {SIG_IGN}, {0x8056eb0, [USR1], SA_RESTART}, 8) = 0
rt_sigaction(SIGUSR2, {SIG_IGN}, {0x8056ee0, [USR2], SA_RESTART}, 8) = 0
getpid()                                = 30446
kill(30520, SIGUSR1)                    = -1 ESRCH (No such process)
write(2, "rsync error: error in rsync prot"..., 72rsync error: error in
rsync protocol data stream (code 12) at io.c(434)
) = 72
munmap(0xb7d39000, 131072)              = 0
exit_group(12)                          = ?
Process 30446 detached


-- 
    Alex Yustasov

[sisyphus] Re: Опять rsync

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 413 bytes --]

On Sat, Dec 03, 2005 at 02:09:12PM +0200, snmon@server.by wrote:
> замирал после получения списка пакетов.  Запустил strace rsync,
> кусок вывода ниже.  Потом удалил dict-wn и все опять стало
> качаться.

Есть подозрение, что это затыкается ext3 "там".
Для подтверждения надо помониторить LA. ("там" же)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: Опять rsync

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 460 bytes --]

On Sat, Dec 03, 2005 at 10:30:53PM +0200, Michael Shigorin wrote:
> On Sat, Dec 03, 2005 at 02:09:12PM +0200, snmon@server.by wrote:
> > замирал после получения списка пакетов.  Запустил strace rsync,
> > кусок вывода ниже.  Потом удалил dict-wn и все опять стало
> > качаться.
> 
> Есть подозрение, что это затыкается ext3 "там".

Нет, скорее затыкается сеть.

> Для подтверждения надо помониторить LA. ("там" же)

С LA там всё OK.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[sisyphus] [JT] Re: Опять rsync

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 942 bytes --]

On Tue, Dec 06, 2005 at 07:57:18PM +0300, Dmitry V. Levin wrote:
> > > замирал после получения списка пакетов.  Запустил strace
> > > rsync, кусок вывода ниже.  Потом удалил dict-wn и все опять
> > > стало качаться.
> > Есть подозрение, что это затыкается ext3 "там".
> Нет, скорее затыкается сеть.

Я как-то наблюдал схожие симптомы (disk i/o сваливается 
ниже 1 Mb/s) при паре десятков читающих процессов и одном
активно пишущем на тот же диск/раздел с ext3.

> > Для подтверждения надо помониторить LA. ("там" же)
> С LA там всё OK.

А в том случае оно улетело сразу и без других поводов то ли 
в район десятки, то ли за тридцать.

bzzz, помнится, сказал, что в ext3 нет delayed allocation 
и похоже, что это и было виновато (чтения/записи по толстым 
каталогам не было, поэтому операции O(2) с ними тут ни при чём).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] [JT] Re: Опять rsync

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 669 bytes --]

On Tue, Dec 06, 2005 at 07:14:18PM +0200, Michael Shigorin wrote:
> On Tue, Dec 06, 2005 at 07:57:18PM +0300, Dmitry V. Levin wrote:
> > > > замирал после получения списка пакетов.  Запустил strace
> > > > rsync, кусок вывода ниже.  Потом удалил dict-wn и все опять
> > > > стало качаться.
> > > Есть подозрение, что это затыкается ext3 "там".
> > Нет, скорее затыкается сеть.
> 
> Я как-то наблюдал схожие симптомы (disk i/o сваливается 
> ниже 1 Mb/s) при паре десятков читающих процессов и одном
> активно пишущем на тот же диск/раздел с ext3.

Дело в том, что с сетью время от времени проблемы наблюдаются,
а вот отклонений LA пока нет.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]