[sisyphus] hasher & time out

[sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

Всем привет!
Как избавится от такого:

Building target platforms: pentium4
Building for target pentium4

hasher-priv: master: time elapsed limit (60 seconds) exceeded
hsh-rebuild: pkg.tar: failed to create src.rpm file

???

А то сейчас в хашере ни чего немогу собрать ...
-- 
С уважением, Шенцев Алексей Владимирович.	

Re: [sisyphus] hasher & time out

[REAL]

Шенцев Алексей Владимирович пишет:
> Как избавится от такого:
> 
> Building target platforms: pentium4
> Building for target pentium4
> 
> hasher-priv: master: time elapsed limit (60 seconds) exceeded
> hsh-rebuild: pkg.tar: failed to create src.rpm file

Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У 
меня там
wlimit_time_elapsed=60000

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Monday 16 August 2010 09:36:06 REAL wrote:
> Шенцев Алексей Владимирович пишет:
> > Как избавится от такого:
> >
> > Building target platforms: pentium4
> > Building for target pentium4
> >
> > hasher-priv: master: time elapsed limit (60 seconds) exceeded
> > hsh-rebuild: pkg.tar: failed to create src.rpm file
>
> Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У
> меня там
> wlimit_time_elapsed=60000

1'000 часов ждать?! ... :-O
-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[REAL]

Шенцев Алексей Владимирович пишет:
>> Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У
>> меня там
>> wlimit_time_elapsed=60000
> 
> 1'000 часов ждать?! ... :-O

1000 минут :)
Т.е. 16 часов. Мне просто лень было вычислять, сколько секунд в 4-х 
часах :-D

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Monday 16 August 2010 09:52:46 REAL wrote:
> Шенцев Алексей Владимирович пишет:
> >> Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У
> >> меня там
> >> wlimit_time_elapsed=60000
> >
> > 1'000 часов ждать?! ... :-O
>
> 1000 минут :)

Ой! Спутал, там же в секундах, а не в минутах ... :-D

> Т.е. 16 часов. Мне просто лень было вычислять, сколько секунд в 4-х
> часах :-D

3600*4=14400

На сколько понял из 
http://www.altlinux.org/Etersoft-build-utils

по умолчанию и так 4 часа ... Или не правильно понял?
-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Monday 16 August 2010 09:36:06 REAL wrote:
> Шенцев Алексей Владимирович пишет:
> > Как избавится от такого:
> >
> > Building target platforms: pentium4
> > Building for target pentium4
> >
> > hasher-priv: master: time elapsed limit (60 seconds) exceeded
> > hsh-rebuild: pkg.tar: failed to create src.rpm file
>
> Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У
> меня там
> wlimit_time_elapsed=60000

Поставил так. Залогинился с консоле - та же фишка ...

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Monday 16 August 2010 11:14:25 Шенцев Алексей Владимирович wrote:
> On Monday 16 August 2010 09:36:06 REAL wrote:
> > Шенцев Алексей Владимирович пишет:
> > > Как избавится от такого:
> > >
> > > Building target platforms: pentium4
> > > Building for target pentium4
> > >
> > > hasher-priv: master: time elapsed limit (60 seconds) exceeded
> > > hsh-rebuild: pkg.tar: failed to create src.rpm file
> >
> > Покрутить в /etc/hasher-priv/system параметр wlimit_time_elapsed. У
> > меня там
> > wlimit_time_elapsed=60000
>
> Поставил так. Залогинился с консоле - та же фишка ...

Так как от такого избавится? 
Ни чего не могу собрать в hasher'e ...
И по чему выбрана архитектура p4 ? ...
-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 651 bytes --]

Hi,

On Mon, Aug 16, 2010 at 10:24:37AM +0400, Шенцев Алексей Владимирович wrote:
> Как избавится от такого:
> 
> Building target platforms: pentium4
> Building for target pentium4
> 
> hasher-priv: master: time elapsed limit (60 seconds) exceeded
> hsh-rebuild: pkg.tar: failed to create src.rpm file

Если 60 секунд не хватило для того, чтобы собрать из gear-репозитория
srpm-файл, это признак того, что в вашей системе что-то работает заметно
медленнее обычного.

> А то сейчас в хашере ни чего немогу собрать ...

Вы можете попробовать удвоить этот лимит, добавив строчку
wlimit_time_short=120
в ~/.hasher/config


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 13:31:52 Dmitry V. Levin wrote:
> Hi,
>
> On Mon, Aug 16, 2010 at 10:24:37AM +0400, Шенцев Алексей Владимирович wrote:
> > Как избавится от такого:
> >
> > Building target platforms: pentium4
> > Building for target pentium4
> >
> > hasher-priv: master: time elapsed limit (60 seconds) exceeded
> > hsh-rebuild: pkg.tar: failed to create src.rpm file
>
> Если 60 секунд не хватило для того, чтобы собрать из gear-репозитория
> srpm-файл, это признак того, что в вашей системе что-то работает заметно
> медленнее обычного.

И как это вычислить?
CPU Celeron 1200, 2Gb RAM.

>
> > А то сейчас в хашере ни чего немогу собрать ...
>
> Вы можете попробовать удвоить этот лимит, добавив строчку
> wlimit_time_short=120
> в ~/.hasher/config

А значение из 

/etc/hasher-priv/system

игнорируется?

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 13:31:52 Dmitry V. Levin wrote:
> Вы можете попробовать удвоить этот лимит, добавив строчку
> wlimit_time_short=120
> в ~/.hasher/config

<13>Aug 19 10:34:23 rpmi: python-modules-encodings-2.6.5-alt2 installed
<13>Aug 19 10:34:24 rpmi: libglade-devel-2.6.4-alt1 installed
Building target platforms: pentium4
Building for target pentium4

hasher-priv: master: time elapsed limit (120 seconds) exceeded
hsh-rebuild: pkg.tar: failed to create src.rpm file

Увеличил щё в 10 раз ...

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 14:42:04 Шенцев Алексей Владимирович wrote:
> On Thursday 19 August 2010 13:31:52 Dmitry V. Levin wrote:
> > Вы можете попробовать удвоить этот лимит, добавив строчку
> > wlimit_time_short=120
> > в ~/.hasher/config
>
> <13>Aug 19 10:34:23 rpmi: python-modules-encodings-2.6.5-alt2 installed
> <13>Aug 19 10:34:24 rpmi: libglade-devel-2.6.4-alt1 installed
> Building target platforms: pentium4
> Building for target pentium4
>
> hasher-priv: master: time elapsed limit (120 seconds) exceeded
> hsh-rebuild: pkg.tar: failed to create src.rpm file
>
> Увеличил щё в 10 раз ...

увелечение до 1200 (так, сразу и на долго ... :-D ) помогло.

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Alexey Tourbin]

On Thu, Aug 19, 2010 at 02:42:04PM +0400, Шенцев Алексей Владимирович wrote:
> On Thursday 19 August 2010 13:31:52 Dmitry V. Levin wrote:
> > Вы можете попробовать удвоить этот лимит, добавив строчку
> > wlimit_time_short=120
> > в ~/.hasher/config
> 
> <13>Aug 19 10:34:23 rpmi: python-modules-encodings-2.6.5-alt2 installed
> <13>Aug 19 10:34:24 rpmi: libglade-devel-2.6.4-alt1 installed
> Building target platforms: pentium4
> Building for target pentium4
> 
> hasher-priv: master: time elapsed limit (120 seconds) exceeded
> hsh-rebuild: pkg.tar: failed to create src.rpm file
> 
> Увеличил щё в 10 раз ...

Вы какой пакет собираете?  Написано много слов и много писем,
но информации очень мало.

В хешере есть узкое место: временный src.rpm пакет жмётся слишком
хорошо (w2.lzdio), тогда как его следовало бы жать быстрее (w1.gzdio).
Думаю, это оно или не оно, если у Вас тарболл большой, а процессор слабый?

Но есть и другие узкие места.
Вы вот тут маячите... на шее ноги...

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 15:39:00 Alexey Tourbin wrote:
> Вы какой пакет собираете?  Написано много слов и много писем,
> но информации очень мало.
>
> В хешере есть узкое место: временный src.rpm пакет жмётся слишком
> хорошо (w2.lzdio), тогда как его следовало бы жать быстрее (w1.gzdio).
> Думаю, это оно или не оно, если у Вас тарболл большой, а процессор слабый?
>
> Но есть и другие узкие места.
> Вы вот тут маячите... на шее ноги...

Да пытаюсь исправить #23895, из-за которого лазарьвылетел из сизифа.
Т.е. собираю lazarus-0.9.29 на текщум сизифе.
lazarus-0.9.29.tar у нас занимает 94'690Kb.
-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Alexey Tourbin]

On Thu, Aug 19, 2010 at 03:47:38PM +0400, Шенцев Алексей Владимирович wrote:
> Да пытаюсь исправить #23895, из-за которого лазарьвылетел из сизифа.
> Т.е. собираю lazarus-0.9.29 на текщум сизифе.
> lazarus-0.9.29.tar у нас занимает 94'690Kb.

У Вас нигде не изменены настройки сжатия для rpm'а или хешера?
Что говорит -- ?

$ <lazarus-0.9.29.tar time lzma --lzma1=preset=2,nice=64 |wc -c

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 15:52:32 Alexey Tourbin wrote:
> On Thu, Aug 19, 2010 at 03:47:38PM +0400, Шенцев Алексей Владимирович wrote:
> > Да пытаюсь исправить #23895, из-за которого лазарьвылетел из сизифа.
> > Т.е. собираю lazarus-0.9.29 на текщум сизифе.
> > lazarus-0.9.29.tar у нас занимает 94'690Kb.
>
> У Вас нигде не изменены настройки сжатия для rpm'а или хешера?
> Что говорит -- ?

Нет. Лично не менял. Поставился с дистра от drool@, обновился до сизифа. 
Доустановил то, что мне нужно.

> $ <lazarus-0.9.29.tar time lzma --lzma1=preset=2,nice=64 |wc -c

lzma -zv lazarus-0.9.29.tar
lazarus-0.9.29.tar (1/1)
  100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s         5:43

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Alexey Tourbin]

On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович wrote:
> lzma -zv lazarus-0.9.29.tar
> lazarus-0.9.29.tar (1/1)
>   100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s         5:43

М-ммм... давайте ещё раз, попроще:
lzma -2 < lazarus-0.9.29.tar | wc -c

Re: [sisyphus] hasher & time out

[Alexey Tourbin]

On Thu, Aug 19, 2010 at 04:53:24PM +0400, Alexey Tourbin wrote:
> On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович wrote:
> > lzma -zv lazarus-0.9.29.tar
> > lazarus-0.9.29.tar (1/1)
> >   100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s         5:43
> 
> М-ммм... давайте ещё раз, попроще:
> lzma -2 < lazarus-0.9.29.tar | wc -c

В смысле, не хватает time:
time lzma -2 < lazarus-0.9.29.tar | wc -c

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Thursday 19 August 2010 16:55:01 Alexey Tourbin wrote:
> On Thu, Aug 19, 2010 at 04:53:24PM +0400, Alexey Tourbin wrote:
> > On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович 
wrote:
> > > lzma -zv lazarus-0.9.29.tar
> > > lazarus-0.9.29.tar (1/1)
> > >   100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s      
> > >   5:43
> >
> > М-ммм... давайте ещё раз, попроще:
> > lzma -2 < lazarus-0.9.29.tar | wc -c
>
> В смысле, не хватает time:
> time lzma -2 < lazarus-0.9.29.tar | wc -c

time lzma -2 < lazarus-0.9.29.tar | wc -c
31.00user 0.74system 0:54.05elapsed 58%CPU (0avgtext+0avgdata 
22160maxresident)k
0inputs+0outputs (0major+2089minor)pagefaults 0swaps
16479655

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 985 bytes --]

On Fri, Aug 20, 2010 at 08:36:36AM +0400, Шенцев Алексей Владимирович wrote:
> On Thursday 19 August 2010 16:55:01 Alexey Tourbin wrote:
> > On Thu, Aug 19, 2010 at 04:53:24PM +0400, Alexey Tourbin wrote:
> > > On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович 
> wrote:
> > > > lzma -zv lazarus-0.9.29.tar
> > > > lazarus-0.9.29.tar (1/1)
> > > >   100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s      
> > > >   5:43
> > >
> > > М-ммм... давайте ещё раз, попроще:
> > > lzma -2 < lazarus-0.9.29.tar | wc -c
> >
> > В смысле, не хватает time:
> > time lzma -2 < lazarus-0.9.29.tar | wc -c
> 
> time lzma -2 < lazarus-0.9.29.tar | wc -c
> 31.00user 0.74system 0:54.05elapsed 58%CPU (0avgtext+0avgdata 22160maxresident)k
> 0inputs+0outputs (0major+2089minor)pagefaults 0swaps 16479655

54 секунды, до 60 рукой подать.

А теперь, если не трудно, измерьте, для сравнения,
time gzip -9 < lazarus-0.9.29.tar | wc -c


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] hasher & time out

[Anton Farygin]

20.08.2010 19:39, Dmitry V. Levin пишет:
> On Fri, Aug 20, 2010 at 08:36:36AM +0400, Шенцев Алексей Владимирович wrote:
>> On Thursday 19 August 2010 16:55:01 Alexey Tourbin wrote:
>>> On Thu, Aug 19, 2010 at 04:53:24PM +0400, Alexey Tourbin wrote:
>>>> On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович
>> wrote:
>>>>> lzma -zv lazarus-0.9.29.tar
>>>>> lazarus-0.9.29.tar (1/1)
>>>>>    100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s
>>>>>    5:43
>>>>
>>>> М-ммм... давайте ещё раз, попроще:
>>>> lzma -2<  lazarus-0.9.29.tar | wc -c
>>>
>>> В смысле, не хватает time:
>>> time lzma -2<  lazarus-0.9.29.tar | wc -c
>>
>> time lzma -2<  lazarus-0.9.29.tar | wc -c
>> 31.00user 0.74system 0:54.05elapsed 58%CPU (0avgtext+0avgdata 22160maxresident)k
>> 0inputs+0outputs (0major+2089minor)pagefaults 0swaps 16479655
>
> 54 секунды, до 60 рукой подать.
>
> А теперь, если не трудно, измерьте, для сравнения,
> time gzip -9<  lazarus-0.9.29.tar | wc -c

может быть, для временных файлов имеет смысл вообще отключить сжатие ?

Re: [sisyphus] hasher & time out

[Michael Shigorin]

On Fri, Aug 20, 2010 at 09:58:10PM +0400, Anton Farygin wrote:
> >А теперь, если не трудно, измерьте, для сравнения,
> >time gzip -9<  lazarus-0.9.29.tar | wc -c
> может быть, для временных файлов имеет смысл вообще отключить
> сжатие ?

tmpfs в своп может легче полезть, что-то вроде (не настаиваю!)
gzip -1 работает быстро и тривиальные случаи прижмёт.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] hasher & time out

[Шенцев Алексей Владимирович]

On Friday 20 August 2010 19:39:46 Dmitry V. Levin wrote:
> On Fri, Aug 20, 2010 at 08:36:36AM +0400, Шенцев Алексей Владимирович wrote:
> > On Thursday 19 August 2010 16:55:01 Alexey Tourbin wrote:
> > > On Thu, Aug 19, 2010 at 04:53:24PM +0400, Alexey Tourbin wrote:
> > > > On Thu, Aug 19, 2010 at 04:49:32PM +0400, Шенцев Алексей Владимирович
> >
> > wrote:
> > > > > lzma -zv lazarus-0.9.29.tar
> > > > > lazarus-0.9.29.tar (1/1)
> > > > >   100,0 %                 12,4 MiB / 92,5 MiB = 0,134   276 KiB/s
> > > > >   5:43
> > > >
> > > > М-ммм... давайте ещё раз, попроще:
> > > > lzma -2 < lazarus-0.9.29.tar | wc -c
> > >
> > > В смысле, не хватает time:
> > > time lzma -2 < lazarus-0.9.29.tar | wc -c
> >
> > time lzma -2 < lazarus-0.9.29.tar | wc -c
> > 31.00user 0.74system 0:54.05elapsed 58%CPU (0avgtext+0avgdata
> > 22160maxresident)k 0inputs+0outputs (0major+2089minor)pagefaults 0swaps
> > 16479655
>
> 54 секунды, до 60 рукой подать.
>
> А теперь, если не трудно, измерьте, для сравнения,
> time gzip -9 < lazarus-0.9.29.tar | wc -c

time gzip -9 < lazarus-0.9.29.tar | wc -c
26.83user 0.69system 0:45.26elapsed 60%CPU (0avgtext+0avgdata 
3264maxresident)k
189648inputs+0outputs (1major+276minor)pagefaults 0swaps
20373663

-- 
С уважением, Шенцев Алексей Владимирович.

Re: [sisyphus] hasher & time out

[Motsyo Gennadi aka Drool]

19.08.2010 12:31, Dmitry V. Levin пишет:
> Если 60 секунд не хватило для того, чтобы собрать из gear-репозитория
> srpm-файл, это признак того, что в вашей системе что-то работает заметно
> медленнее обычного.

	Лично у меня в данный момент вполне достаточная машина. Chromium
собирается в хашере примерно за 40-50 минут. Однако...

> Вы можете попробовать удвоить этот лимит, добавив строчку
> wlimit_time_short=120
> в ~/.hasher/config

	...после переезда с 4.1 на 5.1 мне понадобилось аж:
cat ~/.hasher/config
wlimit_time_short=340
	иначе вываливалась сборка по таймауту.

Re: [sisyphus] hasher & time out

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1066 bytes --]

On Thu, Aug 19, 2010 at 08:15:59PM +0300, Motsyo Gennadi aka Drool wrote:
> 19.08.2010 12:31, Dmitry V. Levin пишет:
> > Если 60 секунд не хватило для того, чтобы собрать из gear-репозитория
> > srpm-файл, это признак того, что в вашей системе что-то работает заметно
> > медленнее обычного.
> 
> 	Лично у меня в данный момент вполне достаточная машина. Chromium
> собирается в хашере примерно за 40-50 минут. Однако...
> 
> > Вы можете попробовать удвоить этот лимит, добавив строчку
> > wlimit_time_short=120
> > в ~/.hasher/config
> 
> 	...после переезда с 4.1 на 5.1 мне понадобилось аж:
> cat ~/.hasher/config
> wlimit_time_short=340
> 	иначе вываливалась сборка по таймауту.

Интересно то, что на сборочных серверах обычного таймаута пока хватает.

В том, что это произошло из-за смены значения макроса %_source_payload по
умолчанию, у меня сомнений нет.  Наверное, в hsh-sh-rebuild-functions надо
что-нибудь сделать, чтобы промежуточный srpm-пакет готовился быстрее и был
не таким сильно сжатым, как сейчас по умолчанию.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] hasher & time out

[Alexey Tourbin]

On Thu, Aug 19, 2010 at 09:27:29PM +0400, Dmitry V. Levin wrote:
> > 	...после переезда с 4.1 на 5.1 мне понадобилось аж:
> > cat ~/.hasher/config
> > wlimit_time_short=340
> > 	иначе вываливалась сборка по таймауту.
> 
> Интересно то, что на сборочных серверах обычного таймаута пока хватает.
> 
> В том, что это произошло из-за смены значения макроса %_source_payload по
> умолчанию, у меня сомнений нет. 

Во всём следует сомневаться.
Я пока не убедился, что узкое место - это 'lzma -2'.
И кстати нельзя сказать априорно, что 'lzma -2' - это тормоз.

> Наверное, в hsh-sh-rebuild-functions надо
> что-нибудь сделать, чтобы промежуточный srpm-пакет готовился быстрее и был
> не таким сильно сжатым, как сейчас по умолчанию.

В хешере есть разные узкие места.
А также есть люди различной степени тупости, for that matter.
Я пока так и не понял, сколько секунд сжимается тарболл на евонном селероне.

> -- 
> ldv

Re: [sisyphus] hasher & time out

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 358 bytes --]

On Thu, Aug 19, 2010 at 11:19:43PM +0400, Alexey Tourbin wrote:
> Я пока так и не понял, сколько секунд сжимается тарболл на евонном селероне.

Это не имеет значения.  Я легко могу представить себе валидный тарболл,
сжатие которого не уложится в 1 минуту.  Попробуй, например, собрать
из git://git.altlinux.org/srpms/o/openoffice.org.git


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]