[devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

Господа,
На сервисе оповещений watch.altlinux.org добавлен
новый источник оповещений watch, который использует 
упакованные в src.rpm watch файлы.

Теперь, если добавить в gear репозиторий или src.rpm пакет 
watch файл, то не только можно будет локально
проверять обновления и обновлять src.rpm'ы/ gear репозитории,
но и эти файлы будут задействованы на watch.altlinux.org.

Если с watch файлом проблемы, то плагин выдает в общую
систему сообщение об ошибке для этого пакета 
как сообщение о якобы наличии обновления с версией 99999999 
и телом сообщения об ошибке вместо url.

Сейчас соответствующий код (библиотека perl-RPM-uscan,
утилиты rpm-uscan и uscan-query, uupdate плагин к RPM-Source-Editor)
находятся в активной разработке.

Соответственно, пока я занят с этим кодом,
я помню и понимаю как это хозяйство работает,
могу подсказать, оказать квалифицированную помощь,
исправить ошибки и у себя и в watch файлах.

Господа! не упустите шанс. Если есть желание попробовать
watch файлы, сейчас самое время.
Через пару недель я буду заниматься совершенно другой 
разработкой, и быстро забуду все, связанное с watch 
файлами :(




-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Michael Shigorin]

On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
> Господа! не упустите шанс. Если есть желание попробовать
> watch файлы, сейчас самое время.  Через пару недель я буду
> заниматься совершенно другой разработкой, и быстро забуду все,
> связанное с watch файлами :(

Со своей стороны могу сказать, что рутинную часть с проверкой
наличия апстримных обновлений они действительно здорово снимают.
Хотя с учётом того, что апстримы порой мигрируют -- не панацея.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Tue, Jun 10, 2014 at 05:36:36PM +0300, Michael Shigorin wrote:
> On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
> > Господа! не упустите шанс. Если есть желание попробовать
> > watch файлы, сейчас самое время.  Через пару недель я буду
> > заниматься совершенно другой разработкой, и быстро забуду все,
> > связанное с watch файлами :(
> 
> Со своей стороны могу сказать, что рутинную часть с проверкой
> наличия апстримных обновлений они действительно здорово снимают.
> Хотя с учётом того, что апстримы порой мигрируют -- не панацея.

На то другие плагины. Надо таки дожать distromap-utils
и развернуть дополнительно полноценную сверку для начала
с rosa, mageia, SuSE и pld.

-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Paul Wolneykien]

10.06.2014 18:36, Michael Shigorin пишет:
> On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
>> Господа! не упустите шанс. Если есть желание попробовать
>> watch файлы, сейчас самое время.  Через пару недель я буду
>> заниматься совершенно другой разработкой, и быстро забуду все,
>> связанное с watch файлами :(
>
> Со своей стороны могу сказать, что рутинную часть с проверкой
> наличия апстримных обновлений они действительно здорово снимают.

   "5 копеек". А я использую update-source-functions и cronbuild вместо 
watch. Например так:

http://git.altlinux.org/people/manowar/packages/?p=slim.git;a=blob;f=.gear/cronbuild-update-source;h=00533c1ee090c05933a7e8d3689a410ed2b5ffaf;hb=4c8db467f484df9e106bd948a3387b0165dde869

Чем это лучше? Например тем, что можно проверку на наличие версии 
сделать более заковыристой, например такой:

http://git.altlinux.org/people/manowar/packages/?p=orca.git;a=blob;f=.gear/cronbuild-update-source;h=75440fd3a011b0b7d1f535fa45c136ddc8dc963f;hb=9776c6f0059ac32e095184d6419b38328ff357d2

В отличие от предыдущего примера скрипт обновления ещё "полноразмерный" 
-- стандартные операции по обновлению архива написаны inline, а не через 
функции -- поэтому он такой длинный. Самое интересное -- в начале 
скрипта: для orca проверка двухэтапная: новыми версиями считаются только 
тарболы веток с чётными версиями, а на наличие новых нечётных 
(нестабильных) версий скрипт не реагирует.

Как-то так.

P.S. Оно умеет не только plain ftp/http, но и github, и sourceforge, и 
ещё что-то.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Michael Shigorin]

On Wed, Jun 11, 2014 at 11:01:23AM +0400, Paul Wolneykien wrote:
> Самое интересное -- в начале скрипта: для orca проверка
> двухэтапная: новыми версиями считаются только тарболы веток с
> чётными версиями, а на наличие новых нечётных (нестабильных)
> версий скрипт не реагирует.

А разве отменяли \d*[02468]\. ? ;-)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

Отлично, спасибо.

следующий этап - научить rpm-uscan обновлять правильным образом git - у 
меня исходники лежат в бранче upstream и мержатся в master. Но не всегда ;)

Оно умеет читать .gear-rules ? или какие-то настройки из git ?

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Michael Shigorin]

On Wed, Jun 11, 2014 at 12:50:24PM +0400, Anton Farygin wrote:
> следующий этап - научить rpm-uscan обновлять правильным образом git - у 
> меня исходники лежат в бранче upstream и мержатся в master. Но не всегда ;)
> Оно умеет читать .gear-rules ? или какие-то настройки из git ?

Полез на днях в icewm, вспомнил про gear-merge-rules(5).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

[devel] I: gear-uupdate second-announce.

[Igor Vlasenko]

On Wed, Jun 11, 2014 at 12:50:24PM +0400, Anton Farygin wrote:
> следующий этап - научить rpm-uscan обновлять правильным образом git

Это давно пройденный этап :)

Специально для rpm-uscan я когда-то написал утилиту gear-uupdate(1)
которая тем и занимается, что обновляет правильным образом git
из исходников.

Поскольку утилита малоизвестная, воспользуюсь случаем, чтобы ее
повторно анонсировать.

> Оно умеет читать .gear-rules ? или какие-то настройки из git ?

Именно. gear-uupdate(1) -- это обертка над парой утилит
gear-uupdate-prepare(1) и gear-uupdate-execute.

gear-uupdate-prepare c помощью библиотеки perl-Gear-Rules
читает .gear[-/]rules, изучая директивы tar и diff, вычисляет,
в какой ветке (и каком подкаталоге если есть) находятся исходники,
есть ли отдельные ветви для патчей, если исходники в отдельной ветке,
то как ее потом мержить в ветку с .gear (просто или с -s ours).

Поддерживаются все основные разумные схемы gear.

> у меня исходники лежат в бранче upstream и мержатся в master. 

Эта схема в числе поддерживаемых :)

> Но не всегда ;)

Проверить, поддерживается ли конкретная схема gear репозитория,
можно с помощью утилиты gear-rules-verify.

gear-rules-verify выдаст подробную диагностику,
совместим ли репозиторий с gear-uupdate(1).

В частности, если в репозитории есть коммиты, автор которых
не состоит в team, то gear-uupdate откажется работать.
Логика здесь в том, что похоже, репозиторий ранее обновлялся
из апстримного git/svn/otherVCS, а теперь мы хотим обновить
его из тарбола. как правило, так делать не надо.
Вместо полученного треш-репозитория лучше
завести новый git репозиторий или залить обновление как srpm.

А так, большое количество схем gear репозиториев поддерживается.

Руками его запускают так:
gear-uupdate --upstream-version 6.8.9.3 ImageMagick-6.8.9-3.tar.xz

При первом запуске лучше не запускать сразу gear-uupdate, а запустить 
gear-uupdate-prepare --upstream-version 6.8.9.3 ImageMagick-6.8.9-3.tar.xz

gear-uupdate-prepare сначала выполнит проверки из gear-rules-verify.

Затем, gear-uupdate-prepare (ничего не меняя в репозитории)
генерирует набор shell скриптов. Эти скрипты могут быть созданы
в корне gear репозитория, если апстрим в подкаталоге в текущей ветке.
в остальных случаях скрипты надо прятать от git, поэтому они создаются
в папке .git/uupdate/.
после выполнения gear-uupdate-prepare
в .git/uupdate/ будет что-то вроде

01-checkout-and-update-upstream-branch.sh
02-merge-upstream-to-patch1-branch.sh
...
07-merge-upstream-to-patch6-branch.sh
10-merge-to-main-and-update-spec-and-tags.sh

Эти скрипты можно просмотреть и убедиться еще раз,
что робот понял структуру репозитория правильно.

После чего их можно выполнить с помощью gear-uupdate-execute.
Далее уже сразу можно запускать gear-uupdate.

Впрочем, rpm-uscan (и gear-cronbuild) обучен запускать
gear-uupdate самостоятельно.

gear-cronbuild при наличии watch файла и отсутствии 
cronbuild скриптов просто молча и принудительно запускает 
gear-uupdate.

rpm-uscan с обычным watch файлом так не делает.

Есть 2 варианта, как заставить rpm-uscan сразу после скачивания
вызвать gear-uupdate:
1) вызвать rpm-uscan с опцией,
rpm-uscan --force-action gear-uupdate
2) добавить в watch файл магию - добавить еще одну колонку,
в которой написать uupdate (можно gear-uupdate).

uupdate -- это магическая утилита из debian, которая
обновляет debian репозиторий. у нас gear репозиторий,
поэтому ей на замену я написал gear-uupdate,
которая обновляет gear репозиторий,
так, чтобы она была полностью совместима
с debian --- все, что написано в uscan(1) (тж. rpm-uscan(1))
будет работать и у нас.


--

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 10.06.2014 18:12, Igor Vlasenko wrote:
> Господа,

> Соответственно, пока я занят с этим кодом,
> я помню и понимаю как это хозяйство работает,
> могу подсказать, оказать квалифицированную помощь,
> исправить ошибки и у себя и в watch файлах.

почему так медленно? быстрее вручную скачать и посмотреть на сайте

$ time rpm-uscan --report
Processing watchfile line for ./cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
 
http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
   (local version is 1.0.53)
1.07user 0.88system 0:21.39elapsed 9%CPU (0avgtext+0avgdata 
26388maxresident)k
34952inputs+0outputs (1824major+156286minor)pagefaults 0swaps

$ time rpm-uscan --report
Processing watchfile line for ./ImageMagick.watch...
Newest version on remote site is 6.8.9.3, local version is 6.8.8.10
ImageMagick: Newer version (6.8.9.3) available on remote site:
   ftp://ftp.imagemagick.org/pub/ImageMagick/ImageMagick-6.8.9-3.tar.xz
   (local version is 6.8.8.10)
80.29user 3.95system 2:51.30elapsed 49%CPU (0avgtext+0avgdata 
492408maxresident)k
292144inputs+0outputs (10770major+549311minor)pagefaults 0swaps

при этом:
$ time curl ftp://ftp.imagemagick.org/pub/ImageMagick/ >/dev/null
   % Total    % Received % Xferd  Average Speed   Time    Time     Time 
  Current
                                  Dload  Upload   Total   Spent    Left 
  Speed
   0     0    0  3879    0     0   1588      0 --:--:--  0:00:02 
--:--:--  1589
0.00user 0.00system 0:02.63elapsed 0%CPU (0avgtext+0avgdata 
3128maxresident)k
0inputs+0outputs (0major+879minor)pagefaults 0swaps

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Wed, Jun 11, 2014 at 01:02:49PM +0400, Anton Farygin wrote:
> почему так медленно? быстрее вручную скачать и посмотреть на сайте

cups-filters на watch.altlinux.org тоже долго качается,
даже по таймауту отваливался. наверное, как-то от сайта зависит.

кстати, rpm-uscan теперь можно запускать один раз на все gear 
репозитории.
запустить rpm-uscan <путь к каталогу, где gear репозитории лежат>
или зайти в <каталог, где gear репозитории лежат>
и запустить оттуда -- он пройдется по всем найденным 
gear репозиториям с watch файлами.

-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 11.06.2014 21:16, Igor Vlasenko wrote:
> On Wed, Jun 11, 2014 at 01:02:49PM +0400, Anton Farygin wrote:
>> почему так медленно? быстрее вручную скачать и посмотреть на сайте
>
> cups-filters на watch.altlinux.org тоже долго качается,
> даже по таймауту отваливался. наверное, как-то от сайта зависит.
>
> кстати, rpm-uscan теперь можно запускать один раз на все gear
> репозитории.
> запустить rpm-uscan <путь к каталогу, где gear репозитории лежат>
> или зайти в <каталог, где gear репозитории лежат>
> и запустить оттуда -- он пройдется по всем найденным
> gear репозиториям с watch файлами.
>

cups-filters - да, но почему так сильно тормозит на ImageMagick ?

Такие тормоза убивают желание использовать этот инструмент.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Michael Shigorin]

On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
> Такие тормоза убивают желание использовать этот инструмент.

А ты что, собираешься наблюдать, как он обходит всё дежурным
порядком? :)  Запускаю и занимаюсь другими делами, когда пробегаю
через тот десктоп -- смотрю, что нашлось.  Когда кандидатов куча,
плюс-минус лапоть особой роли не играет.

Если хочется оптимизировать -- всё-таки придётся смотреть,
какие получаются HTTP-запросы и кто на самом деле тормозит.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
> Такие тормоза убивают желание использовать этот инструмент.

Не может ли быть так, что оно тормозит, потому что скачивает 
архив с новой версией?
там есть опция --report, чтобы не скачивать каждый раз архив.

$ rpm-uscan --any-archive --report

Я смотрел сетевой код, он у нас общий с debian и 
вызывает стандартный перловый модуль.
Вряд ли там что-то улучшить можно.
В rpm-uscan что-то сильно менять не хочется,
это форк от debian uscan и хочется сохранить
возможность относительно легко мержить.

На watch.altlinux.org я сделал параллельную обработку
watch файлов через пул процессов uscan-query.
Там оно опрашивает watch файлы каждое утро,

можно вместо того, чтобы локально запускать rpm-uscan,
ходить смотреть watch.altlinux.org.

И сейчас оптимизирую rpm-uscan, чтобы было удобно 
запустить rpm-uscan один раз сразу на весь каталог
с gear-репозиториями.


-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 12.06.2014 20:25, Igor Vlasenko wrote:
> On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
>> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
>> Такие тормоза убивают желание использовать этот инструмент.
>
> Не может ли быть так, что оно тормозит, потому что скачивает
> архив с новой версией?

нет, я использовал именно report.

> там есть опция --report, чтобы не скачивать каждый раз архив.

да, именно этим и пользуюсь.

>
> $ rpm-uscan --any-archive --report
>
> Я смотрел сетевой код, он у нас общий с debian и
> вызывает стандартный перловый модуль.
> Вряд ли там что-то улучшить можно.

не думаю, что виноват сетевой код.

в perl'е есть профайлер ?

> В rpm-uscan что-то сильно менять не хочется,
> это форк от debian uscan и хочется сохранить
> возможность относительно легко мержить.
>
> На watch.altlinux.org я сделал параллельную обработку
> watch файлов через пул процессов uscan-query.
> Там оно опрашивает watch файлы каждое утро,
>
> можно вместо того, чтобы локально запускать rpm-uscan,
> ходить смотреть watch.altlinux.org.
>
> И сейчас оптимизирую rpm-uscan, чтобы было удобно
> запустить rpm-uscan один раз сразу на весь каталог
> с gear-репозиториями.

Так он будет ещё больше тормозить ?

эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт, 
но тогда надо понять что именно оно делает с git, что вызывает такие 
задержки.

две минуты на report - это слишком.

$ time rpm-uscan --report
Processing watchfile line for ./ImageMagick.watch...
Newest version on remote site is 6.8.9.3, local version is 6.8.8.10
ImageMagick: Newer version (6.8.9.3) available on remote site:
   ftp://ftp.imagemagick.org/pub/ImageMagick/ImageMagick-6.8.9-3.tar.xz
   (local version is 6.8.8.10)
81.19user 3.87system 2:13.73elapsed 63%CPU (0avgtext+0avgdata 
492408maxresident)k
292632inputs+0outputs (10775major+522284minor)pagefaults 0swaps

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 261 bytes --]

On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:

> эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт, 

А можно подробнее про то как, где и зачем ты применяешь glusterfs?

-- 
С уважением, Денис

http://mithraen.ru/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 13.06.2014 18:20, Денис Смирнов wrote:
> On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:
>
>> эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт,
>
> А можно подробнее про то как, где и зачем ты применяешь glusterfs?


для того, что бы не надо было лишний раз делать коммиты, когда хочется с 
чем-то поиграться в разных окружениях.

ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.

мне удобно ;)

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 418 bytes --]

On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:

> для того, что бы не надо было лишний раз делать коммиты, когда хочется с 
> чем-то поиграться в разных окружениях.
> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
> мне удобно ;)

А проблем, когда одна из машин видит частично обновленный репозиторий, там
не бывает?

-- 
С уважением, Денис

http://mithraen.ru/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 13.06.2014 23:10, Денис Смирнов wrote:
> On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:
>
>> для того, что бы не надо было лишний раз делать коммиты, когда хочется с
>> чем-то поиграться в разных окружениях.
>> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
>> мне удобно ;)
>
> А проблем, когда одна из машин видит частично обновленный репозиторий, там
> не бывает?

Если всё смонтировано и с сетью проблем нет, то файлы появляются сразу 
везде после того, как выложил их на любой из нод.

т.е. - я проблем не замечал.

Пакет у нас немного кривой - после загрузки приходится руками 
монтировать, но для моего использования достаточно. И исправлять лень.

Так что если захочется для чего-то более серьёзного - то придётся лезть 
в пакет. Не думаю что там что-то сложное, скорее какая-то фигня типа 
того, кто раньше загружается - сеть или mount для glusterfs.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[alexei]

----- Исходное сообщение -----
> От: "Anton Farygin" <rider@altlinux.com>
> Кому: devel@lists.altlinux.org
> Отправленные: Суббота, 14 Июнь 2014 г 4:15:00
> Тема: Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
> 
> On 13.06.2014 23:10, Денис Смирнов wrote:
> > On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:
> >
> >> для того, что бы не надо было лишний раз делать коммиты, когда хочется с
> >> чем-то поиграться в разных окружениях.
> >> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
> >> мне удобно ;)
> >
> > А проблем, когда одна из машин видит частично обновленный репозиторий, там
> > не бывает?
> 
> Если всё смонтировано и с сетью проблем нет, то файлы появляются сразу
> везде после того, как выложил их на любой из нод.
> 
> т.е. - я проблем не замечал.
> 
> Пакет у нас немного кривой - после загрузки приходится руками
> монтировать, но для моего использования достаточно. И исправлять лень.
> 
> Так что если захочется для чего-то более серьёзного - то придётся лезть
> в пакет. Не думаю что там что-то сложное, скорее какая-то фигня типа
> того, кто раньше загружается - сеть или mount для glusterfs.

Кстати, отдам пакет в хорошие руки. Сам им сейчас не пользуюсь, а заниматься им
времени не хватает.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 13.06.2014 23:18, alexei-W/DNgjy8krs@public.gmane.org wrote:
> Кстати, отдам пакет в хорошие руки. Сам им сейчас не пользуюсь, а заниматься им
> времени не хватает.

Ну добавь меня в acl, если ещё нету.

Скорее всего доберусь.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:
> две минуты на report - это слишком.
> $ time rpm-uscan --report
> 81.19user 3.87system 2:13.73elapsed 63%CPU (0avgtext+0avgdata

2 минуты - это действительно что-то странное.
я у себя такого ни разу не наблюдал.
У меня на разных watch файлах обычно не более 10-12 секунд.

Не смог проверить на ImageMagick
(когда я склонировал ImageMagick, то там не было watch файла), 
но на склонированном cups-filters тоже было 11 секунд.


$ git clone git.alt:/people/rider/packages/cups-filters.git cups-filters.git
Cloning into 'cups-filters.git'...
[...]
$ cd cups-filters.git 
$ time rpm-uscan --report              
Processing watchfile line for ./cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
  http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
  (local version is 1.0.53)
rpm-uscan --report  0,57s user 0,22s system 6% cpu 11,419 total

Из этих 11 секунд порядка 4-х секунд съел `find . -name *watch`
и около 7 секунд ушло на сеть. Чистую сеть можно померять,
если не тратить время на find и вызывать rpm-uscan 
с опцией --watchfile файл.

 $ time rpm-uscan --watchfile cups-filters.watch --report
Processing watchfile line for cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
  http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
  (local version is 1.0.53)
rpm-uscan --watchfile cups-filters.watch --report  0,58s user 0,23s system 10% cpu 7,486 total

чтобы профилировать perl программу, надо установить perl(Devel/DProf.pm),
запустить perl -d:DProf rpm-uscan опции
по итогам запустить программу
dprofpp 

-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

могу конечно поправить у себя, но как мне кажется - это что-то более 
системное. Тем более гугл говорит что это вроде как поправили в более 
новых версиях перла.

нет ?

On 13.06.2014 18:49, Igor Vlasenko wrote:
> perl -d:DProf rpm-uscan

$ perl -d:DProf /usr/bin/rpm-uscan --report
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm 
line 22.
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm 
line 22.
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm 
line 22.
Invalid version format (version required) at /usr/lib64/perl5/RPM.pm 
line 22.
Compilation failed in require at /usr/bin/rpm-uscan line 1957.
BEGIN failed--compilation aborted at /usr/bin/rpm-uscan line 1957.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 13.06.2014 22:28, Anton Farygin wrote:
> могу конечно поправить у себя, но как мне кажется - это что-то более
> системное. Тем более гугл говорит что это вроде как поправили в более
> новых версиях перла.
>
> нет ?
>
> On 13.06.2014 18:49, Igor Vlasenko wrote:
>> perl -d:DProf rpm-uscan
>
> $ perl -d:DProf /usr/bin/rpm-uscan --report
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Invalid version format (version required) at /usr/lib64/perl5/RPM.pm
> line 22.
> Compilation failed in require at /usr/bin/rpm-uscan line 1957.
> BEGIN failed--compilation aborted at /usr/bin/rpm-uscan line 1957.

А просто debugger работает.

1941:           my $specfile=`gear --command sh -- -c 'printf \%s 
"\$gear_specfile"'`;
1942==>         unless ($?) {
1943:               $guesspkg=`gear --command sh -- -c 'printf \%s 
"\$gear_pkg_name"'`;
1944:               $version=`gear --command sh -- -c 'printf \%s 
"\$gear_pkg_version"'`;
1945            }


тормозит эта команда:
$ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
mkdir: создан каталог «/tmp/.private/rider/gear.b3gHCDZq/out»
gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
gear: Extracted file by pattern "*.png": imagemagick16.png
gear: Extracted file by pattern "*.png": imagemagick32.png
gear: Extracted file by pattern "*.png": imagemagick48.png
gear: Extracted archive: ImageMagick-6.8.8-10.tar
gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
gear: Extracted file by pattern "*.watch": ImageMagick.watch
gear: Extracted specfile: ImageMagick.spec
gear: Executing: sh -c printf %s "$gear_specfile"
ImageMagick.spec

для того, что бы узнать имя спека - выгружать тарболл и паковать его в 
xz - это сильно.

Кстати, и так много раз ;)

Код этот к Debian не похоже что б имел отношение.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Fri, Jun 13, 2014 at 11:00:13PM +0400, Anton Farygin wrote:
> тормозит эта команда:
> $ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
> mkdir: создан каталог ??/tmp/.private/rider/gear.b3gHCDZq/out??
> gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
> gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
> gear: Extracted file by pattern "*.png": imagemagick16.png
> gear: Extracted file by pattern "*.png": imagemagick32.png
> gear: Extracted file by pattern "*.png": imagemagick48.png
> gear: Extracted archive: ImageMagick-6.8.8-10.tar
> gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
> gear: Extracted file by pattern "*.watch": ImageMagick.watch
> gear: Extracted specfile: ImageMagick.spec
> gear: Executing: sh -c printf %s "$gear_specfile"
> ImageMagick.spec
> 
> для того, что бы узнать имя спека - выгружать тарболл и паковать его
> в xz - это сильно.
> 
> Кстати, и так много раз ;)
> 
> Код этот к Debian не похоже что б имел отношение.

Спасибо! Отличная отладка!

Это действительно жестоко. И локально маскировалось
быстрыми дисками и небольшими репозиториями.

Вообще ситуация сложная в том смысле,
что быстрый хак сделать можно, но нет гарантии,
что какие-то изменения в gear его не сломают.

я в свое время пытался вытребовать от Дмитрия с Алексеем
api к внутренней кухне gear, более мощное, чем gear --describe,
что-то вроде gear --env, и кто-то мне посоветовал gear --command :(

Альтернативно, можно попытаться сделать свою реализацию
через perl-Gear-Rules, но как-то это неправильно -
закончится тем, что я напишу свой gear с API и поэтессами,
который еще придется параллельно поддерживать :(



-- 

I V

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

В новой версии rpm-uscan >= 0.14.x.xx.x проблема решена.

Теперь летает :)


On Fri, Jun 13, 2014 at 10:52:42PM +0300, Igor Vlasenko wrote:
> On Fri, Jun 13, 2014 at 11:00:13PM +0400, Anton Farygin wrote:
> > тормозит эта команда:
> > $ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
> > mkdir: создан каталог ??/tmp/.private/rider/gear.b3gHCDZq/out??
> > gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
> > gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
> > gear: Extracted file by pattern "*.png": imagemagick16.png
> > gear: Extracted file by pattern "*.png": imagemagick32.png
> > gear: Extracted file by pattern "*.png": imagemagick48.png
> > gear: Extracted archive: ImageMagick-6.8.8-10.tar
> > gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
> > gear: Extracted file by pattern "*.watch": ImageMagick.watch
> > gear: Extracted specfile: ImageMagick.spec
> > gear: Executing: sh -c printf %s "$gear_specfile"
> > ImageMagick.spec
> > 
> > для того, что бы узнать имя спека - выгружать тарболл и паковать его
> > в xz - это сильно.
> > 
> > Кстати, и так много раз ;)
> > 
> > Код этот к Debian не похоже что б имел отношение.
> 
> Спасибо! Отличная отладка!
> 
> Это действительно жестоко. И локально маскировалось
> быстрыми дисками и небольшими репозиториями.
> 
> Вообще ситуация сложная в том смысле,
> что быстрый хак сделать можно, но нет гарантии,
> что какие-то изменения в gear его не сломают.
> 
> я в свое время пытался вытребовать от Дмитрия с Алексеем
> api к внутренней кухне gear, более мощное, чем gear --describe,
> что-то вроде gear --env, и кто-то мне посоветовал gear --command :(
> 
> Альтернативно, можно попытаться сделать свою реализацию
> через perl-Gear-Rules, но как-то это неправильно -
> закончится тем, что я напишу свой gear с API и поэтессами,
> который еще придется параллельно поддерживать :(
> 
> 
> 
> -- 
> 
> I V
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

On 15.06.2014 02:20, Igor Vlasenko wrote:
>
> В новой версии rpm-uscan >= 0.14.x.xx.x проблема решена.
>
> Теперь летает :)

Отлично, спасибо!

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Anton Farygin]

тут почему-то с cups-filters странности.

http://watch.altlinux.org/pub/watch/by-leader/rider.txt

отчего-то он находит снапшот вместо версии.

On 10.06.2014 18:12, Igor Vlasenko wrote:
> Господа,
> На сервисе оповещений watch.altlinux.org добавлен
> новый источник оповещений watch, который использует
> упакованные в src.rpm watch файлы.

Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.

[Igor Vlasenko]

On Fri, Jun 20, 2014 at 01:11:28PM +0400, Anton Farygin wrote:
> тут почему-то с cups-filters странности.
> 
> http://watch.altlinux.org/pub/watch/by-leader/rider.txt

Это нормально, новый watch файл сначала извлекается repocop'ом,
потом скачивается с repocop.altlinux.org в watch.altlinux.org.
оба сервиса по крону пускаются раз в сутки.
Соответственно, пройдет не меньше суток, пока новый
watch файл доедет из Сизифа на watch.altlinux.org.

-- 

I V