* [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
@ 2014-06-10 14:12 Igor Vlasenko
2014-06-10 14:36 ` Michael Shigorin
` (3 more replies)
0 siblings, 4 replies; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-10 14:12 UTC (permalink / raw)
To: devel
Господа,
На сервисе оповещений watch.altlinux.org добавлен
новый источник оповещений watch, который использует
упакованные в src.rpm watch файлы.
Теперь, если добавить в gear репозиторий или src.rpm пакет
watch файл, то не только можно будет локально
проверять обновления и обновлять src.rpm'ы/ gear репозитории,
но и эти файлы будут задействованы на watch.altlinux.org.
Если с watch файлом проблемы, то плагин выдает в общую
систему сообщение об ошибке для этого пакета
как сообщение о якобы наличии обновления с версией 99999999
и телом сообщения об ошибке вместо url.
Сейчас соответствующий код (библиотека perl-RPM-uscan,
утилиты rpm-uscan и uscan-query, uupdate плагин к RPM-Source-Editor)
находятся в активной разработке.
Соответственно, пока я занят с этим кодом,
я помню и понимаю как это хозяйство работает,
могу подсказать, оказать квалифицированную помощь,
исправить ошибки и у себя и в watch файлах.
Господа! не упустите шанс. Если есть желание попробовать
watch файлы, сейчас самое время.
Через пару недель я буду заниматься совершенно другой
разработкой, и быстро забуду все, связанное с watch
файлами :(
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:12 [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Igor Vlasenko
@ 2014-06-10 14:36 ` Michael Shigorin
2014-06-10 16:21 ` Igor Vlasenko
2014-06-11 7:01 ` Paul Wolneykien
2014-06-11 8:50 ` Anton Farygin
` (2 subsequent siblings)
3 siblings, 2 replies; 28+ messages in thread
From: Michael Shigorin @ 2014-06-10 14:36 UTC (permalink / raw)
To: devel
On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
> Господа! не упустите шанс. Если есть желание попробовать
> watch файлы, сейчас самое время. Через пару недель я буду
> заниматься совершенно другой разработкой, и быстро забуду все,
> связанное с watch файлами :(
Со своей стороны могу сказать, что рутинную часть с проверкой
наличия апстримных обновлений они действительно здорово снимают.
Хотя с учётом того, что апстримы порой мигрируют -- не панацея.
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:36 ` Michael Shigorin
@ 2014-06-10 16:21 ` Igor Vlasenko
2014-06-11 7:01 ` Paul Wolneykien
1 sibling, 0 replies; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-10 16:21 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Tue, Jun 10, 2014 at 05:36:36PM +0300, Michael Shigorin wrote:
> On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
> > Господа! не упустите шанс. Если есть желание попробовать
> > watch файлы, сейчас самое время. Через пару недель я буду
> > заниматься совершенно другой разработкой, и быстро забуду все,
> > связанное с watch файлами :(
>
> Со своей стороны могу сказать, что рутинную часть с проверкой
> наличия апстримных обновлений они действительно здорово снимают.
> Хотя с учётом того, что апстримы порой мигрируют -- не панацея.
На то другие плагины. Надо таки дожать distromap-utils
и развернуть дополнительно полноценную сверку для начала
с rosa, mageia, SuSE и pld.
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:36 ` Michael Shigorin
2014-06-10 16:21 ` Igor Vlasenko
@ 2014-06-11 7:01 ` Paul Wolneykien
2014-06-11 7:13 ` Michael Shigorin
1 sibling, 1 reply; 28+ messages in thread
From: Paul Wolneykien @ 2014-06-11 7:01 UTC (permalink / raw)
To: devel
10.06.2014 18:36, Michael Shigorin пишет:
> On Tue, Jun 10, 2014 at 05:12:08PM +0300, Igor Vlasenko wrote:
>> Господа! не упустите шанс. Если есть желание попробовать
>> watch файлы, сейчас самое время. Через пару недель я буду
>> заниматься совершенно другой разработкой, и быстро забуду все,
>> связанное с watch файлами :(
>
> Со своей стороны могу сказать, что рутинную часть с проверкой
> наличия апстримных обновлений они действительно здорово снимают.
"5 копеек". А я использую update-source-functions и cronbuild вместо
watch. Например так:
http://git.altlinux.org/people/manowar/packages/?p=slim.git;a=blob;f=.gear/cronbuild-update-source;h=00533c1ee090c05933a7e8d3689a410ed2b5ffaf;hb=4c8db467f484df9e106bd948a3387b0165dde869
Чем это лучше? Например тем, что можно проверку на наличие версии
сделать более заковыристой, например такой:
http://git.altlinux.org/people/manowar/packages/?p=orca.git;a=blob;f=.gear/cronbuild-update-source;h=75440fd3a011b0b7d1f535fa45c136ddc8dc963f;hb=9776c6f0059ac32e095184d6419b38328ff357d2
В отличие от предыдущего примера скрипт обновления ещё "полноразмерный"
-- стандартные операции по обновлению архива написаны inline, а не через
функции -- поэтому он такой длинный. Самое интересное -- в начале
скрипта: для orca проверка двухэтапная: новыми версиями считаются только
тарболы веток с чётными версиями, а на наличие новых нечётных
(нестабильных) версий скрипт не реагирует.
Как-то так.
P.S. Оно умеет не только plain ftp/http, но и github, и sourceforge, и
ещё что-то.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-11 7:01 ` Paul Wolneykien
@ 2014-06-11 7:13 ` Michael Shigorin
0 siblings, 0 replies; 28+ messages in thread
From: Michael Shigorin @ 2014-06-11 7:13 UTC (permalink / raw)
To: devel
On Wed, Jun 11, 2014 at 11:01:23AM +0400, Paul Wolneykien wrote:
> Самое интересное -- в начале скрипта: для orca проверка
> двухэтапная: новыми версиями считаются только тарболы веток с
> чётными версиями, а на наличие новых нечётных (нестабильных)
> версий скрипт не реагирует.
А разве отменяли \d*[02468]\. ? ;-)
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:12 [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Igor Vlasenko
2014-06-10 14:36 ` Michael Shigorin
@ 2014-06-11 8:50 ` Anton Farygin
2014-06-11 9:00 ` Michael Shigorin
2014-06-11 17:10 ` [devel] I: gear-uupdate second-announce Igor Vlasenko
2014-06-11 9:02 ` [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Anton Farygin
2014-06-20 9:11 ` Anton Farygin
3 siblings, 2 replies; 28+ messages in thread
From: Anton Farygin @ 2014-06-11 8:50 UTC (permalink / raw)
To: devel
Отлично, спасибо.
следующий этап - научить rpm-uscan обновлять правильным образом git - у
меня исходники лежат в бранче upstream и мержатся в master. Но не всегда ;)
Оно умеет читать .gear-rules ? или какие-то настройки из git ?
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-11 8:50 ` Anton Farygin
@ 2014-06-11 9:00 ` Michael Shigorin
2014-06-11 17:10 ` [devel] I: gear-uupdate second-announce Igor Vlasenko
1 sibling, 0 replies; 28+ messages in thread
From: Michael Shigorin @ 2014-06-11 9:00 UTC (permalink / raw)
To: devel
On Wed, Jun 11, 2014 at 12:50:24PM +0400, Anton Farygin wrote:
> следующий этап - научить rpm-uscan обновлять правильным образом git - у
> меня исходники лежат в бранче upstream и мержатся в master. Но не всегда ;)
> Оно умеет читать .gear-rules ? или какие-то настройки из git ?
Полез на днях в icewm, вспомнил про gear-merge-rules(5).
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:12 [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Igor Vlasenko
2014-06-10 14:36 ` Michael Shigorin
2014-06-11 8:50 ` Anton Farygin
@ 2014-06-11 9:02 ` Anton Farygin
2014-06-11 17:16 ` Igor Vlasenko
2014-06-20 9:11 ` Anton Farygin
3 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-11 9:02 UTC (permalink / raw)
To: devel
On 10.06.2014 18:12, Igor Vlasenko wrote:
> Господа,
> Соответственно, пока я занят с этим кодом,
> я помню и понимаю как это хозяйство работает,
> могу подсказать, оказать квалифицированную помощь,
> исправить ошибки и у себя и в watch файлах.
почему так медленно? быстрее вручную скачать и посмотреть на сайте
$ time rpm-uscan --report
Processing watchfile line for ./cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
(local version is 1.0.53)
1.07user 0.88system 0:21.39elapsed 9%CPU (0avgtext+0avgdata
26388maxresident)k
34952inputs+0outputs (1824major+156286minor)pagefaults 0swaps
$ time rpm-uscan --report
Processing watchfile line for ./ImageMagick.watch...
Newest version on remote site is 6.8.9.3, local version is 6.8.8.10
ImageMagick: Newer version (6.8.9.3) available on remote site:
ftp://ftp.imagemagick.org/pub/ImageMagick/ImageMagick-6.8.9-3.tar.xz
(local version is 6.8.8.10)
80.29user 3.95system 2:51.30elapsed 49%CPU (0avgtext+0avgdata
492408maxresident)k
292144inputs+0outputs (10770major+549311minor)pagefaults 0swaps
при этом:
$ time curl ftp://ftp.imagemagick.org/pub/ImageMagick/ >/dev/null
% Total % Received % Xferd Average Speed Time Time Time
Current
Dload Upload Total Spent Left
Speed
0 0 0 3879 0 0 1588 0 --:--:-- 0:00:02
--:--:-- 1589
0.00user 0.00system 0:02.63elapsed 0%CPU (0avgtext+0avgdata
3128maxresident)k
0inputs+0outputs (0major+879minor)pagefaults 0swaps
^ permalink raw reply [flat|nested] 28+ messages in thread
* [devel] I: gear-uupdate second-announce.
2014-06-11 8:50 ` Anton Farygin
2014-06-11 9:00 ` Michael Shigorin
@ 2014-06-11 17:10 ` Igor Vlasenko
1 sibling, 0 replies; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-11 17:10 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Wed, Jun 11, 2014 at 12:50:24PM +0400, Anton Farygin wrote:
> следующий этап - научить rpm-uscan обновлять правильным образом git
Это давно пройденный этап :)
Специально для rpm-uscan я когда-то написал утилиту gear-uupdate(1)
которая тем и занимается, что обновляет правильным образом git
из исходников.
Поскольку утилита малоизвестная, воспользуюсь случаем, чтобы ее
повторно анонсировать.
> Оно умеет читать .gear-rules ? или какие-то настройки из git ?
Именно. gear-uupdate(1) -- это обертка над парой утилит
gear-uupdate-prepare(1) и gear-uupdate-execute.
gear-uupdate-prepare c помощью библиотеки perl-Gear-Rules
читает .gear[-/]rules, изучая директивы tar и diff, вычисляет,
в какой ветке (и каком подкаталоге если есть) находятся исходники,
есть ли отдельные ветви для патчей, если исходники в отдельной ветке,
то как ее потом мержить в ветку с .gear (просто или с -s ours).
Поддерживаются все основные разумные схемы gear.
> у меня исходники лежат в бранче upstream и мержатся в master.
Эта схема в числе поддерживаемых :)
> Но не всегда ;)
Проверить, поддерживается ли конкретная схема gear репозитория,
можно с помощью утилиты gear-rules-verify.
gear-rules-verify выдаст подробную диагностику,
совместим ли репозиторий с gear-uupdate(1).
В частности, если в репозитории есть коммиты, автор которых
не состоит в team, то gear-uupdate откажется работать.
Логика здесь в том, что похоже, репозиторий ранее обновлялся
из апстримного git/svn/otherVCS, а теперь мы хотим обновить
его из тарбола. как правило, так делать не надо.
Вместо полученного треш-репозитория лучше
завести новый git репозиторий или залить обновление как srpm.
А так, большое количество схем gear репозиториев поддерживается.
Руками его запускают так:
gear-uupdate --upstream-version 6.8.9.3 ImageMagick-6.8.9-3.tar.xz
При первом запуске лучше не запускать сразу gear-uupdate, а запустить
gear-uupdate-prepare --upstream-version 6.8.9.3 ImageMagick-6.8.9-3.tar.xz
gear-uupdate-prepare сначала выполнит проверки из gear-rules-verify.
Затем, gear-uupdate-prepare (ничего не меняя в репозитории)
генерирует набор shell скриптов. Эти скрипты могут быть созданы
в корне gear репозитория, если апстрим в подкаталоге в текущей ветке.
в остальных случаях скрипты надо прятать от git, поэтому они создаются
в папке .git/uupdate/.
после выполнения gear-uupdate-prepare
в .git/uupdate/ будет что-то вроде
01-checkout-and-update-upstream-branch.sh
02-merge-upstream-to-patch1-branch.sh
...
07-merge-upstream-to-patch6-branch.sh
10-merge-to-main-and-update-spec-and-tags.sh
Эти скрипты можно просмотреть и убедиться еще раз,
что робот понял структуру репозитория правильно.
После чего их можно выполнить с помощью gear-uupdate-execute.
Далее уже сразу можно запускать gear-uupdate.
Впрочем, rpm-uscan (и gear-cronbuild) обучен запускать
gear-uupdate самостоятельно.
gear-cronbuild при наличии watch файла и отсутствии
cronbuild скриптов просто молча и принудительно запускает
gear-uupdate.
rpm-uscan с обычным watch файлом так не делает.
Есть 2 варианта, как заставить rpm-uscan сразу после скачивания
вызвать gear-uupdate:
1) вызвать rpm-uscan с опцией,
rpm-uscan --force-action gear-uupdate
2) добавить в watch файл магию - добавить еще одну колонку,
в которой написать uupdate (можно gear-uupdate).
uupdate -- это магическая утилита из debian, которая
обновляет debian репозиторий. у нас gear репозиторий,
поэтому ей на замену я написал gear-uupdate,
которая обновляет gear репозиторий,
так, чтобы она была полностью совместима
с debian --- все, что написано в uscan(1) (тж. rpm-uscan(1))
будет работать и у нас.
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-11 9:02 ` [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Anton Farygin
@ 2014-06-11 17:16 ` Igor Vlasenko
2014-06-12 5:05 ` Anton Farygin
0 siblings, 1 reply; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-11 17:16 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Wed, Jun 11, 2014 at 01:02:49PM +0400, Anton Farygin wrote:
> почему так медленно? быстрее вручную скачать и посмотреть на сайте
cups-filters на watch.altlinux.org тоже долго качается,
даже по таймауту отваливался. наверное, как-то от сайта зависит.
кстати, rpm-uscan теперь можно запускать один раз на все gear
репозитории.
запустить rpm-uscan <путь к каталогу, где gear репозитории лежат>
или зайти в <каталог, где gear репозитории лежат>
и запустить оттуда -- он пройдется по всем найденным
gear репозиториям с watch файлами.
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-11 17:16 ` Igor Vlasenko
@ 2014-06-12 5:05 ` Anton Farygin
2014-06-12 8:08 ` Michael Shigorin
2014-06-12 16:25 ` Igor Vlasenko
0 siblings, 2 replies; 28+ messages in thread
From: Anton Farygin @ 2014-06-12 5:05 UTC (permalink / raw)
To: devel
On 11.06.2014 21:16, Igor Vlasenko wrote:
> On Wed, Jun 11, 2014 at 01:02:49PM +0400, Anton Farygin wrote:
>> почему так медленно? быстрее вручную скачать и посмотреть на сайте
>
> cups-filters на watch.altlinux.org тоже долго качается,
> даже по таймауту отваливался. наверное, как-то от сайта зависит.
>
> кстати, rpm-uscan теперь можно запускать один раз на все gear
> репозитории.
> запустить rpm-uscan <путь к каталогу, где gear репозитории лежат>
> или зайти в <каталог, где gear репозитории лежат>
> и запустить оттуда -- он пройдется по всем найденным
> gear репозиториям с watch файлами.
>
cups-filters - да, но почему так сильно тормозит на ImageMagick ?
Такие тормоза убивают желание использовать этот инструмент.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-12 5:05 ` Anton Farygin
@ 2014-06-12 8:08 ` Michael Shigorin
2014-06-12 16:25 ` Igor Vlasenko
1 sibling, 0 replies; 28+ messages in thread
From: Michael Shigorin @ 2014-06-12 8:08 UTC (permalink / raw)
To: devel
On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
> Такие тормоза убивают желание использовать этот инструмент.
А ты что, собираешься наблюдать, как он обходит всё дежурным
порядком? :) Запускаю и занимаюсь другими делами, когда пробегаю
через тот десктоп -- смотрю, что нашлось. Когда кандидатов куча,
плюс-минус лапоть особой роли не играет.
Если хочется оптимизировать -- всё-таки придётся смотреть,
какие получаются HTTP-запросы и кто на самом деле тормозит.
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-12 5:05 ` Anton Farygin
2014-06-12 8:08 ` Michael Shigorin
@ 2014-06-12 16:25 ` Igor Vlasenko
2014-06-13 8:05 ` Anton Farygin
1 sibling, 1 reply; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-12 16:25 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
> Такие тормоза убивают желание использовать этот инструмент.
Не может ли быть так, что оно тормозит, потому что скачивает
архив с новой версией?
там есть опция --report, чтобы не скачивать каждый раз архив.
$ rpm-uscan --any-archive --report
Я смотрел сетевой код, он у нас общий с debian и
вызывает стандартный перловый модуль.
Вряд ли там что-то улучшить можно.
В rpm-uscan что-то сильно менять не хочется,
это форк от debian uscan и хочется сохранить
возможность относительно легко мержить.
На watch.altlinux.org я сделал параллельную обработку
watch файлов через пул процессов uscan-query.
Там оно опрашивает watch файлы каждое утро,
можно вместо того, чтобы локально запускать rpm-uscan,
ходить смотреть watch.altlinux.org.
И сейчас оптимизирую rpm-uscan, чтобы было удобно
запустить rpm-uscan один раз сразу на весь каталог
с gear-репозиториями.
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-12 16:25 ` Igor Vlasenko
@ 2014-06-13 8:05 ` Anton Farygin
2014-06-13 14:20 ` Денис Смирнов
2014-06-13 14:49 ` Igor Vlasenko
0 siblings, 2 replies; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 8:05 UTC (permalink / raw)
To: devel
On 12.06.2014 20:25, Igor Vlasenko wrote:
> On Thu, Jun 12, 2014 at 09:05:36AM +0400, Anton Farygin wrote:
>> cups-filters - да, но почему так сильно тормозит на ImageMagick ?
>> Такие тормоза убивают желание использовать этот инструмент.
>
> Не может ли быть так, что оно тормозит, потому что скачивает
> архив с новой версией?
нет, я использовал именно report.
> там есть опция --report, чтобы не скачивать каждый раз архив.
да, именно этим и пользуюсь.
>
> $ rpm-uscan --any-archive --report
>
> Я смотрел сетевой код, он у нас общий с debian и
> вызывает стандартный перловый модуль.
> Вряд ли там что-то улучшить можно.
не думаю, что виноват сетевой код.
в perl'е есть профайлер ?
> В rpm-uscan что-то сильно менять не хочется,
> это форк от debian uscan и хочется сохранить
> возможность относительно легко мержить.
>
> На watch.altlinux.org я сделал параллельную обработку
> watch файлов через пул процессов uscan-query.
> Там оно опрашивает watch файлы каждое утро,
>
> можно вместо того, чтобы локально запускать rpm-uscan,
> ходить смотреть watch.altlinux.org.
>
> И сейчас оптимизирую rpm-uscan, чтобы было удобно
> запустить rpm-uscan один раз сразу на весь каталог
> с gear-репозиториями.
Так он будет ещё больше тормозить ?
эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт,
но тогда надо понять что именно оно делает с git, что вызывает такие
задержки.
две минуты на report - это слишком.
$ time rpm-uscan --report
Processing watchfile line for ./ImageMagick.watch...
Newest version on remote site is 6.8.9.3, local version is 6.8.8.10
ImageMagick: Newer version (6.8.9.3) available on remote site:
ftp://ftp.imagemagick.org/pub/ImageMagick/ImageMagick-6.8.9-3.tar.xz
(local version is 6.8.8.10)
81.19user 3.87system 2:13.73elapsed 63%CPU (0avgtext+0avgdata
492408maxresident)k
292632inputs+0outputs (10775major+522284minor)pagefaults 0swaps
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 8:05 ` Anton Farygin
@ 2014-06-13 14:20 ` Денис Смирнов
2014-06-13 18:24 ` Anton Farygin
2014-06-13 14:49 ` Igor Vlasenko
1 sibling, 1 reply; 28+ messages in thread
From: Денис Смирнов @ 2014-06-13 14:20 UTC (permalink / raw)
To: devel
[-- Attachment #1: Type: text/plain, Size: 261 bytes --]
On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:
> эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт,
А можно подробнее про то как, где и зачем ты применяешь glusterfs?
--
С уважением, Денис
http://mithraen.ru/
[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 181 bytes --]
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 8:05 ` Anton Farygin
2014-06-13 14:20 ` Денис Смирнов
@ 2014-06-13 14:49 ` Igor Vlasenko
2014-06-13 18:28 ` Anton Farygin
1 sibling, 1 reply; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-13 14:49 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:
> две минуты на report - это слишком.
> $ time rpm-uscan --report
> 81.19user 3.87system 2:13.73elapsed 63%CPU (0avgtext+0avgdata
2 минуты - это действительно что-то странное.
я у себя такого ни разу не наблюдал.
У меня на разных watch файлах обычно не более 10-12 секунд.
Не смог проверить на ImageMagick
(когда я склонировал ImageMagick, то там не было watch файла),
но на склонированном cups-filters тоже было 11 секунд.
$ git clone git.alt:/people/rider/packages/cups-filters.git cups-filters.git
Cloning into 'cups-filters.git'...
[...]
$ cd cups-filters.git
$ time rpm-uscan --report
Processing watchfile line for ./cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
(local version is 1.0.53)
rpm-uscan --report 0,57s user 0,22s system 6% cpu 11,419 total
Из этих 11 секунд порядка 4-х секунд съел `find . -name *watch`
и около 7 секунд ушло на сеть. Чистую сеть можно померять,
если не тратить время на find и вызывать rpm-uscan
с опцией --watchfile файл.
$ time rpm-uscan --watchfile cups-filters.watch --report
Processing watchfile line for cups-filters.watch...
Newest version on remote site is 1.0.54, local version is 1.0.53
cups-filters: Newer version (1.0.54) available on remote site:
http://www.openprinting.org/download/cups-filters/cups-filters-1.0.54.tar.xz
(local version is 1.0.53)
rpm-uscan --watchfile cups-filters.watch --report 0,58s user 0,23s system 10% cpu 7,486 total
чтобы профилировать perl программу, надо установить perl(Devel/DProf.pm),
запустить perl -d:DProf rpm-uscan опции
по итогам запустить программу
dprofpp
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 14:20 ` Денис Смирнов
@ 2014-06-13 18:24 ` Anton Farygin
2014-06-13 19:10 ` Денис Смирнов
0 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 18:24 UTC (permalink / raw)
To: devel
On 13.06.2014 18:20, Денис Смирнов wrote:
> On Fri, Jun 13, 2014 at 12:05:28PM +0400, Anton Farygin wrote:
>
>> эти тормоза могут быть вызваны тем, что у меня git на glusterfs живёт,
>
> А можно подробнее про то как, где и зачем ты применяешь glusterfs?
для того, что бы не надо было лишний раз делать коммиты, когда хочется с
чем-то поиграться в разных окружениях.
ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
мне удобно ;)
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 14:49 ` Igor Vlasenko
@ 2014-06-13 18:28 ` Anton Farygin
2014-06-13 19:00 ` Anton Farygin
0 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 18:28 UTC (permalink / raw)
To: devel
могу конечно поправить у себя, но как мне кажется - это что-то более
системное. Тем более гугл говорит что это вроде как поправили в более
новых версиях перла.
нет ?
On 13.06.2014 18:49, Igor Vlasenko wrote:
> perl -d:DProf rpm-uscan
$ perl -d:DProf /usr/bin/rpm-uscan --report
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
line 22.
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
line 22.
Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
line 22.
Invalid version format (version required) at /usr/lib64/perl5/RPM.pm
line 22.
Compilation failed in require at /usr/bin/rpm-uscan line 1957.
BEGIN failed--compilation aborted at /usr/bin/rpm-uscan line 1957.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 18:28 ` Anton Farygin
@ 2014-06-13 19:00 ` Anton Farygin
2014-06-13 19:52 ` Igor Vlasenko
0 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 19:00 UTC (permalink / raw)
To: devel
On 13.06.2014 22:28, Anton Farygin wrote:
> могу конечно поправить у себя, но как мне кажется - это что-то более
> системное. Тем более гугл говорит что это вроде как поправили в более
> новых версиях перла.
>
> нет ?
>
> On 13.06.2014 18:49, Igor Vlasenko wrote:
>> perl -d:DProf rpm-uscan
>
> $ perl -d:DProf /usr/bin/rpm-uscan --report
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Use of uninitialized value in null operation at /usr/lib64/perl5/RPM.pm
> line 22.
> Invalid version format (version required) at /usr/lib64/perl5/RPM.pm
> line 22.
> Compilation failed in require at /usr/bin/rpm-uscan line 1957.
> BEGIN failed--compilation aborted at /usr/bin/rpm-uscan line 1957.
А просто debugger работает.
1941: my $specfile=`gear --command sh -- -c 'printf \%s
"\$gear_specfile"'`;
1942==> unless ($?) {
1943: $guesspkg=`gear --command sh -- -c 'printf \%s
"\$gear_pkg_name"'`;
1944: $version=`gear --command sh -- -c 'printf \%s
"\$gear_pkg_version"'`;
1945 }
тормозит эта команда:
$ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
mkdir: создан каталог «/tmp/.private/rider/gear.b3gHCDZq/out»
gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
gear: Extracted file by pattern "*.png": imagemagick16.png
gear: Extracted file by pattern "*.png": imagemagick32.png
gear: Extracted file by pattern "*.png": imagemagick48.png
gear: Extracted archive: ImageMagick-6.8.8-10.tar
gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
gear: Extracted file by pattern "*.watch": ImageMagick.watch
gear: Extracted specfile: ImageMagick.spec
gear: Executing: sh -c printf %s "$gear_specfile"
ImageMagick.spec
для того, что бы узнать имя спека - выгружать тарболл и паковать его в
xz - это сильно.
Кстати, и так много раз ;)
Код этот к Debian не похоже что б имел отношение.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 18:24 ` Anton Farygin
@ 2014-06-13 19:10 ` Денис Смирнов
2014-06-13 19:15 ` Anton Farygin
0 siblings, 1 reply; 28+ messages in thread
From: Денис Смирнов @ 2014-06-13 19:10 UTC (permalink / raw)
To: devel
[-- Attachment #1: Type: text/plain, Size: 418 bytes --]
On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:
> для того, что бы не надо было лишний раз делать коммиты, когда хочется с
> чем-то поиграться в разных окружениях.
> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
> мне удобно ;)
А проблем, когда одна из машин видит частично обновленный репозиторий, там
не бывает?
--
С уважением, Денис
http://mithraen.ru/
[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 181 bytes --]
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 19:10 ` Денис Смирнов
@ 2014-06-13 19:15 ` Anton Farygin
2014-06-13 19:18 ` alexei
0 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 19:15 UTC (permalink / raw)
To: devel
On 13.06.2014 23:10, Денис Смирнов wrote:
> On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:
>
>> для того, что бы не надо было лишний раз делать коммиты, когда хочется с
>> чем-то поиграться в разных окружениях.
>> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
>> мне удобно ;)
>
> А проблем, когда одна из машин видит частично обновленный репозиторий, там
> не бывает?
Если всё смонтировано и с сетью проблем нет, то файлы появляются сразу
везде после того, как выложил их на любой из нод.
т.е. - я проблем не замечал.
Пакет у нас немного кривой - после загрузки приходится руками
монтировать, но для моего использования достаточно. И исправлять лень.
Так что если захочется для чего-то более серьёзного - то придётся лезть
в пакет. Не думаю что там что-то сложное, скорее какая-то фигня типа
того, кто раньше загружается - сеть или mount для glusterfs.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 19:15 ` Anton Farygin
@ 2014-06-13 19:18 ` alexei
2014-06-13 19:39 ` Anton Farygin
0 siblings, 1 reply; 28+ messages in thread
From: alexei @ 2014-06-13 19:18 UTC (permalink / raw)
To: ALT Linux Team development discussions
----- Исходное сообщение -----
> От: "Anton Farygin" <rider@altlinux.com>
> Кому: devel@lists.altlinux.org
> Отправленные: Суббота, 14 Июнь 2014 г 4:15:00
> Тема: Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
>
> On 13.06.2014 23:10, Денис Смирнов wrote:
> > On Fri, Jun 13, 2014 at 10:24:37PM +0400, Anton Farygin wrote:
> >
> >> для того, что бы не надо было лишний раз делать коммиты, когда хочется с
> >> чем-то поиграться в разных окружениях.
> >> ну, т.е. - каталог с git доступен в разных серверах и разных виртуалках.
> >> мне удобно ;)
> >
> > А проблем, когда одна из машин видит частично обновленный репозиторий, там
> > не бывает?
>
> Если всё смонтировано и с сетью проблем нет, то файлы появляются сразу
> везде после того, как выложил их на любой из нод.
>
> т.е. - я проблем не замечал.
>
> Пакет у нас немного кривой - после загрузки приходится руками
> монтировать, но для моего использования достаточно. И исправлять лень.
>
> Так что если захочется для чего-то более серьёзного - то придётся лезть
> в пакет. Не думаю что там что-то сложное, скорее какая-то фигня типа
> того, кто раньше загружается - сеть или mount для glusterfs.
Кстати, отдам пакет в хорошие руки. Сам им сейчас не пользуюсь, а заниматься им
времени не хватает.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 19:18 ` alexei
@ 2014-06-13 19:39 ` Anton Farygin
0 siblings, 0 replies; 28+ messages in thread
From: Anton Farygin @ 2014-06-13 19:39 UTC (permalink / raw)
To: devel
On 13.06.2014 23:18, alexei-W/DNgjy8krs@public.gmane.org wrote:
> Кстати, отдам пакет в хорошие руки. Сам им сейчас не пользуюсь, а заниматься им
> времени не хватает.
Ну добавь меня в acl, если ещё нету.
Скорее всего доберусь.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 19:00 ` Anton Farygin
@ 2014-06-13 19:52 ` Igor Vlasenko
2014-06-14 22:20 ` Igor Vlasenko
0 siblings, 1 reply; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-13 19:52 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Fri, Jun 13, 2014 at 11:00:13PM +0400, Anton Farygin wrote:
> тормозит эта команда:
> $ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
> mkdir: создан каталог ??/tmp/.private/rider/gear.b3gHCDZq/out??
> gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
> gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
> gear: Extracted file by pattern "*.png": imagemagick16.png
> gear: Extracted file by pattern "*.png": imagemagick32.png
> gear: Extracted file by pattern "*.png": imagemagick48.png
> gear: Extracted archive: ImageMagick-6.8.8-10.tar
> gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
> gear: Extracted file by pattern "*.watch": ImageMagick.watch
> gear: Extracted specfile: ImageMagick.spec
> gear: Executing: sh -c printf %s "$gear_specfile"
> ImageMagick.spec
>
> для того, что бы узнать имя спека - выгружать тарболл и паковать его
> в xz - это сильно.
>
> Кстати, и так много раз ;)
>
> Код этот к Debian не похоже что б имел отношение.
Спасибо! Отличная отладка!
Это действительно жестоко. И локально маскировалось
быстрыми дисками и небольшими репозиториями.
Вообще ситуация сложная в том смысле,
что быстрый хак сделать можно, но нет гарантии,
что какие-то изменения в gear его не сломают.
я в свое время пытался вытребовать от Дмитрия с Алексеем
api к внутренней кухне gear, более мощное, чем gear --describe,
что-то вроде gear --env, и кто-то мне посоветовал gear --command :(
Альтернативно, можно попытаться сделать свою реализацию
через perl-Gear-Rules, но как-то это неправильно -
закончится тем, что я напишу свой gear с API и поэтессами,
который еще придется параллельно поддерживать :(
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-13 19:52 ` Igor Vlasenko
@ 2014-06-14 22:20 ` Igor Vlasenko
2014-06-15 11:40 ` Anton Farygin
0 siblings, 1 reply; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-14 22:20 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
В новой версии rpm-uscan >= 0.14.x.xx.x проблема решена.
Теперь летает :)
On Fri, Jun 13, 2014 at 10:52:42PM +0300, Igor Vlasenko wrote:
> On Fri, Jun 13, 2014 at 11:00:13PM +0400, Anton Farygin wrote:
> > тормозит эта команда:
> > $ gear --verbose --command sh -- -c 'printf %s "$gear_specfile"'
> > mkdir: создан каталог ??/tmp/.private/rider/gear.b3gHCDZq/out??
> > gear: Extracted file by pattern "*.desktop": ImageMagick.desktop
> > gear: Extracted file by pattern "*.patch": ImageMagick-depends.patch
> > gear: Extracted file by pattern "*.png": imagemagick16.png
> > gear: Extracted file by pattern "*.png": imagemagick32.png
> > gear: Extracted file by pattern "*.png": imagemagick48.png
> > gear: Extracted archive: ImageMagick-6.8.8-10.tar
> > gear: Compressed file `ImageMagick-6.8.8-10.tar' using `xz -9'
> > gear: Extracted file by pattern "*.watch": ImageMagick.watch
> > gear: Extracted specfile: ImageMagick.spec
> > gear: Executing: sh -c printf %s "$gear_specfile"
> > ImageMagick.spec
> >
> > для того, что бы узнать имя спека - выгружать тарболл и паковать его
> > в xz - это сильно.
> >
> > Кстати, и так много раз ;)
> >
> > Код этот к Debian не похоже что б имел отношение.
>
> Спасибо! Отличная отладка!
>
> Это действительно жестоко. И локально маскировалось
> быстрыми дисками и небольшими репозиториями.
>
> Вообще ситуация сложная в том смысле,
> что быстрый хак сделать можно, но нет гарантии,
> что какие-то изменения в gear его не сломают.
>
> я в свое время пытался вытребовать от Дмитрия с Алексеем
> api к внутренней кухне gear, более мощное, чем gear --describe,
> что-то вроде gear --env, и кто-то мне посоветовал gear --command :(
>
> Альтернативно, можно попытаться сделать свою реализацию
> через perl-Gear-Rules, но как-то это неправильно -
> закончится тем, что я напишу свой gear с API и поэтессами,
> который еще придется параллельно поддерживать :(
>
>
>
> --
>
> I V
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel
--
Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-14 22:20 ` Igor Vlasenko
@ 2014-06-15 11:40 ` Anton Farygin
0 siblings, 0 replies; 28+ messages in thread
From: Anton Farygin @ 2014-06-15 11:40 UTC (permalink / raw)
To: devel
On 15.06.2014 02:20, Igor Vlasenko wrote:
>
> В новой версии rpm-uscan >= 0.14.x.xx.x проблема решена.
>
> Теперь летает :)
Отлично, спасибо!
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-10 14:12 [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Igor Vlasenko
` (2 preceding siblings ...)
2014-06-11 9:02 ` [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Anton Farygin
@ 2014-06-20 9:11 ` Anton Farygin
2014-06-20 11:49 ` Igor Vlasenko
3 siblings, 1 reply; 28+ messages in thread
From: Anton Farygin @ 2014-06-20 9:11 UTC (permalink / raw)
To: devel
тут почему-то с cups-filters странности.
http://watch.altlinux.org/pub/watch/by-leader/rider.txt
отчего-то он находит снапшот вместо версии.
On 10.06.2014 18:12, Igor Vlasenko wrote:
> Господа,
> На сервисе оповещений watch.altlinux.org добавлен
> новый источник оповещений watch, который использует
> упакованные в src.rpm watch файлы.
^ permalink raw reply [flat|nested] 28+ messages in thread
* Re: [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы.
2014-06-20 9:11 ` Anton Farygin
@ 2014-06-20 11:49 ` Igor Vlasenko
0 siblings, 0 replies; 28+ messages in thread
From: Igor Vlasenko @ 2014-06-20 11:49 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Anton Farygin
On Fri, Jun 20, 2014 at 01:11:28PM +0400, Anton Farygin wrote:
> тут почему-то с cups-filters странности.
>
> http://watch.altlinux.org/pub/watch/by-leader/rider.txt
Это нормально, новый watch файл сначала извлекается repocop'ом,
потом скачивается с repocop.altlinux.org в watch.altlinux.org.
оба сервиса по крону пускаются раз в сутки.
Соответственно, пройдет не меньше суток, пока новый
watch файл доедет из Сизифа на watch.altlinux.org.
--
I V
^ permalink raw reply [flat|nested] 28+ messages in thread
end of thread, other threads:[~2014-06-20 11:49 UTC | newest]
Thread overview: 28+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2014-06-10 14:12 [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Igor Vlasenko
2014-06-10 14:36 ` Michael Shigorin
2014-06-10 16:21 ` Igor Vlasenko
2014-06-11 7:01 ` Paul Wolneykien
2014-06-11 7:13 ` Michael Shigorin
2014-06-11 8:50 ` Anton Farygin
2014-06-11 9:00 ` Michael Shigorin
2014-06-11 17:10 ` [devel] I: gear-uupdate second-announce Igor Vlasenko
2014-06-11 9:02 ` [devel] I: watch.altlinux.org теперь обрабатывает и watch-файлы Anton Farygin
2014-06-11 17:16 ` Igor Vlasenko
2014-06-12 5:05 ` Anton Farygin
2014-06-12 8:08 ` Michael Shigorin
2014-06-12 16:25 ` Igor Vlasenko
2014-06-13 8:05 ` Anton Farygin
2014-06-13 14:20 ` Денис Смирнов
2014-06-13 18:24 ` Anton Farygin
2014-06-13 19:10 ` Денис Смирнов
2014-06-13 19:15 ` Anton Farygin
2014-06-13 19:18 ` alexei
2014-06-13 19:39 ` Anton Farygin
2014-06-13 14:49 ` Igor Vlasenko
2014-06-13 18:28 ` Anton Farygin
2014-06-13 19:00 ` Anton Farygin
2014-06-13 19:52 ` Igor Vlasenko
2014-06-14 22:20 ` Igor Vlasenko
2014-06-15 11:40 ` Anton Farygin
2014-06-20 9:11 ` Anton Farygin
2014-06-20 11:49 ` Igor Vlasenko
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git