[devel] I: .watch files: master class

[devel] I: .watch files: master class

[Igor Vlasenko]

Господа,
собирался писать для watch.altlinux.org плагин
оповещения через .watch файлы, но оказалось,
что увы, у нас этой возможностью не пользуются,
и плагин писать пока рано и незачем, так как 
в наших пакетах .watch файлов, которые бы этот
плагин обрабатывал, нет (мои не в счет).

Поэтому хочу провести небольшой ликбез по 
debian watch файлам. у нас для работы с ними
портировано и написано ряд утилит, надо смело пользоваться.

1) watch файлы - это просто.

Напишем watch файл на примере пакета mytetra.

watch файл состоит из 2-х строк:
сначала идет магическая строка "version=3"
далее, если бы у проекта был бы простой каталог загрузки
http://webhamster.ru/db/data/articles/105
с ftp или http листингом, то вторую строчку можно было бы написать
как регулярное выражение 
http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
где в скобках та часть url, которая задает версию.

# -- было бы --------
version=3
http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
# -------------------

Однако у проекта mytetra простого каталога загрузки нет,
вместо этого есть страничка проекта 
http://webhamster.ru/site/page/index/articles/projectcode/105
и с нее уже ведут ссылки.
Поэтому в watch файл надо вписать 2 компоненты через пробел:
URL странички и регулярное выражение для ссылок с нее.

Если бы ссылки были относительные, надо было бы написать 

#-----mytetra.watch------
version=3
http://webhamster.ru/site/page/index/articles/projectcode/105 mytetra_(.*)_src.zip
#----------------------
но там ссылки абсолютные, и надо писать 
#-----mytetra.watch------
version=3
http://webhamster.ru/site/page/index/articles/projectcode/105 http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
#----------------------

Такой, watch файл будет работать, но из файла
mytetra_1_30_1_src.zip получится версия 1_30_1, а нам бы хотелось,
чтобы было 1.30.1.
Такое тоже можно, надо в начало строки указать опции uscan.
Получим
#-----mytetra.watch------
version=3
opts="uversionmangle=s/_/./g" http://webhamster.ru/site/page/index/articles/projectcode/105 http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
#---------------------

Запускаем и проверяем:
$ rpm-uscan mytetra.watch 
...

Для любителей экзотики сюда же в конец можно добавить " debian <имя скрипта>"
тогда rpm-uscan после загрузки новой версии вызовет указанный там скрипт.

Пример:
#-----mytetra.watch------
version=3
opts="uversionmangle=s/_/./g" http://webhamster.ru/site/page/index/articles/projectcode/105 http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip debian my_update_script.sh
#---------------------
Особый случай -- uupdate как имя скрипта обновления.
В этом случае, для " debian uupdate" будет вызвана утилита gear-uupdate.

2) Надо паковать watch файлы в rpm пакет,
см.
http://www.altlinux.org/Watch
тогда песочница сможет их наблюдать.

также, src.rpm файлы тогда можно обновлять одной командой
srpmtool --uupdate /path/to/src.rpm

Для gear-репозиториев, для работы cronbuild
достаточно упаковать watch файл, тогда скрипты писать не нужно.

Для gear-репозиториев, при наличии watch файла
rpm-uscan можно запускать без аргументов,
он найдет все сам.

Когда что-то не понятно, спрашивайте.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] I: .watch files: master class

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 3152 bytes --]

10.01.2012 15:07, Igor Vlasenko пишет:
> Господа,
>
> 1) watch файлы - это просто.
>
> Напишем watch файл на примере пакета mytetra.
>
> watch файл состоит из 2-х строк:
> сначала идет магическая строка "version=3"
> далее, если бы у проекта был бы простой каталог загрузки
> http://webhamster.ru/db/data/articles/105
> с ftp или http листингом, то вторую строчку можно было бы написать
> как регулярное выражение 
> http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
> где в скобках та часть url, которая задает версию.
>
> # -- было бы --------
> version=3
> http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
> # -------------------
>
> Однако у проекта mytetra простого каталога загрузки нет,
> вместо этого есть страничка проекта 
> http://webhamster.ru/site/page/index/articles/projectcode/105
> и с нее уже ведут ссылки.
> Поэтому в watch файл надо вписать 2 компоненты через пробел:
> URL странички и регулярное выражение для ссылок с нее.
>
> Если бы ссылки были относительные, надо было бы написать 
>
> #-----mytetra.watch------
> version=3
> http://webhamster.ru/site/page/index/articles/projectcode/105 mytetra_(.*)_src.zip
> #----------------------
> но там ссылки абсолютные, и надо писать 
> #-----mytetra.watch------
> version=3
> http://webhamster.ru/site/page/index/articles/projectcode/105 http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
> #----------------------
>
> Такой, watch файл будет работать, но из файла
> mytetra_1_30_1_src.zip получится версия 1_30_1, а нам бы хотелось,
> чтобы было 1.30.1.
> Такое тоже можно, надо в начало строки указать опции uscan.
> Получим
> #-----mytetra.watch------
> version=3
> opts="uversionmangle=s/_/./g" http://webhamster.ru/site/page/index/articles/projectcode/105 http://webhamster.ru/db/data/articles/105/mytetra_(.*)_src.zip
> #---------------------
>
> Запускаем и проверяем:
> $ rpm-uscan mytetra.watch 
> ...
>
> Когда что-то не понятно, спрашивайте.
Есть кучка плагинов к trac и хочется поставить их на watch
Типичный пример странички
http://trac-hacks.org/wiki/TracWysiwygPlugin
и от туда вот такую ссылку на получение исходников
http://trac-hacks.org/changeset/latest/tracwysiwygplugin?old_path=/&filename=tracwysiwygplugin&format=zip

Как здесь быть когда версии четко в ссылке нет?

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 4903 bytes --]

Re: [devel] I: .watch files: master class

[Igor Vlasenko]

On Wed, Jan 11, 2012 at 12:31:47AM -0500, Dubrovskiy Viacheslav wrote:
> Есть кучка плагинов к trac и хочется поставить их на watch
> Типичный пример странички
> http://trac-hacks.org/wiki/TracWysiwygPlugin
> Как здесь быть когда версии четко в ссылке нет?

В этом случае удобнее создать плагин для watch.altlinux.org.

Это скрипт, назовем его trac-plugin-watch,
который умеет печатать удаленный репозиторий 
в формате <remote name><- tab -><remote version><- tab -><remote url>\n

Вот набросок:
#!/bin/sh -ue
for plugin in `svn list http://trac-hacks.org/svn`; do
  tracversion=`svn list http://trac-hacks.org/svn/$plugin | tail -1`
  plugin=${plugin%%/}; tracversion=${tracversion%%/};
  setupfile=`svn list http://trac-hacks.org/svn/$plugin/$tracversion/setup.py`
  if [ -n "$setupfile" ]; then
    svn checkout it to tmpdir/checked_out_setupfile
    version=`patternmatch version='(.*)' checked_out_setupfile`
    echo "$plugin\t$version\thttp://trac-hacks.org/changeset/latest/$plugin?old_path=/&filename=$plugin&format=zip"
  else
    echo "Oops: $plugin: should not happen :("
    exit 1
  fi
done

Полученный плагин trac-plugin-watch можно прикрутить к 
watch.altlinux.org и он там будет ежедневно мониторить trac-plugin'ы

Но в таком виде он не удобен для задачи локально запустить
и посмотреть, какие вышли новые плагины.

Для локальной работы можно будет использовать
$ ./trac-plugin-watch | <фильтр> --prefix python-module-trac. /путь/к/сизифу
где скрипт <фильтр> я отдельно предоставлю.

Он будет общий для octave-watch, trac-plugin-watch,
там только --prefix у rpm-пакетов разный.
название, будет, наверное, что-то вроде watch-filter-newer.
Ранее для octave-watch я такой скрипт не писал, так как 
Павел запускает octave-watch в связке с роботом, который 
собирает по octave-watch для новых версий уже готовые rpm пакеты.

Т.е. там было - есть новые готовые rpm пакеты - есть новые версии -
нет пакетов -- не было нового. <фильтр> был не нужен.

Далее, если есть интерес, могу написать и обучить пользоваться
роботом для упаковки trac-plugin'ов, 
тогда для сопровождения плагинов, достаточно будет 
время от времени вызывать 
./trac-plugin-updater

(по аналогии с тем, как это уже сделано и работает 
для модулей octave).

Робот будет делать всю механическую работу, и вмешиваться
нужно будет только в очень редких случаях.

P.S. не уверен, насколько правильно привязываться к версиям в setup.py. 
Альтернативно, можно привязываться к svn revisions,
их можно получить через svn list --verbose.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] I: .watch files: master class

[REAL]

11.01.2012 14:15, Igor Vlasenko пишет:
> P.S. не уверен, насколько правильно привязываться к версиям в setup.py.

Это далеко не всегда работает: версия может быть не в самом setup.py, 
а где-нибудь в другом месте, и не обязательно в, например, 
%oname/__init__.py

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] I: .watch files: master class

[Igor Vlasenko]

On Wed, Jan 11, 2012 at 03:16:09PM +0600, REAL wrote:
> 11.01.2012 14:15, Igor Vlasenko пишет:
> >P.S. не уверен, насколько правильно привязываться к версиям в setup.py.
> 
> Это далеко не всегда работает: версия может быть не в самом
> setup.py, а где-нибудь в другом месте, и не обязательно в, например,
> %oname/__init__.py

Я понимаю. Поэтому, IMHO, я бы вообще не привязывалcя 
к таким версиям, а вместо версий использовал бы svn коммиты.

Поскольку так как у них сделано, бранчей, тегов, стабильных
нестабильных ветвей у них нет, и ничего не мешает выкладывать 
разные svn ревизии под одной версией, кроме совести автора плагина,



-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] I: .watch files: master class

[Igor Vlasenko]

On Wed, Jan 11, 2012 at 10:24:59AM +0200, Igor Vlasenko wrote:
> On Wed, Jan 11, 2012 at 03:16:09PM +0600, REAL wrote:
> > 11.01.2012 14:15, Igor Vlasenko пишет:
> > >P.S. не уверен, насколько правильно привязываться к версиям в setup.py.
> > 
> > Это далеко не всегда работает: версия может быть не в самом
> > setup.py, а где-нибудь в другом месте, и не обязательно в, например,
> > %oname/__init__.py
> 
> Я понимаю. Поэтому, IMHO, я бы вообще не привязывалcя 
> к таким версиям, а вместо версий использовал бы svn коммиты.
> 
> Поскольку так как у них сделано, бранчей, тегов, стабильных
> нестабильных ветвей у них нет, и ничего не мешает выкладывать 
> разные svn ревизии под одной версией, кроме совести автора плагина,

т.е. нет никакого механизма предотвратить ситуацию, 
что автор закоммитил версию 1.2, нашел critical bug,
закоммитил исправление, а версия осталась прежней 
и watch не отреагировал.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] I: .watch files: master class

[REAL]

11.01.2012 14:29, Igor Vlasenko пишет:
> т.е. нет никакого механизма предотвратить ситуацию,
> что автор закоммитил версию 1.2, нашел critical bug,
> закоммитил исправление, а версия осталась прежней

Да, такое довольно часто случается. Но реагировать на каждый новый 
коммит - не слишком ли? А то есть апстримы, которые чуть ли не по 
нескольку раз в день коммиты делают.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] I: .watch files: master class

[Igor Vlasenko]

On Wed, Jan 11, 2012 at 03:30:13PM +0600, REAL wrote:
> >закоммитил исправление, а версия осталась прежней
> Да, такое довольно часто случается. Но реагировать на каждый новый
> коммит - не слишком ли? А то есть апстримы, которые чуть ли не по
> нескольку раз в день коммиты делают.

Так никто ж не заставляет реагировать :)

Можно написать скрипт trac-plugin-watch 
и годами не заглядывать в его вывод.

Пример с тем же роботом для octave.
Павел его запускает руками с той периодичностью,
с которой ему удобно. Например, раз в месяц.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine