[sisyphus] Скачать .spec'и всего сизифа

[sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

Привет, коллеги!

Я разрабатываю штуку которая сравнивает версии пакетов в куче
репозиториев: http://repology.org. Предполагается, что она будет
полезна мантейнерам чтобы быстрее узнать о новых версиях своих
пакетов и проще находить коллег, поддерживающих то же самое в
других репозиториях, авторам софта чтобы следить за актуальностью
пакетов, пользователям чтобы смотреть где новее софт и т.д. Сейчас
поддерживает FreeBSD, Debian (unstable), Gentoo, NetBSD (pkgsrc),
OpenBSD и Arch Linux (не AUR).

Хотел добавить туда и сизифа, но для этого мне нужно иметь возможность
регулярно качать либо всю метаинформацию о пакетах, либо все .spec
файлы. Простого способа не нашёл - каждый пакет в отдельном .git
репозитории, парсить сайт не хочется.

Собственно, нет ли либо метаданных обо всех пакетах в переваренном
виде (типа csv) или всех .spec'ов одной пачкой (парсить их я умею)?
Минимум нужно Name/Version, желательно Packager, на будущее -
Summary/License/Url/Group и наверное вообще всё что есть в спеке.

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Michael Shigorin]

On Tue, Oct 04, 2016 at 08:08:16PM +0300, Dmitry Marakasov wrote:
> Я разрабатываю штуку, которая сравнивает версии пакетов в куче
> репозиториев: http://repology.org. Предполагается, что она будет
> полезна мантейнерам, чтобы быстрее узнать о новых версиях своих
> пакетов и проще находить коллег, поддерживающих то же самое в
> других репозиториях, авторам софта, чтобы следить за актуальностью
> пакетов, пользователям, чтобы смотреть, где новее софт, и т.д.
> Сейчас поддерживает FreeBSD, Debian (unstable), Gentoo, NetBSD
> (pkgsrc), OpenBSD и Arch Linux (не AUR).

Кстати, знаете про http://pkgs.org, http://packages.altlinux.org
и http://www.altlinux.org/Packaging_Automation/DistroMap?

> Хотел добавить туда и сизифа, но для этого мне нужно иметь возможность
> регулярно качать либо всю метаинформацию о пакетах, либо все .spec
> файлы. Простого способа не нашёл - каждый пакет в отдельном .git
> репозитории, парсить сайт не хочется.

Можно зеркалировать раз в сутки "выжимку" метаданных и разбирать их:
http://ftp.altlinux.org/pub/distributions/ALTLinux/Sisyphus/noarch/base/srclist.classic.xz
http://ftp.altlinux.org/pub/distributions/ALTLinux/Sisyphus/x86_64/base/srclist.classic.xz
...при помощи утилиты pkglist-query из нашего пакета apt-repo-tools
(для сборки понадобится librpm -- предполагаю по списку ОС, что
на используемой Вами получить эту библиотеку вполне реально).

Если нужны именно спеки -- как вариант, см.:
https://packages.altlinux.org/ru/Sisyphus/srpms/ИМЯ/rawspec
http://petstore.swagger.io/?url=https://packages.altlinux.org/api/docs

> Собственно, нет ли либо метаданных обо всех пакетах в переваренном
> виде (типа csv) или всех .spec'ов одной пачкой (парсить их я умею)?
> Минимум нужно Name/Version, желательно Packager, на будущее -
> Summary/License/Url/Group и наверное вообще всё что есть в спеке.

Возможно, будет эффективней объединить усилия с уже существующими
проектами.  Не знаю, как именно реализованы эвристики по приведению
имён пакетов на http://distrowatch.com, но там они тоже есть
(правда, Ладислав последние годы почти не отзывается).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

* Michael Shigorin (mike@altlinux.org) wrote:

> > Я разрабатываю штуку, которая сравнивает версии пакетов в куче
> > репозиториев: http://repology.org. Предполагается, что она будет
> > полезна мантейнерам, чтобы быстрее узнать о новых версиях своих
> > пакетов и проще находить коллег, поддерживающих то же самое в
> > других репозиториях, авторам софта, чтобы следить за актуальностью
> > пакетов, пользователям, чтобы смотреть, где новее софт, и т.д.
> > Сейчас поддерживает FreeBSD, Debian (unstable), Gentoo, NetBSD
> > (pkgsrc), OpenBSD и Arch Linux (не AUR).
> 
> Кстати, знаете про http://pkgs.org

Не знал, но это судя по всему поиск по бинарным пакетам, а это не
то - в них есть не вся нужная информация с одной стороны, а с другой
мешаются архитектуры и разбивка source пакетов на части (библиотеки на
пакет с сошками и -devel пакет с заголовками и статическими
библиотеками, например). И сравнения версий нет, в чём главный поинт
repology.

> http://packages.altlinux.org

Это же просто список пакетов в сизифе?

> и http://www.altlinux.org/Packaging_Automation/DistroMap?

Это интересно, но мало.

> > Хотел добавить туда и сизифа, но для этого мне нужно иметь возможность
> > регулярно качать либо всю метаинформацию о пакетах, либо все .spec
> > файлы. Простого способа не нашёл - каждый пакет в отдельном .git
> > репозитории, парсить сайт не хочется.
> 
> Можно зеркалировать раз в сутки "выжимку" метаданных и разбирать их:
> http://ftp.altlinux.org/pub/distributions/ALTLinux/Sisyphus/noarch/base/srclist.classic.xz
> http://ftp.altlinux.org/pub/distributions/ALTLinux/Sisyphus/x86_64/base/srclist.classic.xz
> ...при помощи утилиты pkglist-query из нашего пакета apt-repo-tools
> (для сборки понадобится librpm -- предполагаю по списку ОС, что
> на используемой Вами получить эту библиотеку вполне реально).

Спасибо, вот это то что нужно.

Можно только глупый вопрос, есть какие-то структурные отличия этих
выжимок от спек? Те же разбивки пакетов на части, например или добавления
суффиксов к названиям? Например, libxml2 есть и в x86_64 и noarch, это
оно? Разбивка не так страшна, главное чтобы названия не менялись.

И ещё вопрос, формат файлов позволяет слить оба списка после декомпрессии
в один файл (cat srclist.classic.noarch srclist.classic.x86_64 > srclist.merged)?

> Если нужны именно спеки -- как вариант, см.:
> https://packages.altlinux.org/ru/Sisyphus/srpms/ИМЯ/rawspec
> http://petstore.swagger.io/?url=https://packages.altlinux.org/api/docs

Да, но, во-первых, нужен список всех имён (html парсить неохота, а API я
никакого не нашёл), во-вторых, это долго (каждый день качать 20k файлов).

> > Собственно, нет ли либо метаданных обо всех пакетах в переваренном
> > виде (типа csv) или всех .spec'ов одной пачкой (парсить их я умею)?
> > Минимум нужно Name/Version, желательно Packager, на будущее -
> > Summary/License/Url/Group и наверное вообще всё что есть в спеке.
> 
> Возможно, будет эффективней объединить усилия с уже существующими
> проектами.

Я таких пока не знаю. Есть поисковики пакетов, есть сравнивалки
версий с с парой репозиториев (у NixOS, например), у многих
дистрибутивов есть штуки которые ищут обновления апстрима (новые
тэги в VCS, новые тарболлы с исходниками), но чтобы всё в одном
месте, не привязанно ни к одному дистрибутиву - такого я не видел.

> Не знаю, как именно реализованы эвристики по приведению
> имён пакетов на http://distrowatch.com, но там они тоже есть
> (правда, Ладислав последние годы почти не отзывается).

Там фиксированный набор из двух сотен пакетов, это тоже не то.

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

* Dmitry Marakasov (amdmi3@amdmi3.ru) wrote:

> Спасибо, вот это то что нужно.

Сделал, посмотреть можно на http://test.repology.org. На основной
сайт поедет после добавления пачки правил.

> И ещё вопрос, формат файлов позволяет слить оба списка после декомпрессии
> в один файл (cat srclist.classic.noarch srclist.classic.x86_64 > srclist.merged)?

Оказалось что да.

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Igor Zubkov]

2016-10-05 0:14 GMT+03:00 Dmitry Marakasov:
> * Dmitry Marakasov (amdmi3@amdmi3.ru) wrote:
>
>> Спасибо, вот это то что нужно.
>
> Сделал, посмотреть можно на http://test.repology.org. На основной
> сайт поедет после добавления пачки правил.

Igor Vlasenko (ALT Linux Sisyphus) <viy@altlinux.org> (188)
Igor Vlasenko <viy@altlinux.org> (58)
Igor Vlasenko <viy@altlinux.ru> (3434)
Igor Yu. Vlasenko <viy@altlinux.org> (87)

Igor Zubkov <icesik@altlinux.org> (106)
Igor Zubkov <icesik@altlinux.ru> (6)

Во первых, тут не учитывается что altlinux.org и altlinux.ru это
алиасы. А во вторых, я больше не поддерживаю те пакеты. Кто и какие
пакеты поддерживает, надо брать из
http://git.altlinux.org/acl/list.packages.sisyphus (для Сизифа).

И чем вам не понравилось взять всю эту информацию из API на
packages.altlinux.org?

P.S.: И закройте от ботов test.repology.org для индексирования.

-- 
Igor Zubkov
http://hi.im/ice

Re: [sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

* Igor Zubkov (igor.zubkov@gmail.com) wrote:

> >> Спасибо, вот это то что нужно.
> >
> > Сделал, посмотреть можно на http://test.repology.org. На основной
> > сайт поедет после добавления пачки правил.
> 
> Igor Vlasenko (ALT Linux Sisyphus) <viy@altlinux.org> (188)
> Igor Vlasenko <viy@altlinux.org> (58)
> Igor Vlasenko <viy@altlinux.ru> (3434)
> Igor Yu. Vlasenko <viy@altlinux.org> (87)
> 
> Igor Zubkov <icesik@altlinux.org> (106)
> Igor Zubkov <icesik@altlinux.ru> (6)
> 
> Во первых, тут не учитывается что altlinux.org и altlinux.ru это
> алиасы.

Я не знаю как это учитывать глобально, ещё и базу алиасов мне
поддерживать не хочется. Склеивание одинаковых e-mail сделаю рано
или поздно, вернее просто учёт только e-mail, потому что с именами
это парсить надёжно не получится.

> А во вторых, я больше не поддерживаю те пакеты. Кто и какие
> пакеты поддерживает, надо брать из
> http://git.altlinux.org/acl/list.packages.sisyphus (для Сизифа).

На данном этапе я не хочу тратить силы на такие тонкости. Если
информация о maintainer'ах в пакетах неактуальна, лучше пока вообще
не брать её для sisyphus. Все maintainer'ы сизифа исчезнут с сайта,
соответственно. Если частично актуальна, лучше оставить как есть,
лишние мантейнеры особо никому не мешают и ни к чему не обязывают.

> И чем вам не понравилось взять всю эту информацию из API на
> packages.altlinux.org?

Я уже писал, это долго и неудобно - выкачивать 20000 файлов каждый
день. Потом, нет списка пакетов по которому это можно было бы делать.

> P.S.: И закройте от ботов test.repology.org для индексирования.

Зачем? Пусть будет, с ним проблема только в том что им менее удобно
пользоваться - в недавно добавленных репозиториях не все пакеты
склеены.

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Michael Shigorin]

(осторожно, длинномерное письмо)


On Tue, Oct 04, 2016 at 09:53:32PM +0300, Dmitry Marakasov wrote:
> > Кстати, знаете про http://pkgs.org
> Не знал, но это [...]

К тому, что может иметь смысл ссылки друг на дружку проставить,
а то и дружить в части обмена метаданными, чтоб не делать одну
работу N раз.

> > http://packages.altlinux.org
> Это же просто список пакетов в сизифе?

Несколько больше. :)

> > и http://www.altlinux.org/Packaging_Automation/DistroMap?
> Это интересно, но мало.

Это про крайне важное: сопоставимость по именам.

> Можно только глупый вопрос, есть какие-то структурные отличия
> этих выжимок от спек?

Спросите glebfm@.

> Те же разбивки пакетов на части, например или добавления
> суффиксов к названиям? Например, libxml2 есть и в x86_64
> и noarch, это оно? Разбивка не так страшна, главное чтобы
> названия не менялись.

Видимо, это следствие наличия субпакетов данного пакета
и в архитектурно зависимой, и в архитектурнонезависимой частях 
репозитория -- см. тж. (по словам %package и BuildArch):
https://packages.altlinux.org/ru/Sisyphus/srpms/libxml2/spec

> Да, но, во-первых, нужен список всех имён (html парсить
> неохота, а API я никакого не нашёл), во-вторых, это долго
> (каждый день качать 20k файлов).

Вот из этих соображений и предложил связаться с коллегами:

> > Возможно, будет эффективней объединить усилия с уже
> > существующими проектами.
> Я таких пока не знаю. Есть поисковики пакетов, есть сравнивалки
> версий с с парой репозиториев (у NixOS, например), у многих
> дистрибутивов есть штуки которые ищут обновления апстрима
> (новые тэги в VCS, новые тарболлы с исходниками), но чтобы всё
> в одном месте, не привязанно ни к одному дистрибутиву - такого
> я не видел.

Дело в том, что тематика отчасти перекликается с новостными
сайтами -- лет пятнадцать тому многие считали делом чести
завести себе такой и с полгода-год трудиться над обновлением
ленты, а затем забрасывали; мы в своё время предприняли попытку
к объединению сил в рамках тогдашнего linux.kiev.ua, отчасти
она удалась, но по ряду причин сошла на нет ещё до 2014:
http://web.archive.org/web/20121203155846/http://www.linux.kiev.ua/ru/devel/hosting/web/

Здесь ситуация отличается тем, что основное содержимое поставляют
роботы и основные усилия сводятся к их созданию и поддержке, но и
эта деятельность требует как минимум одноразовых (на проект),
обычно также и периодических (раз в полгода-год или более) усилий
по учёту текущей ситуации.

При этом, как совершенно справедливо указываете, есть общая часть,
без которой подобные ресурсы широкой аудитории неинтересны, а есть
"плюшки", ради которых и стоит заморачиваться.  Так вот есть риск,
что "пар" уйдёт в базовую часть и до плюшек дело не дойдёт или
вовсе, или по большей части -- чего не хотелось бы.

Решать Вам, разумеется, но хотелось бы предупредить об уже
знакомых граблях схожего плана...

> > Не знаю, как именно реализованы эвристики по приведению
> > имён пакетов на http://distrowatch.com, но там они тоже есть
> > (правда, Ладислав последние годы почти не отзывается).
> Там фиксированный набор из двух сотен пакетов, это тоже не то.

Кстати, на главной странице мне был бы интересней примерно такой
"общий" набор, а не рыхлое начало списка по алфавиту.  Потому что
он как раз позволяет окинуть взглядом текущее состояние "ядра"
репозиториев: http://test.repology.org/widespread/widespread.0.html


On Wed, Oct 05, 2016 at 12:14:36AM +0300, Dmitry Marakasov wrote:
> > Спасибо, вот это то что нужно.
> Сделал, посмотреть можно на http://test.repology.org. На основной
> сайт поедет после добавления пачки правил.

Шустро Вы :)  Хорошо бы только подписывать "ALT Sisyphus"
(и, видимо, "Fedora Rawhide" и что там про фрю).


On Wed, Oct 05, 2016 at 12:23:45PM +0300, Igor Zubkov wrote:
> Igor Vlasenko (ALT Linux Sisyphus) <viy/altlinux.org> (188)
> Igor Vlasenko <viy/altlinux.org> (58)
> Igor Vlasenko <viy/altlinux.ru> (3434)
> Igor Yu. Vlasenko <viy/altlinux.org> (87)
> 
> Igor Zubkov <icesik/altlinux.org> (106)
> Igor Zubkov <icesik/altlinux.ru> (6)
> 
> Во первых, тут не учитывается что altlinux.org и altlinux.ru
> это алиасы.

Ещё altlinux.com (rider@ им порой пользуется).
Возможно, и у других проектов есть схожий момент.

> А во вторых, я больше не поддерживаю те пакеты.

Выпишись из ACL.

> P.S.: И закройте от ботов test.repology.org для индексирования.

Как если бы они были столь вежливы...

Есть предложение заменять "@" на "/" хотя бы.
И, возможно, сделать возможность сортировки по домену/проекту.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

* Michael Shigorin (mike@altlinux.org) wrote:

> > > Кстати, знаете про http://pkgs.org
> > Не знал, но это [...]
> 
> К тому, что может иметь смысл ссылки друг на дружку проставить,
> а то и дружить в части обмена метаданными, чтоб не делать одну
> работу N раз.

Ссылки это запросто, у меня скопилась уже после предметного
исследования приличная коллекция. Обмен - это тоже хорошо, но тут
предметно надо общаться, а не просто "давайте обмениваться потому
что можем".

Мне нужна метаинформация о пакетах наиболее приближенная к исходникам
пакетов и апстриму.
- Название. Без приписок типа версии so'шки, -devel/-dbg, по
  возможности без разделения на подпакеты, по возможности без
  дублирования для разных архитектур
- Версия. Как у апстрима, без приписок типа ревизии или эпохи пакета.
- Maintainer. В широком смысле. Пока используется так что maintainer
  может посмотреть список только своих пакетов
- Однострочное описание. Пока не используется, в будущем будет
  использоваться для поиска и показываться на странице пакета для
  сравнения. По себе знаю, что при опакечивании какого-нибудь приложения
  не всегда есть откуда взять адекватное Summary, поэтому полезно
  подглядеть в другие дистры.
- Категория. Знаю что они очень разные у разных дистрибутивов, включая
  крупные в *BSD, более мелкие в gentoo, иерархические в некоторых RPM и
  набор тэгов в, например, Chocolatey, но в будущем оно будет маппиться
  в набор topic'ов что позволит более удобно фильтровать список пакетов.
- Домашняя страница. Просто чтобы иметь ссылку на апстрим, также
  находить устаревие ссылки.
- В будущем, любая другая информация, полезная при опакечивании,
  пользователям и авторам софта.

От бинарных пакетов я, вообще, стараюсь держаться подальше потому что
они, как правило, не удовлетворяют требованиям по дубликатам, припискам, и
в них отсутствует часть информации.

Я же могу отдавать в любом виде переваренные данные.

> > > http://packages.altlinux.org
> > Это же просто список пакетов в сизифе?
> 
> Несколько больше. :)

Ну в смысле список + метаинформация. Примерно то же самое что и у любой
другой репы.

> > > и http://www.altlinux.org/Packaging_Automation/DistroMap?
> > Это интересно, но мало.
> 
> Это про крайне важное: сопоставимость по именам.

А что конкретно там по сопоставимости? Я вижу только небольшой список замен A->B.

https://github.com/vitlav/etersoft-build-utils/tree/master/share/eterbuild/pkgrepl

Оттуда можно, конечно, взять кое-что, но на деле их нужно на порядок
больше и без более продвинутых правил (регулярки, замены, учёт
версий, склейка) особо никуда.

> > Я таких пока не знаю. Есть поисковики пакетов, есть сравнивалки
> > версий с с парой репозиториев (у NixOS, например), у многих
> > дистрибутивов есть штуки которые ищут обновления апстрима
> > (новые тэги в VCS, новые тарболлы с исходниками), но чтобы всё
> > в одном месте, не привязанно ни к одному дистрибутиву - такого
> > я не видел.
> 
> Дело в том, что тематика отчасти перекликается с новостными
> сайтами -- лет пятнадцать тому многие считали делом чести
> завести себе такой и с полгода-год трудиться над обновлением
> ленты, а затем забрасывали; мы в своё время предприняли попытку
> к объединению сил в рамках тогдашнего linux.kiev.ua, отчасти
> она удалась, но по ряду причин сошла на нет ещё до 2014:
> http://web.archive.org/web/20121203155846/http://www.linux.kiev.ua/ru/devel/hosting/web/
> 
> Здесь ситуация отличается тем, что основное содержимое поставляют
> роботы и основные усилия сводятся к их созданию и поддержке, но и
> эта деятельность требует как минимум одноразовых (на проект),
> обычно также и периодических (раз в полгода-год или более) усилий
> по учёту текущей ситуации.
>
> При этом, как совершенно справедливо указываете, есть общая часть,
> без которой подобные ресурсы широкой аудитории неинтересны, а есть
> "плюшки", ради которых и стоит заморачиваться.  Так вот есть риск,
> что "пар" уйдёт в базовую часть и до плюшек дело не дойдёт или
> вовсе, или по большей части -- чего не хотелось бы.
>
> Решать Вам, разумеется, но хотелось бы предупредить об уже
> знакомых граблях схожего плана...

Я, честно говоря, не особо понял какой вывод из этих мыслей должен
следовать.

> > > Не знаю, как именно реализованы эвристики по приведению
> > > имён пакетов на http://distrowatch.com, но там они тоже есть
> > > (правда, Ладислав последние годы почти не отзывается).
> > Там фиксированный набор из двух сотен пакетов, это тоже не то.
> 
> Кстати, на главной странице мне был бы интересней примерно такой
> "общий" набор, а не рыхлое начало списка по алфавиту.  Потому что
> он как раз позволяет окинуть взглядом текущее состояние "ядра"
> репозиториев: http://test.repology.org/widespread/widespread.0.html

Мне нравится идея, надо будет сделать.

> > > Спасибо, вот это то что нужно.
> > Сделал, посмотреть можно на http://test.repology.org. На основной
> > сайт поедет после добавления пачки правил.
> 
> Шустро Вы :)  Хорошо бы только подписывать "ALT Sisyphus"

Ok.

> (и, видимо, "Fedora Rawhide" и что там про фрю).

Не знаю что такое rawhide - нигде не встречал этого слова. Для
федоры я разбираю спеки, потому что другого варианта не нашёл, и
везде упоминается просто "Fedora packages". Про фрю, вообще "FreeBSD
ports collection", но я не вижу смысла в многословности там где она
не нужна для разрешения неоднозначностей (как в случае Debian'ов, под
капотом там есть stable, unstable и testing, просто нет смысла их все
показывать).

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Michael Shigorin]

On Wed, Oct 05, 2016 at 07:16:15PM +0300, Dmitry Marakasov wrote:
> - Категория. Знаю что они очень разные у разных дистрибутивов, включая
>   крупные в *BSD, более мелкие в gentoo, иерархические в некоторых RPM и
>   набор тэгов в, например, Chocolatey, но в будущем оно будет маппиться
>   в набор topic'ов что позволит более удобно фильтровать список пакетов.

Сложная тема...

> > > > и http://www.altlinux.org/Packaging_Automation/DistroMap?
> > > Это интересно, но мало.
> > Это про крайне важное: сопоставимость по именам.
> А что конкретно там по сопоставимости? Я вижу только небольшой список замен A->B.
> 
> https://github.com/vitlav/etersoft-build-utils/tree/master/share/eterbuild/pkgrepl
> 
> Оттуда можно, конечно, взять кое-что, но на деле их нужно на порядок
> больше и без более продвинутых правил (регулярки, замены, учёт
> версий, склейка) особо никуда.

О, а про эту реализацию даже не знал (хотя мог бы догадаться).

Это как раз тот кусок усилий, который требует более-менее
постоянного внимания и как минимум для меня был бы довольно
неприятен в плане поддержки -- у viy@, кажется, были задумки
насчёт хотя бы частичной автоматизации distromap, но это лучше
его и спросить.

Кстати, все спеки сизифа собираются здесь:
http://repocop.altlinux.org/pub/repocop/data/
(помимо repocop-specfiles-current.tar.gz, есть и другое
потенциально интересное исследователю зависимостей
в репозитории).

> > Так вот есть риск, что "пар" уйдёт в базовую часть и до
> > плюшек дело не дойдёт или вовсе, или по большей части
> Я, честно говоря, не особо понял какой вывод из этих мыслей
> должен следовать.

Про опасность надорваться и забить, когда делаешь лучший в мире
проект с уникальной фичей, которому при этом всё так же нужна
нудная и трудоёмкая базовая часть.  Просто не все об этом знают.

> > (и, видимо, "Fedora Rawhide" и что там про фрю).
> Не знаю что такое rawhide - нигде не встречал этого слова.

Это их unstable.

> Для федоры я разбираю спеки, потому что другого варианта
> не нашёл, и везде упоминается просто "Fedora packages".

Возможно, получится разбирать данные для dnf, но тут не в курсе.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Скачать .spec'и всего сизифа

[Dmitry Marakasov]

* Michael Shigorin (mike@altlinux.org) wrote:

> > А что конкретно там по сопоставимости? Я вижу только небольшой список замен A->B.
> > 
> > https://github.com/vitlav/etersoft-build-utils/tree/master/share/eterbuild/pkgrepl
> > 
> > Оттуда можно, конечно, взять кое-что, но на деле их нужно на порядок
> > больше и без более продвинутых правил (регулярки, замены, учёт
> > версий, склейка) особо никуда.
> 
> О, а про эту реализацию даже не знал (хотя мог бы догадаться).
> 
> Это как раз тот кусок усилий, который требует более-менее
> постоянного внимания и как минимум для меня был бы довольно
> неприятен в плане поддержки -- у viy@, кажется, были задумки
> насчёт хотя бы частичной автоматизации distromap, но это лучше
> его и спросить.
> 
> Кстати, все спеки сизифа собираются здесь:
> http://repocop.altlinux.org/pub/repocop/data/
> (помимо repocop-specfiles-current.tar.gz, есть и другое
> потенциально интересное исследователю зависимостей
> в репозитории).

Спасибо, в будущем это пригодится.

> > > Так вот есть риск, что "пар" уйдёт в базовую часть и до
> > > плюшек дело не дойдёт или вовсе, или по большей части
> > Я, честно говоря, не особо понял какой вывод из этих мыслей
> > должен следовать.
> 
> Про опасность надорваться и забить, когда делаешь лучший в мире
> проект с уникальной фичей, которому при этом всё так же нужна
> нудная и трудоёмкая базовая часть.  Просто не все об этом знают.

Такая опасность есть всегда про неё не нужно знать и думать, её
нужно игнорировать, потому что иначе можно вообще никакие проекты
не начинать.

Потом при чём тут лучший в мире и надорваться? Мне нужна была
сравнивалка версий по куче репозиториев, потому что такой не
существовало, эта задача выполнена. Поддержка - следить чтобы парсинг
не ломался, не является неподъёмной задачей, там по жалкой странице
кода на репозиторий. Остальное, включая правила, исключительно
опционально, если даже ими и не заниматься, хуже не станет.

-- 
Dmitry Marakasov   .   55B5 0596 FF1E 8D84 5F56  9510 D35A 80DD F9D2 F77D
amdmi3@amdmi3.ru  ..:  jabber: amdmi3@jabber.ru      http://amdmi3.ru

Re: [sisyphus] Скачать .spec'и всего сизифа

[Igor Zubkov]

2016-10-04 20:08 GMT+03:00 Dmitry Marakasov:
> Привет, коллеги!
>
> Я разрабатываю штуку которая сравнивает версии пакетов в куче
> репозиториев: http://repology.org. Предполагается, что она будет
> полезна мантейнерам чтобы быстрее узнать о новых версиях своих
> пакетов и проще находить коллег, поддерживающих то же самое в
> других репозиториях, авторам софта чтобы следить за актуальностью
> пакетов, пользователям чтобы смотреть где новее софт и т.д. Сейчас
> поддерживает FreeBSD, Debian (unstable), Gentoo, NetBSD (pkgsrc),
> OpenBSD и Arch Linux (не AUR).
>
> Хотел добавить туда и сизифа, но для этого мне нужно иметь возможность
> регулярно качать либо всю метаинформацию о пакетах, либо все .spec
> файлы. Простого способа не нашёл - каждый пакет в отдельном .git
> репозитории, парсить сайт не хочется.

Ну если хотите парсить сайт, то он выдержит :)

> Собственно, нет ли либо метаданных обо всех пакетах в переваренном
> виде (типа csv) или всех .spec'ов одной пачкой (парсить их я умею)?
> Минимум нужно Name/Version, желательно Packager, на будущее -
> Summary/License/Url/Group и наверное вообще всё что есть в спеке.

Но проще взять API которое есть у прометея (packages.altlinux.org).

Ссылка на API на главной. Это REST API. В принципе, если чего-то не
хватает, можно добавить. Наверно там нет индекса для всех пакетов в
бранче. Зато есть всё для каждого пакета из каждого бранча.

Можно добавить даже webhooks для обновлений. Что бы прометей сам ходил
и говорил что у него есть нового. :)

Исходники прометея https://github.com/biow0lf/prometheus2.0 . Лицензия MIT.

-- 
Igor Zubkov
http://hi.im/ice