Re: [devel] Пересечения пакетов по файлам

Re: [devel] Пересечения пакетов по файлам

[DJ-Andrey-sXe]

On Thu, 19 Jan 2012 04:44:41 +0400, "Dmitry V. Levin" <ldv@altlinux.org> wrote:

> У нас очень много пакетов, которые конфликтуют по файлам,
> но не содержат соответствующих тэгов Conflicts
> ...
> Не знаю, что с этим делать.

Идея написать скрипт:

Последовательно бежим по списку пакетов Сизифа
{
        1. Получили список файлов пакета

        2. запихнули пути в map: files[path] = package_name
        предварительно проверяя, нет ли уже пути в map
        Если путь уже есть
        (то есть путь в другом пакете уже был aka конфликт),
        складываем в массив conflicts набор:
                a) путь
                b) има пакета из files по path
                c) имя пакета, который обходим сейчас
}

По окончанию выплёвываем содержимое массива conflicts.

Как оно будет с большим репозиторием, я не представляю,
но что-то подсказывает, что по ходу тестирования
может понадобится набрать список исключений.

Дальше это дело можно в крон.

А если задуматься дальше, когда тулза станет работать железно
и переживёт штук 10 запусков, размазанных по, скажем, месяцу;
майнтейнеру, чей пакет моложе, можно автоматом мыло слать о конфликте.

-- 
С уважением, DJ-Andrey-sXe
www.dj-andrey.ru | www.tltcomp.ru | www.spcms.ru
Jabber: djandreysxe@ya.ru

Re: [devel] Пересечения пакетов по файлам

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1624 bytes --]

On Thu, Jan 19, 2012 at 12:33:57PM +0400, DJ-Andrey-sXe wrote:
> On Thu, 19 Jan 2012 04:44:41 +0400, Dmitry V. Levin wrote:
> 
> > У нас очень много пакетов, которые конфликтуют по файлам,
> > но не содержат соответствующих тэгов Conflicts
> > ...
> > http://repocop.altlinux.org/pub/repocop/reports/txt/by-test/rpm-filesystem-conflict-file-file.txt
> > http://repocop.altlinux.org/pub/repocop/reports/txt/by-test/rpm-filesystem-conflict-symlink-symlink.txt    
> > http://repocop.altlinux.org/pub/repocop/reports/txt/by-test/rpm-filesystem-conflict-symlink-file.txt
> > http://repocop.altlinux.org/pub/repocop/reports/txt/by-test/rpm-filesystem-conflict-dir-dir.txt
> > Не знаю, что с этим делать.
> 
> Идея написать скрипт:
[...]
> По окончанию выплёвываем содержимое массива conflicts.
> 
> Как оно будет с большим репозиторием, я не представляю,
> но что-то подсказывает, что по ходу тестирования
> может понадобится набрать список исключений.
> 
> Дальше это дело можно в крон.

Вы не поняли, задача не в том, чтобы написать скрипт и поставить его
запуск на крон.  Это уже есть и называется оно repocop.  Выявленных
пакетов очень много, и не понятно, что теперь с этим делать.  Если бы
таких необъявленных конфликтов не было, то можно было бы предотвратить их
появление на стадии обработки задания.

> А если задуматься дальше, когда тулза станет работать железно
> и переживёт штук 10 запусков, размазанных по, скажем, месяцу;
> майнтейнеру, чей пакет моложе, можно автоматом мыло слать о конфликте.

Что значит "чей пакет моложе"?  Вы еще скажите "чей конфликт моложе"?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Пересечения пакетов по файлам

[Michael Shigorin]

On Thu, Jan 19, 2012 at 02:20:53PM +0400, Dmitry V. Levin wrote:
> Выявленных пакетов очень много, и непонятно,
> что теперь с этим делать.

Доводить (как warning) и разгребать потихоньку...
что годами копилось, то за день не сделаешь.

> > майнтейнеру, чей пакет моложе, можно автоматом мыло слать о
> > конфликте.
> Что значит "чей пакет моложе"?

Понял как "чей пакет вносит новый конфликт либо заливается,
не решив существующий".

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Пересечения пакетов по файлам

[DJ-Andrey-sXe]

Здравствуйте.

> On Thu, Jan 19, 2012 at 02:20:53PM +0400, Dmitry V. Levin wrote:

ldv:
>> Что значит "чей пакет моложе"?

mike:
> Понял как "чей пакет вносит новый конфликт либо заливается,
> не решив существующий".

Это и имел в виду.
Чей пакет свежее, тому и отвечать за конфликт.

ldv:
>> Выявленных пакетов очень много, и непонятно,
>> что теперь с этим делать.

> Это уже есть и называется оно repocop.

Ок. Вот его выхлоп и распарсить, размылить.
Или прямо сам инструмент и научить такому.
Пусть из крона задалбывает майнтейренов, пока не починят.

> Если бы таких необъявленных конфликтов не было,
> то можно было бы предотвратить их появление
> на стадии обработки задания.

А что если к repocop-у добавить новый режим проверки:
игнорировать существующие в репо конфликты,
а учитывать только конфликты, вносимые данным пакетом?

Тогда это будет подходить как этап в сборочницу.
Причём этап, способный сделать сборке FAILED,
конфликты всё-таки только свои, FAILED вполне можно.

Таким образом майнтейнеры конфликтующих пакетов уведомляются,
а майнтейнеры, решающие отправить пакет в Сизиф,
более не могут сделать это, не починив конфликт.

Все охвачены, если не напутал.

P. s.
Мысли скорее just for fun:
Сейчас мне скажут, что к письмам от робота
легко привыкается и легко игнорится,
ну, так сразу и ставить ldv@ отправителем для надёжности.
А после N-го предупреждения на "доску позора", доступную по web.

-- 
С уважением, DJ-Andrey-sXe
www.dj-andrey.ru | www.tltcomp.ru | www.spcms.ru
Jabber: djandreysxe@ya.ru

Re: [devel] Пересечения пакетов по файлам

[Michael Shigorin]

On Thu, Jan 19, 2012 at 07:57:16PM +0400, DJ-Andrey-sXe wrote:
> Пусть из крона задалбывает майнтейренов, пока не починят.

"Если вы будете писать нам cron'ом,
мы будем читать вас procmail'ом" (ц)

Задача-то не людей задолбать, а проблемы порешать.

> А что если к repocop-у добавить новый режим проверки:
> игнорировать существующие в репо конфликты,
> а учитывать только конфликты, вносимые данным пакетом?

http://lists.altlinux.org/pipermail/sisyphus-cybertalk/2011-August/079701.html

> Тогда это будет подходить как этап в сборочницу.
> Причём этап, способный сделать сборке FAILED,
> конфликты всё-таки только свои, FAILED вполне можно.

Лучше бы warning на пару месяцев по крайней мере по NOT FIXED.

> Мысли скорее just for fun:
> Сейчас мне скажут, что к письмам от робота
> легко привыкается и легко игнорится,
> ну, так сразу и ставить ldv@ отправителем для надёжности.
> А после N-го предупреждения на "доску позора", доступную по web.

Как бы это пояснить...

В проектах разработки фрисофта люди участвуют по разным причинам,
но мазохисты всё же встречаются нечасто.

То есть вопрос не в досках позоров, а в том, как бы удобнее
сделать _весь_ процесс достижения желаемого результата:
установка дистрибутива, отправка багрепорта, поправка проблемы
своими силами, вступление в команду, работа в группе с людьми
и отслеживание имеющихся и образовывающихся проблем.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Пересечения пакетов по файлам

[Igor Vlasenko]

On Thu, Jan 19, 2012 at 07:03:03PM +0200, Michael Shigorin wrote:
> On Thu, Jan 19, 2012 at 07:57:16PM +0400, DJ-Andrey-sXe wrote:
> > Пусть из крона задалбывает майнтейренов, пока не починят.
> "Если вы будете писать нам cron'ом,
> мы будем читать вас procmail'ом" (ц)
> Задача-то не людей задолбать, а проблемы порешать.

от ож.
 
> > ну, так сразу и ставить ldv@ отправителем для надёжности.
> > А после N-го предупреждения на "доску позора", доступную по web.

Поймите, Дима тоже не всесилен. Вот пример из жизни:
Дмитрий (ldv@) добавил в sisyphus_check новые проверки для rpath.
нуждались в исправлении менее 100 пакетов.
более 30% этих пакетов были исправлены в первые две недели,
затем темп исправления резко упал, уже три недели пакеты практически не
чинятся (несмотря на то, что не собираются, т.е. даже под угрозой расстрела).

Т.е. как видим, насилие дает ограниченные результаты.
Однако, из сложившейся ситуации есть много выходов.
Один из них - встроить починку rpath для тривиальных случаев 
вроде /usr/lib64 прямо в rpm-build.

Второй - вмешательство qa@. Т.е. я потерплю еще месяц,
и когда станет очевидно, что пакеты починены не будут,
возьму и сделаю на них NMU роботом (пугаю заранее,
кто и через месяц не починит - я не виноват :)

В случае конфликтов, там надо думать и разбирать. Т.е. автоматизация
не прокатит. Остается второй путь - вмешательство qa@.

Андрей, было бы идеально, если бы вы вступили в qa@
и разрулили бы, используя полученный супердоступ, 
хотя бы часть конфликтов по файлам в Сизифе.

Я, как член qa-team, по хорошем сам должен был бы такой
набег давно сделать, но из-за других работ руки уже давно не доходят :(

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Пересечения пакетов по файлам

[REAL]

20.01.2012 04:06, Igor Vlasenko пишет:
> Второй - вмешательство qa@. Т.е. я потерплю еще месяц,
> и когда станет очевидно, что пакеты починены не будут,

Я тоже скоро (дней через 20) подтянусь, если ещё останется, что чинить :)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Пересечения пакетов по файлам

[DJ-Andrey-sXe]

dja:
>> Пусть из крона задалбывает майнтейренов

mike:
> Задача-то не людей задолбать, а проблемы порешать.

Разумеется. Задалбывание предлагалось, чтобы покрыть случаю,
если майнтейнер откладывал починку и забыл / не успел.
А тут спустя время оп и напоминание.
100%-ной эффективности, конечно, так не добиться.

Я так понял, всё свелось к двум вариантам:

1) Починит сам майнтейнер.
2) Починит кто-нибудь за майнтейнера.

По пункту 1: если крон не айс, то как вариант развесить баги.
Всё-таки пути в пакета совпадают (весьма суровые грабли),
чем не баг? И опять же уведомление случится мылом.

А что ещё делать, кроме как уведомлять?
Не ловить же каждого онлайн в IM, по телефону, или ещё как,
чтобы спросить прямо: что мешает, когда уже?

По пункту 2: если уж надвигается nmu, то идея:
объявить следом антиконфликтовый субботник.

-- 
С уважением, DJ-Andrey-sXe
www.dj-andrey.ru | www.tltcomp.ru | www.spcms.ru
Jabber: djandreysxe@ya.ru

Re: [devel] Пересечения пакетов по файлам

[Michael Shigorin]

On Fri, Jan 20, 2012 at 09:38:31PM +0400, DJ-Andrey-sXe wrote:
> По пункту 2: если уж надвигается nmu, то идея:
> объявить следом антиконфликтовый субботник.

Как вариант (только эта суббота уж и прошла,
а на следующей будет конференция в Переславле).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/