[devel] bugs assigned NOT to maintainers

[devel] bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 4267 bytes --]

On Fri, Aug 12, 2005 at 08:57:31PM +0400, Alexey Tourbin wrote:
> On Fri, Aug 12, 2005 at 05:16:12PM +0400, Denis Smirnov wrote:
> > Обнаружил тут одну неприятность в bugzilla -- очень много багов висит на 
> > старых мантейнеров, а новые об этих багах могут узнать только поиском 
> > или заглянув на sisyphus.ru
> 
> Ну.  Делаешь такой дамп:
> https://bugzilla.altlinux.org/buglist.cgi?ctype=csv&columnlist=bug_id,component,assigned_to
> 
> Он выплёвывает:
> bug_id,"component","assigned_to",
> 6006,"xvidcap","aris@altlinux.org",
> 7379,"spamassassin-spamd","force@altlinux.org",
> 7484,"gcc3.4","ldv@altlinux.org",
> 3986,"Form for enter new bug","legion@altlinux.org",
> 1240,"indexhtml","rider@altlinux.org",
> 
> Дальше нужно сравнивать assigned_to по пакетной базе.

Редактором (ну, типа, exmode) делаем из него tab-delimited дамп, который
назовём bugs:

6006    xvidcap aris@altlinux
7379    spamassassin-spamd      force@altlinux
7484    gcc3.4  ldv@altlinux
...

Далее делаем дамп для пакетной базы, который назовём packages:

$ find /raid/ALT/Sisyphus/files/ -type f -name '*.rpm' -print0 |xargs -r0 \
	rpm -qp --qf '%{NAME}\t%{PACKAGER}\n'
AVLTree-devel   AEN <aen@altlinux>
7colors Rider <rider@altlinux>
libmidgard      Sergei Dolmatov <saint@altlinux>
...
$

После обработки редактором остается:
AVLTree-devel   aen@altlinux
7colors rider@altlinux
libmidgard      saint@altlinux

Далее будем делать join этих двух дампов (bugs и packages) по имени
пакета, нужна предварительная сортировка:

$ sort -o bugs -u bugs
$ sort -o bugs -t$'\t' -k2,2 bugs
$ sort -o packages -u packages
$ sort -o packages -t$'\t' -k1,1 packages

Смотрим, что получилось:

$ head bugs
1776    3dwm    nidd@altlinux
1940    3dwm    nidd@altlinux
2226    3dwm    reporter@altlinux
470     3dwm    inger@altlinux
476     3dwm    nidd@altlinux
749     3dwm    nidd@altlinux
785     3dwm    inger@altlinux
130     7colors rider@altlinux
1842    7colors rider@altlinux
7188    855resolution   rider@altlinux
$ head packages
7colors rider@altlinux
855resolution   rider@altlinux
a2ps    andrei@altlinux
a52dec  aris@altlinux
aalib   aris@altlinux
aalib-devel     aris@altlinux
aalib-utils     aris@altlinux
abiword vk@altlinux
abook   sass@altlinux
abuse_sdl       zerg@altlinux
$

Похоже на правду.
Теперь надо проверить, нет ли в списке packages "двойных maintainer'ов".

$ awk -F'\t' 'BEGIN{OFS=FS}(p==$1){print p,m;print}{p=$1;m=$2}' packages >dups
$ head dups
arts    mouse@altlinux
arts    zerg@altlinux
bobtail mouse@altlinux
bobtail rider@altlinux
cdda2wav        lakostis@altlinux
cdda2wav        mouse@altlinux
cdrecord        lakostis@altlinux
cdrecord        mouse@altlinux
cdrtools        lakostis@altlinux
cdrtools        mouse@altlinux
$

Ясно, дупы есть, поскольку пакеты искали также в x86_64. :(
Из дупов убираем mouse'а.

$ awk -F'\t' '$2~/mouse/' dups >mouse
$ grep -Fx -vf mouse packages >packages.new
$ diff -u packages packages.new |head
--- packages    2005-08-12 17:50:32 +0000
+++ packages.new        2005-08-12 17:55:32 +0000
@@ -196,7 +196,6 @@
 arm-palmos-prc-tools   raorn@altlinux
 arpd   ldv@altlinux
 arpwatch       inger@altlinux
-arts   mouse@altlinux
 arts   zerg@altlinux
 asciidoc       abulava@altlinux
 aseqview       aris@altlinux
$ mv packages.new packages

Теперь всё готово для того, чтобы Сделать Join.

# pkg	bugno	assigned to	packager
$ join -t$'\t' -12 -21 bugs packages |awk -F'\t' '$3!=$4' |head
abiword 3019    aen@altlinux    vk@altlinux
abiword 3755    aen@altlinux    vk@altlinux
abiword 3869    aen@altlinux    vk@altlinux
abiword 3880    aen@altlinux    vk@altlinux
acl     1111    reporter@altlinux       ab@altlinux
acpi    4945    oes@altlinux    force@altlinux
acpid   175     reporter@altlinux       wrar@altlinux
acpid   2849    darkstar@altlinux       wrar@altlinux
acpid   2970    darkstar@altlinux       wrar@altlinux
agetty  1058    inger@altlinux  util-linux@packages.altlinux
$

Получилось!  Полный список довольно большой (1900), но это с учетом
адресов @packages.altlinux.

Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
Вопрос: что делать с этим списком?

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1.1: Type: text/plain, Size: 189 bytes --]

On Fri, Aug 12, 2005 at 10:18:36PM +0400, Alexey Tourbin wrote:
> Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> Вопрос: что делать с этим списком?

Вот он.

[-- Attachment #1.2: join.bz2 --]
[-- Type: application/x-bzip2, Size: 11766 bytes --]

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 364 bytes --]

On Fri, Aug 12, 2005 at 10:30:42PM +0400, Alexey Tourbin wrote:
> On Fri, Aug 12, 2005 at 10:18:36PM +0400, Alexey Tourbin wrote:
> > Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> > Вопрос: что делать с этим списком?
> 
> Вот он.

Упс. ;)  В этом списке *все* баги, включая уже закрытые.
Это делает список не очень актуальным.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Denis Smirnov]

On Fri, Aug 12, 2005 at 10:18:36PM +0400, Алексей Турбин wrote:

AT> Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
AT> Вопрос: что делать с этим списком?

1. отсеять все закрытые баги
2. опубликовать этот список, отсортированый по мантейнерам

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
<thresh> внимание, вопрос: как при выключенном мониторе перейти из папки inbox в папку drafts громоптица, используя мышку?
* Pilot . o O (зачем ему монитор? он и без него чатится нормально)
<AMorozov> И, главное, _задает_ вопросы :-)
<thresh> и читаю. я телепат.
<AMorozov> Видимо, снимает сигнал прямо из сетевухи :-)
<Fred^> со свича
<thresh> по морганию диодов

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1153 bytes --]

On Sat, Aug 13, 2005 at 12:53:00AM +0400, Denis Smirnov wrote:
> AT> Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> AT> Вопрос: что делать с этим списком?
> 
> 1. отсеять все закрытые баги
> 2. опубликовать этот список, отсортированый по мантейнерам

Мне тут (весьма некстати) пришла в голову мысль, что неплохо бы иметь
некоторые инструменты для работы с багзиллой.  В частности,

dump_bugs BUGZILLA_URL
grep_bugs AWK_EXPR DUMP

Хочется всё это сделать в стиле UNIX-way, т.е. tab-delimited records,
one line per bug, примерно как сейчас.  Есть tradeoff между полнотой
дампа и размером дампа.  Сейчас дамп в 6 полей занимает примерно 600К.
Если в дамп напихать побольше полей, то их будет очень неудобно
нумеровать.  С другой стороны, к полям не обязательно обращаться по
позиционным аргументам awk, можно на каждой итерации заполнять массив
или даже одноименные переменные (не знаю точно, есть ли в awk "eval";
в крайнем случае можно будет забить на awk и сделать на перле).

Или же не маяться дурью, взять нормальный дамп и запихнуть его в sqlite.
Всё-таки UNIX-way имеет много ощутимых ограничений.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: bugs assigned NOT to maintainers

[Денис Смирнов]

On Sat, Aug 13, 2005 at 01:28:11AM +0400, Алексей Турбин wrote:

AT> Или же не маяться дурью, взять нормальный дамп и запихнуть его в sqlite.
AT> Всё-таки UNIX-way имеет много ощутимых ограничений.

UNIX-way это делать всё просто и эффективно. sqlite это просто и
эффективно.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
<Pilot> слава php-coder'у, слава
 * php-coder удивился еще больше, так тут и его имя тоже знают! 8-D Вот так телепатия, блин))
<php-coder> Pilot, Гы)) Меня Славой как рвз и зовут))
<Pilot> против интуиции не попрёшь
<raorn> php-coder: а фамилия твоя не Кпсс случаем? ;-)
<php-coder> raorn, хм.. кажется ты уже шутил на эту тему в прошлый раз :-/
<raorn> хм...
<raorn> это а прошлом году было, я забыл уже...

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1.1: Type: text/plain, Size: 689 bytes --]

On Sat, Aug 13, 2005 at 12:53:00AM +0400, Denis Smirnov wrote:
> On Fri, Aug 12, 2005 at 10:18:36PM +0400, Алексей Турбин wrote:
> 
> AT> Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> AT> Вопрос: что делать с этим списком?
> 
> 1. отсеять все закрытые баги
> 2. опубликовать этот список, отсортированый по мантейнерам

По каким maintainer'ам сортировать?  Есть старый maintainer и новый
maintainer.  Приложенный список отсортирован так:

# 1     2       3           4        5
# bugno package assigned_to packager description

$ sort -k4,4 -k2,2 -k1,1n result -o result
$ wc -l result
462 result
$ grep -Fvc @packages.altlinux result
260
$

[-- Attachment #1.2: result.bz2 --]
[-- Type: application/x-bzip2, Size: 13319 bytes --]

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1034 bytes --]

On Sat, Aug 13, 2005 at 11:20:21AM +0400, Денис Смирнов wrote:
> AT> Или же не маяться дурью, взять нормальный дамп и запихнуть его в sqlite.
> AT> Всё-таки UNIX-way имеет много ощутимых ограничений.
> 
> UNIX-way это делать всё просто и эффективно. sqlite это просто и
> эффективно.

Просто и эффективно -- это слишком размытый критерий.
Я вот что имел в виду:

 o Everything that can be a source- and destination-independent filter should be one.

 o Data streams should if at all possible be textual (so they can be viewed and filtered with
   standard tools).

 o Database layouts and application protocols should if at all possible be textual
   (human-readable and human-editable).

http://www.faqs.org/docs/artu/ch01s08.html

В данном случае весь дамп багзиллы очень хорошо помещается в текстовый
файл, но с ним не очень удобно работать из-за отсутствия SQL-like
доступа.  Впрочем, awk для фильтрации по предикатам неплохо справляется,
но при большой количестве полей не очень удобно помнить их номера.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: bugs assigned NOT to maintainers

[Денис Смирнов]

On Sun, Aug 14, 2005 at 11:22:44PM +0400, Алексей Турбин wrote:

AT> Просто и эффективно -- это слишком размытый критерий.
AT> Я вот что имел в виду:

[skip]

А я и не спорю :)

sqlite хорош удобной логикой работы с данными. plain text нужен для
обмена.

Замечательно, из stdin импортируем данные, загружаем их во временную базу
sqlite (хоть в памяти, хоть на диске). Потом работает с ней максимально
удобным образом, потом результат выгружаем.

С учётом того что фильтр из входящих данных в INSERT'ы можно написать на
awk полчается очень красивое решение.

Да, временный файл монжо создавать обычными средствами -- sqlite нормально
относится к тому, что пустая база это пустой файл.

AT> В данном случае весь дамп багзиллы очень хорошо помещается в текстовый
AT> файл, но с ним не очень удобно работать из-за отсутствия SQL-like
AT> доступа.  Впрочем, awk для фильтрации по предикатам неплохо справляется,
AT> но при большой количестве полей не очень удобно помнить их номера.

..да и то, что делается одним SQL-запросом тебе приходится на awk делать
долго, нудно и некрасиво.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
> Если вставить в спек пустую секцию %clean, то указанная очистка будет
> происходить?
Да, только, пожалуйста, не делайте этого.
		-- ldv in devel@

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 3382 bytes --]

On Mon, Aug 15, 2005 at 01:00:40AM +0400, Денис Смирнов wrote:
> AT> В данном случае весь дамп багзиллы очень хорошо помещается в текстовый
> AT> файл, но с ним не очень удобно работать из-за отсутствия SQL-like
> AT> доступа.  Впрочем, awk для фильтрации по предикатам неплохо справляется,
> AT> но при большой количестве полей не очень удобно помнить их номера.
> 
> ..да и то, что делается одним SQL-запросом тебе приходится на awk делать
> долго, нудно и некрасиво.

Нет-нет, awk как раз отлично тянет на роль "идеального грепа".

$ cd ~/.qa-robot/bugs
$ awk -F'\t' '$3~/block|major/&&$5=="LATER"' dump.old
116     kernel24-up     major   CLOSED  LATER   broken module i2c-ali15x3
1226    installer       major   CLOSED  LATER   multiple installer bugs and wrong (by idea itself) steps & also other bugs for other packaghes..
146     koffice major   CLOSED  LATER   При печати из KWord шрифты (val/ms ttf) заменяются на helvetica
173     installer       major   CLOSED  LATER   при установке с PCMCIA зависает на Loading second stage...
1921    tetex   major   RESOLVED        LATER   файлы скомпилированные cyrtex показываются неправильно
200     kernel24-up     major   CLOSED  LATER   posix acl\'s don\'t  work
2235    sweep   major   RESOLVED        LATER   empty menu items
2599    rconf-iptables  blocker RESOLVED        LATER   Неверная логика в OWNER_Extension
2671    gpm     major   RESOLVED        LATER   отсутствие ps/2 мыши блокирует клавиатуру
2785    rconf   blocker RESOLVED        LATER   rconfrontend при работе через stunnel получает от него SIGPIPE и завершается
2830    kernel-modules-nvidia-w4l-up    major   CLOSED  LATER   invalid requires up & smp pkgs
3097    Compact-2.3-beta        major   RESOLVED        LATER   Invalid net gateway setting
3141    vim     major   RESOLVED        LATER   error in ukrainian localization
3182    Compact-2.3-beta        blocker RESOLVED        LATER   При инсталляции в текстовом режиме вместо украинского языка в систему поставился французкий...
3317    memtest86       major   RESOLVED        LATER   При установке memtest86 не прописывается соотвествующая секция в меню grub
3528    sound-scripts   major   RESOLVED        LATER   нарушается порядок загрузки модулей
3597    ImageMagick     major   RESOLVED        LATER   ImageMagick - ПОЛНОЕ отсутствие перевода
3813    vnc-server      major   RESOLVED        LATER   FileBufferOverflow
4834    создание разделов       major   RESOLVED        LATER   Инсталлятор учитывает второй диск при том, что было сказано ставиться на первый
486     kudzu   blocker CLOSED  LATER   не грузится SMP ядро
5187    установка загрузчика    major   RESOLVED        LATER   No "make boot disk" stage
5262    python-base     major   RESOLVED        LATER   модуль re: буква ё почему-то не входит в диапазон [а-я]
5526    настройка XFree86       major   RESOLVED        LATER   Неверная настройка видеорежима XFree86 в Master 2.4
5555    gtklp   major   RESOLVED        LATER   Number of Copies value has no effect
82      kernel24-up     major   CLOSED  LATER   Seagate ST36422A does not work except with ide=nodma
$

На SQL _короче_ точно не получится.  Но может получиться понятнее,
если вместь $3 и $5 писать severity и resolution.  Но можно сделать
и обвязку для awk...

Есть ещё DBD::CSV и DBD::AnyData или как их там...

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Denis Smirnov]

Alexey Tourbin wrote:

>>AT> Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
>>AT> Вопрос: что делать с этим списком?
>>
>>1. отсеять все закрытые баги
>>2. опубликовать этот список, отсортированый по мантейнерам
>>    
>>
>
>По каким maintainer'ам сортировать?  Есть старый maintainer и новый
>maintainer.  Приложенный список отсортирован так:
>
># 1     2       3           4        5
># bugno package assigned_to packager description
>
>$ sort -k4,4 -k2,2 -k1,1n result -o result
>$ wc -l result
>462 result
>$ grep -Fvc @packages.altlinux result
>260
>$
>  
>
Разумеется по новым, им же нужно знать о старых багах.

Re: [devel] Re: bugs assigned NOT to maintainers

[Денис Смирнов]

On Mon, Aug 15, 2005 at 03:45:51AM +0400, Алексей Турбин wrote:

AT> На SQL _короче_ точно не получится.  Но может получиться понятнее,
AT> если вместь $3 и $5 писать severity и resolution.  Но можно сделать
AT> и обвязку для awk...

На SQL получается короче там, где ты начинаешь join'ы, например, делать.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
У меня много информации на эту тему, но некогда её материализовать.
		-- ldv in devel@

[devel] Re: bugs assigned NOT to maintainers

[Michael Shigorin]

On Fri, Aug 12, 2005 at 10:37:05PM +0400, Alexey Tourbin wrote:
> > > Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> > > Вопрос: что делать с этим списком?
> > Вот он.
> Упс. ;)  В этом списке *все* баги, включая уже закрытые.
> Это делает список не очень актуальным.

Вот мне тоже подумалось при виде #42. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Re: bugs assigned NOT to maintainers

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 642 bytes --]

On Fri, Aug 12, 2005 at 10:37:05PM +0400, Alexey Tourbin wrote:
> On Fri, Aug 12, 2005 at 10:30:42PM +0400, Alexey Tourbin wrote:
> > On Fri, Aug 12, 2005 at 10:18:36PM +0400, Alexey Tourbin wrote:
> > > Таким образом получен список багов, которые присвоены НЕ maintainer'ам.
> > > Вопрос: что делать с этим списком?
> > 
> > Вот он.
> 
> Упс. ;)  В этом списке *все* баги, включая уже закрытые.
> Это делает список не очень актуальным.

Просьба актуализировать, сверить с files/list.* и перевесить.
Да, нужен автоматизированный корректировщик багрепортов, который будет
переприсваивать их актуальным мантейнерам.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: bugs assigned NOT to maintainers

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 615 bytes --]

On Tue, Aug 16, 2005 at 09:32:12PM +0400, Dmitry V. Levin wrote:
> > Упс. ;)  В этом списке *все* баги, включая уже закрытые.
> > Это делает список не очень актуальным.
> Просьба актуализировать, сверить с files/list.* и перевесить.

Я запостил более актуальный список, но как сверять с files/list.*
и перевешивать я не знаю, это не ко мне (хотя интересно было бы узнать).

> Да, нужен автоматизированный корректировщик багрепортов, который будет
> переприсваивать их актуальным мантейнерам.

Я могу только сделать робота, который время от времени проверяет
соответствие между %packager и assigned_to.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: bugs assigned NOT to maintainers

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 754 bytes --]

On Tue, Aug 16, 2005 at 10:08:48PM +0400, Alexey Tourbin wrote:
> On Tue, Aug 16, 2005 at 09:32:12PM +0400, Dmitry V. Levin wrote:
> > > Упс. ;)  В этом списке *все* баги, включая уже закрытые.
> > > Это делает список не очень актуальным.
> > Просьба актуализировать, сверить с files/list.* и перевесить.
> 
> Я запостил более актуальный список, но как сверять с files/list.*
> и перевешивать я не знаю, это не ко мне (хотя интересно было бы узнать).

legion@?

> > Да, нужен автоматизированный корректировщик багрепортов, который будет
> > переприсваивать их актуальным мантейнерам.
> 
> Я могу только сделать робота, который время от времени проверяет
> соответствие между %packager и assigned_to.

Это могло бы помочь.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]