[devel] News: нас 35 тысяч!

[devel] News: нас 35 тысяч!

[Igor Vlasenko]

Дорогие друзья,

хорошая новость - под бинарную платформу ALT Linux Sisyphus
собрано более 35 тысяч пакетов, около 15 тысяч в Sisyphus/classic
и около 20 тысяч в Sisyphus/autoimports.

Это, похоже, делает Сизиф самым крупным rpm репозиторием в мире.

Из этих 35 тысяч пакетов около 10 тысяч сопровождается традиционными
ручными методами, и около 25 тысяч - с применением средств автоматизации.

Это переломный момент, который показывает, что технологии автоматизации
созрели и пришла пора их внедрять, чтобы заткнуть ими множественные
дыры в пакетной базе и первыми среди других дистрибутивостроителей
получить, наконец, дистрибутивы, предоставляющие пользователям 
полную пакетную базу.

Но для этого нужна помощь. Есть удачный эксперимент с octave-package-builder,
где я сопровождаю только инструмент (octave-package-builder)
а Павел с его помощью сопровождает пакеты octave-*.
Хочу попробовать повторить то же самое с Вячеславом для node.js,
а в перспективе с Денисом для ghc.

Так же было бы хорошо, если бы кто-нибудь заинтересовался
автоматизированным импортом из других дистрибутивов -
есть инструменты (fedora import, mageia import, pld import 
и т.д, но некому ими пользоваться).

Т.е. разделить сопровождение движка и сопровождение пакетов,
отдав инструменты в сообщество.

Ну и, конечно, переломные моменты такие переломные.
На позапрошлой неделе упал repocop, старая удобная схема с индексированием
по префиксу вида /p/pe/perl-aaaa..
переполнила лимиты ext3fs на число каталогов, только недавно дошли
руки починить - сделал начальную реализацию поддержки множественных backend-ов.

Сегодня обнаружил, что опять все сломано и ничего не собирается -
на i586 apt выбивает с криком 
E: Wow, you exceeded the number of versions this APT is capable of.

( https://bugzilla.altlinux.org/show_bug.cgi?id=29514 )

Опять сижу на руинах.

Кроме того, у меня сейчас в зоне ответственности около 25 000 пакетов,
в то время как в качестве нормы, которую можно было бы тянуть, 
параллельно спокойно занимаясь разработкой, надо брать около 10 000.
Т.е. явный перегруз в 2.5 раза. Поэтому прошу прощения за задержки,
постоянно возникают всякого рода прерывания, что-то забываю,
что-то теряю, на что-то не успеваю реагировать.

Иной раз просто боишься собрать очередной пакет, чтобы не стал той
соломинкой, которая ломает спину верблюду.

Прошу в таких случаях брать инициативу в свои руки, 
не стесняться напомнить. Если что, пакеты раздаю и NMU приветствую.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] News: нас 35 тысяч!

[Igor Vlasenko]

On Wed, Oct 23, 2013 at 11:43:12PM +0300, Igor Vlasenko wrote:
> Дорогие друзья,
> 
> хорошая новость - под бинарную платформу ALT Linux Sisyphus
> собрано более 35 тысяч пакетов, около 15 тысяч в Sisyphus/classic
> и около 20 тысяч в Sisyphus/autoimports.
> 
> Это, похоже, делает Сизиф самым крупным rpm репозиторием в мире.
> 
> Из этих 35 тысяч пакетов около 10 тысяч сопровождается традиционными
> ручными методами, и около 25 тысяч - с применением средств автоматизации.

Задумался. Ведь 'grep nobody list.packages.sisyphus | wc -l' дает
720 пакетов, а кроме явно заброшенных, есть еще и неявно заброшенные.

Наверное, из неавтоматизированных 10 тысяч пакетов реально
вручную как-то сопровождается где-то 7-8 тысяч, а остальные -
заброшенные и ничьи пакеты.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] News: нас 35 тысяч!

[Michael Shigorin]

On Thu, Oct 24, 2013 at 12:02:38AM +0300, Igor Vlasenko wrote:
> Наверное, из неавтоматизированных 10 тысяч пакетов реально
> вручную как-то сопровождается где-то 7-8 тысяч, а остальные -
> заброшенные и ничьи пакеты.

Факт, только я бы давал раза в три более пессимистичную оценку.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] News: нас 35 тысяч!

[REAL]

24.10.2013 13:54, Denis  Medvedev пишет:
> Может ставить пакетам какие-нибудь флажки - типа "Был X раз скачан с ftp.altlinux.ru и зеркал" "Обновлен в последние полгода" "Входит в X дистрибутивов"
> "Соответствует последней версии пакета апстрима? и показывать как-то?

Было бы интересно.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] News: нас 3,5 организма!

[Michael Shigorin]

On Thu, Oct 24, 2013 at 10:54:31AM +0400, Denis  Medvedev wrote:
> А как бы понять, какая часть пакетов из дистрибутива реально используется?

Разве что по багам, патчам и вопросам с конфигурированием.

> По опыту сборщика, могу сказать, что отсутствие обратной связи
> сильно нервирует и демотивирует - оно может означать либо 
> - что пакетом никто не пользуется
> - что пакетом пользуется и все довольны
> - что пакеом пользуются и плюются на него, но багрепорты
>   и писать в поддержку - лень.

Именно -- сам порой не пишу о мелких проблемах сразу, пока не
выяснится, что это не единичный (локальный) случай...

> Может ставить пакетам какие-нибудь флажки - типа
> "Был X раз скачан с ftp.altlinux.ru и зеркал"

Малореально технически (зеркала не обязаны отчитываться, да и
сведение статистики по http+ftp+rsync не совсем удобная штука),
а главное, малополезная -- скачивание не означает применения.

> "Обновлен в последние полгода"

Теплее, но идеальней бы мерка "разница по времени с текущим
апстримом", а это технически совсем другая задача, особенно
в случае произвольного пакета.

> "Входит в X дистрибутивов"

Это проще и надёжней всего технически, но IMHO не настолько
показательно, как хотелось бы.

> "Соответствует последней версии пакета апстрима?"

См. выше.

> и показывать как-то?  Тогда можно было бы легко отсортировать
> внутренности сизифа по "качеству".

Есть мнение, что качество реальней определять по таким метрикам:
- среднее время жизни багов серьёзности >= normal с учётом таковой;
- среднее время отклика человека, заливка которого закрывает баг;
- возможно, средняя задержка версии относительно апстримной либо же
- среднее кол-во релизов на версию или версий на релиз.

Это если говорить об автоматизируемом вычислении, которое всё равно
будет давать результаты лишь для дальнейшей интерпретации.

Раньше затрагивал перекликающиеся вопросы таким образом:
http://lists.altlinux.org/pipermail/devel/2007-March/136850.html
http://lists.altlinux.org/pipermail/devel/2007-December/148148.html

Спасибо!

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 11:50, Michael Shigorin пишет:
>> > Может ставить пакетам какие-нибудь флажки - типа
>> > "Был X раз скачан с ftp.altlinux.ru и зеркал"
> Малореально технически (зеркала не обязаны отчитываться, да и
> сведение статистики по http+ftp+rsync не совсем удобная штука),
> а главное, малополезная -- скачивание не означает применения.
> 

  Помнится в всяких Дебианах с Юбунтами была специальная программа,
которая, по согласованию с пользователем, отправляла статистические
отчёты по использованию других программ "в центр".

Re: [devel] News: нас 3,5 организма!

[Anton Farygin]

24.10.2013 11:58, Paul Wolneykien пишет:
> 24.10.2013 11:50, Michael Shigorin пишет:
>>>> Может ставить пакетам какие-нибудь флажки - типа
>>>> "Был X раз скачан с ftp.altlinux.ru и зеркал"
>> Малореально технически (зеркала не обязаны отчитываться, да и
>> сведение статистики по http+ftp+rsync не совсем удобная штука),
>> а главное, малополезная -- скачивание не означает применения.
>>
>
>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
> которая, по согласованию с пользователем, отправляла статистические
> отчёты по использованию других программ "в центр".

Да, это было бы удобно для разработчиков.

Re: [devel] News: нас 3,5 организма!

[Igor Zubkov]

2013/10/24 Anton Farygin:
> 24.10.2013 11:58, Paul Wolneykien пишет:
>> 24.10.2013 11:50, Michael Shigorin пишет:
>>>>> Может ставить пакетам какие-нибудь флажки - типа
>>>>> "Был X раз скачан с ftp.altlinux.ru и зеркал"
>>>
>>> Малореально технически (зеркала не обязаны отчитываться, да и
>>> сведение статистики по http+ftp+rsync не совсем удобная штука),
>>> а главное, малополезная -- скачивание не означает применения.
>>
>>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
>> которая, по согласованию с пользователем, отправляла статистические
>> отчёты по использованию других программ "в центр".
>
> Да, это было бы удобно для разработчиков.

Это мысль для новой фичи на packages.altlinux.org.

Повесил https://bugzilla.altlinux.org/show_bug.cgi?id=29519

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 13:46, Anton Farygin пишет:
> 24.10.2013 11:58, Paul Wolneykien пишет:
>> 24.10.2013 11:50, Michael Shigorin пишет:
>>>>> Может ставить пакетам какие-нибудь флажки - типа
>>>>> "Был X раз скачан с ftp.altlinux.ru и зеркал"
>>> Малореально технически (зеркала не обязаны отчитываться, да и
>>> сведение статистики по http+ftp+rsync не совсем удобная штука),
>>> а главное, малополезная -- скачивание не означает применения.
>>>
>>
>>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
>> которая, по согласованию с пользователем, отправляла статистические
>> отчёты по использованию других программ "в центр".
> 
> Да, это было бы удобно для разработчиков.

  На первый взгляд кажется достаточным нечто вроде `ps -axww -o comm`,
но как быть с теми программами, которые работают лишь краткое время, но,
тем не менее, очень полезны?

[devel] [JT] опять про popularity-contest

[Michael Shigorin]

On Thu, Oct 24, 2013 at 02:44:38PM +0400, Paul Wolneykien wrote:
> >> Помнится в всяких Дебианах с Юбунтами была специальная
> >> программа, которая, по согласованию с пользователем,
> >> отправляла статистические отчёты по использованию других
> >> программ "в центр".
> > Да, это было бы удобно для разработчиков.
> На первый взгляд кажется достаточным нечто вроде `ps -axww -o
> comm`, но как быть с теми программами, которые работают лишь
> краткое время, но, тем не менее, очень полезны?

https://google.com/search?as_q=popularity-contest&as_sitesearch=lists.altlinux.org

2 combr: как помнишь, не раз обсуждалось...

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] News: нас 3,5 организма!

[Anton Farygin]

24.10.2013 14:44, Paul Wolneykien пишет:
> 24.10.2013 13:46, Anton Farygin пишет:
>> >24.10.2013 11:58, Paul Wolneykien пишет:
>>> >>24.10.2013 11:50, Michael Shigorin пишет:
>>>>>> >>>>>Может ставить пакетам какие-нибудь флажки - типа
>>>>>> >>>>>"Был X раз скачан сftp.altlinux.ru  и зеркал"
>>>> >>>Малореально технически (зеркала не обязаны отчитываться, да и
>>>> >>>сведение статистики по http+ftp+rsync не совсем удобная штука),
>>>> >>>а главное, малополезная -- скачивание не означает применения.
>>>> >>>
>>> >>
>>> >>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
>>> >>которая, по согласованию с пользователем, отправляла статистические
>>> >>отчёты по использованию других программ "в центр".
>> >
>> >Да, это было бы удобно для разработчиков.
>    На первый взгляд кажется достаточным нечто вроде `ps -axww -o comm`,
> но как быть с теми программами, которые работают лишь краткое время, но,
> тем не менее, очень полезны?

audit умеет собирать статистику. Всё что останется - это написать 
интерфейс, включающий audit и отправку/обработку логов.

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 15:44, Anton Farygin пишет:
> 24.10.2013 14:44, Paul Wolneykien пишет:
>> 24.10.2013 13:46, Anton Farygin пишет:
>>> >24.10.2013 11:58, Paul Wolneykien пишет:
>>>> >>24.10.2013 11:50, Michael Shigorin пишет:
>>>>>>> >>>>>Может ставить пакетам какие-нибудь флажки - типа
>>>>>>> >>>>>"Был X раз скачан сftp.altlinux.ru  и зеркал"
>>>>> >>>Малореально технически (зеркала не обязаны отчитываться, да и
>>>>> >>>сведение статистики по http+ftp+rsync не совсем удобная штука),
>>>>> >>>а главное, малополезная -- скачивание не означает применения.
>>>>> >>>
>>>> >>
>>>> >>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
>>>> >>которая, по согласованию с пользователем, отправляла статистические
>>>> >>отчёты по использованию других программ "в центр".
>>> >
>>> >Да, это было бы удобно для разработчиков.
>>    На первый взгляд кажется достаточным нечто вроде `ps -axww -o comm`,
>> но как быть с теми программами, которые работают лишь краткое время, но,
>> тем не менее, очень полезны?
> 
> audit умеет собирать статистику. Всё что останется - это написать
> интерфейс, включающий audit и отправку/обработку логов.
>

  Я это себе представлял, как пакет, в пакете демон, фиксированный адрес
для отправки и автоматически `chkconfig on` после установки. Т.е. если
пакет установлен, то статистика собирается и отправляется.

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 16:17, Paul Wolneykien пишет:
> 24.10.2013 15:44, Anton Farygin пишет:
>> 24.10.2013 14:44, Paul Wolneykien пишет:
>>> 24.10.2013 13:46, Anton Farygin пишет:
>>>>> 24.10.2013 11:58, Paul Wolneykien пишет:
>>>>>>> 24.10.2013 11:50, Michael Shigorin пишет:
>>>>>>>>>>>>> Может ставить пакетам какие-нибудь флажки - типа
>>>>>>>>>>>>> "Был X раз скачан сftp.altlinux.ru  и зеркал"
>>>>>>>>> Малореально технически (зеркала не обязаны отчитываться, да и
>>>>>>>>> сведение статистики по http+ftp+rsync не совсем удобная штука),
>>>>>>>>> а главное, малополезная -- скачивание не означает применения.
>>>>>>>>>
>>>>>>>
>>>>>>>    Помнится в всяких Дебианах с Юбунтами была специальная программа,
>>>>>>> которая, по согласованию с пользователем, отправляла статистические
>>>>>>> отчёты по использованию других программ "в центр".
>>>>>
>>>>> Да, это было бы удобно для разработчиков.
>>>    На первый взгляд кажется достаточным нечто вроде `ps -axww -o comm`,
>>> но как быть с теми программами, которые работают лишь краткое время, но,
>>> тем не менее, очень полезны?
>>
>> audit умеет собирать статистику. Всё что останется - это написать
>> интерфейс, включающий audit и отправку/обработку логов.
>>
> 
>   Я это себе представлял, как пакет, в пакете демон, фиксированный адрес
> для отправки и автоматически `chkconfig on` после установки. Т.е. если
> пакет установлен, то статистика собирается и отправляется.
> 

  А, и отдельным шагом в инсталляторе его включать. Тогда каких-то
специальных пользовательских нтерфейсов изобретать не придётся. Да если
бы такой и был, то пользователь может банально забыть его настроить. Так
что в инсталляторе -- самое место. А для уже работающих систем -- просто
установка пакета.

Re: [devel] News: нас 3,5 организма!

[Anton Farygin]

24.10.2013 16:20, Paul Wolneykien пишет:
> 24.10.2013 16:17, Paul Wolneykien пишет:
>> 24.10.2013 15:44, Anton Farygin пишет:
>>> 24.10.2013 14:44, Paul Wolneykien пишет:
>>>> 24.10.2013 13:46, Anton Farygin пишет:
>>>>>> 24.10.2013 11:58, Paul Wolneykien пишет:
>>>>>>>> 24.10.2013 11:50, Michael Shigorin пишет:
>>>>>>>>>>>>>> Может ставить пакетам какие-нибудь флажки - типа
>>>>>>>>>>>>>> "Был X раз скачан сftp.altlinux.ru  и зеркал"
>>>>>>>>>> Малореально технически (зеркала не обязаны отчитываться, да и
>>>>>>>>>> сведение статистики по http+ftp+rsync не совсем удобная штука),
>>>>>>>>>> а главное, малополезная -- скачивание не означает применения.
>>>>>>>>>>
>>>>>>>>
>>>>>>>>     Помнится в всяких Дебианах с Юбунтами была специальная программа,
>>>>>>>> которая, по согласованию с пользователем, отправляла статистические
>>>>>>>> отчёты по использованию других программ "в центр".
>>>>>>
>>>>>> Да, это было бы удобно для разработчиков.
>>>>     На первый взгляд кажется достаточным нечто вроде `ps -axww -o comm`,
>>>> но как быть с теми программами, которые работают лишь краткое время, но,
>>>> тем не менее, очень полезны?
>>>
>>> audit умеет собирать статистику. Всё что останется - это написать
>>> интерфейс, включающий audit и отправку/обработку логов.
>>>
>>
>>    Я это себе представлял, как пакет, в пакете демон, фиксированный адрес
>> для отправки и автоматически `chkconfig on` после установки. Т.е. если
>> пакет установлен, то статистика собирается и отправляется.
>>
>
>    А, и отдельным шагом в инсталляторе его включать. Тогда каких-то
> специальных пользовательских нтерфейсов изобретать не придётся. Да если
> бы такой и был, то пользователь может банально забыть его настроить. Так
> что в инсталляторе -- самое место. А для уже работающих систем -- просто
> установка пакета.

ну, можно сделать пакет, который вытянет audit, включит его, и в пакете 
будут содержаться все необходимые rules'ы, позволяющие собирать информацию.

Это не сложно.

Отправить по почте отчёт, сгенерированный aureport - тоже выглядит просто.

Осталось только найти пользователей, которые согласятся включить у себя 
такую "улучшалку".

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 17:02, Anton Farygin пишет:
> 
> Осталось только найти пользователей, которые согласятся включить у себя
> такую "улучшалку".

  Вот поэтому я и предлагаю рекламировать её через инстяллятор (с
красивой картинкой). :)

Re: [devel] News: нас 3,5 организма!

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 329 bytes --]

On Thursday 24 October 2013 17:02:30 Anton Farygin wrote:

[...]
> Отправить по почте отчёт, сгенерированный aureport - тоже выглядит просто.
По почте? Тогда не выглядит просто.

[...]

-- 
Regards, Sergey.       ALT Linux, http://www.altlinux.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] News: нас 3,5 организма!

[Paul Wolneykien]

24.10.2013 17:14, Sergey V Turchin пишет:
> On Thursday 24 October 2013 17:02:30 Anton Farygin wrote:
> 
> [...]
>> Отправить по почте отчёт, сгенерированный aureport - тоже выглядит просто.
> По почте? Тогда не выглядит просто.

  HTTP[S] POST/PUT ?

Re: [devel] News: нас 3,5 организма!

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 633 bytes --]

On Thursday 24 October 2013 17:15:51 Paul Wolneykien wrote:
> 24.10.2013 17:14, Sergey V Turchin пишет:
> > On Thursday 24 October 2013 17:02:30 Anton Farygin wrote:
> > 
> > [...]
> > 
> >> Отправить по почте отчёт, сгенерированный aureport - тоже выглядит
> >> просто.
> > 
> > По почте? Тогда не выглядит просто.
> 
>   HTTP[S] POST/PUT ?
Толку от HTTPS, если без авторизации?
Может стать так, что по почте будет проще :-)

-- 
Regards, Sergey.       ALT Linux, http://www.altlinux.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] News: нас 3,5 организма!

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 348 bytes --]

On Thursday 24 October 2013 17:40:17 Denis Medvedev wrote:
> А зачем вам авторизация?
> Шифруем это дело открытым ключем главного по проекту и блоб отсылаем.
А зачем там шифрование?

[...]

-- 
Regards, Sergey.       ALT Linux, http://www.altlinux.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] News: нас 3,5 организма!

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 809 bytes --]

On Thursday 24 October 2013 17:56:38 Denis Medvedev wrote:
> Thu, 24 Oct 2013 17:55 +0400 от Sergey V Turchin <zerg@altlinux.org>:
> >On Thursday 24 October 2013 17:40:17 Denis Medvedev wrote:
> >> А зачем вам авторизация?
> >> Шифруем это дело открытым ключем главного по проекту и блоб отсылаем.
> >
> >А зачем там шифрование?
> >
> >[
> 
> ..А зачем промежуточным узлам и сниферам список установленных пакетов
> человека:?
Чтоб зафлудить их бесполезной информацией, а то сидят почту и http читают по 
чем зря ;-)

-- 
Regards, Sergey.       ALT Linux, http://www.altlinux.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]