[devel] Q: Импорт исходников и патчей на packages.altlinux.org

[devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Igor Zubkov]

Hi!

В текущий момент я готовлю обновление для packages.altlinux.org
которое добавит патчи и исходники из пакетов. Это как обычно займёт
достаточно много времени на импорт. И будет сразу для всех пакетов из
всех бранчей.

Для начала, разделим пакеты на те которые собираются из src.rpm и
gear. Для src.rpm такие условия:
1) Импортировать все патчи (без ограничений).
2) Импортировать исходники размеры которых меньше 1Mb.

Для gear такие условия:
1) Не импортировать патчи и исходники.
2) В будущем, можно импортивать патчи из пакетов в которых они лежат в
виде нормальных .patch файлов.

Вопросы:
1) Максимальный размер исходников в 1Mb это не много? Или мало?
2) Может нужно ограничение на размер патчей?

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Michael Shigorin]

On Tue, Sep 04, 2012 at 10:10:04PM +0300, Igor Zubkov wrote:
> В текущий момент я готовлю обновление для packages.altlinux.org
> которое добавит патчи и исходники из пакетов.

Как уже говорил, это малополезное на данный момент занятие
в силу малополезности патчей в существенной части пакетов,
при создании которых в лучшем случае была ориентировка вида
"кому надо, в гите посмотрят".

Об этой проблеме давно думаю и как-то попадалась на глаза
отличная заметка о фундаментальной важности культуры патчей
как средства обмена наработками, но страшно представить,
сколько требуется сил для выравнивания сизифа и где их брать.

> Это как обычно займёт достаточно много времени на импорт.
> И будет сразу для всех пакетов из всех бранчей.

Всё так же предпочитаешь наступать на грабли с размаху?..
Сделай сперва одолжение и маленький пилот. :)

> Вопросы:
> 1) Максимальный размер исходников в 1Mb это не много? Или мало?

Интересно, кто будет глазами смотреть метровую портянку в браузере.
Десятки, ну сотня килобайт -- то, что ещё обозримо.

> 2) Может нужно ограничение на размер патчей?

Посмотри сам:

rpm -qlvp *.src.rpm | egrep '.(patch|diff)$' | sort -nk5 | less

Патчей размером больше 1Mb сейчас 28 штук, из них два -- больше 100Mb.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[REAL]

05.09.2012 02:10, Igor Zubkov пишет:
> 2) В будущем, можно импортивать патчи из пакетов в которых они лежат в
> виде нормальных .patch файлов.

Не думаю, что имеет смысл.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[REAL]

05.09.2012 02:29, Michael Shigorin пишет:
> Об этой проблеме давно думаю и как-то попадалась на глаза
> отличная заметка о фундаментальной важности культуры патчей

git даёт образец очень хорошей культуры патчей без патчей 
_в_виде_файлов_ :)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Michael Shigorin]

On Wed, Sep 05, 2012 at 09:40:10AM +0700, REAL wrote:
> >Об этой проблеме давно думаю и как-то попадалась на глаза
> >отличная заметка о фундаментальной важности культуры патчей
> git даёт образец очень хорошей культуры патчей без патчей 
> _в_виде_файлов_ :)

Почитай, зачем делают http://wiki.etersoft.ru/GitUM --
я тоже сталкивался с проблемой, когда свои коммиты оказались
в глубине апстримных и сейчас поверх его текущего состояния
не предлагабельны.

Т.е. история-то зафиксирована, но расходы на раскопки велики.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[REAL]

05.09.2012 13:16, Michael Shigorin пишет:
> я тоже сталкивался с проблемой, когда свои коммиты оказались
> в глубине апстримных и сейчас поверх его текущего состояния
> не предлагабельны.

Почему же, всегда можно глянуть:

git diff upstream --diff-filter=M

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Michael Shigorin]

On Wed, Sep 05, 2012 at 01:27:08PM +0700, REAL wrote:
> git diff upstream --diff-filter=M

Если бы так просто...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[REAL]

05.09.2012 14:09, Michael Shigorin пишет:
>> git diff upstream --diff-filter=M
>
> Если бы так просто...

Обычно всё просто, если знать, чего хотеть ;)

А вот возня с патчами, которые отваливаются при каждом обновлении - 
это, по-твоему, проще?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Igor Zubkov]

2012/9/4 Michael Shigorin:
> On Tue, Sep 04, 2012 at 10:10:04PM +0300, Igor Zubkov wrote:
>> В текущий момент я готовлю обновление для packages.altlinux.org
>> которое добавит патчи и исходники из пакетов.
>
> Как уже говорил, это малополезное на данный момент занятие
> в силу малополезности патчей в существенной части пакетов,
> при создании которых в лучшем случае была ориентировка вида
> "кому надо, в гите посмотрят".

Просто это финальный марш-бросок перед тем как написать security
tracker для прометея. Охота что бы в prometheus2 были все фичи которые
есть в prometeus (sisyphus.ru).

> Об этой проблеме давно думаю и как-то попадалась на глаза
> отличная заметка о фундаментальной важности культуры патчей
> как средства обмена наработками, но страшно представить,
> сколько требуется сил для выравнивания сизифа и где их брать.
>
>> Это как обычно займёт достаточно много времени на импорт.
>> И будет сразу для всех пакетов из всех бранчей.
>
> Всё так же предпочитаешь наступать на грабли с размаху?..
> Сделай сперва одолжение и маленький пилот. :)

Я не просто так просил staging у тебя. Сейчас я на нём всё это тестирую.

Продакшен задеплоен из master'а. Он рабочий.

>> Вопросы:
>> 1) Максимальный размер исходников в 1Mb это не много? Или мало?
>
> Интересно, кто будет глазами смотреть метровую портянку в браузере.
> Десятки, ну сотня килобайт -- то, что ещё обозримо.

Control-F ещё никто не убрал. Я думаю что если проблема не в размере
всего этого в базе (квота всё таки не резиновая). К тому же, гугл ещё
и заиндексирует всё. Искать будет легче. Индексировать патчи (как и
исходники) через сфинкс на сайте я не собираюсь. Это уже слишком по
нагрузке будет.

>> 2) Может нужно ограничение на размер патчей?
>
> Посмотри сам:
>
> rpm -qlvp *.src.rpm | egrep '.(patch|diff)$' | sort -nk5 | less
>
> Патчей размером больше 1Mb сейчас 28 штук, из них два -- больше 100Mb.

Вот такой ответ меня больше устраивает.

Конец выхлопа выглядит так:
-rw-r--r--    1 builder builder       1015523 июля 28 09:16
zabbix-2.0.2-alt3.patch
-rw-r--r--    1 builder builder       1071738 мая 26 08:36
net-snmp30-5.7.1-alt8.patch
-rw-r--r--    1 builder builder       1112566 июня 19 09:31
move_hunspell_1.2.patch
-rw-r--r--    1 builder builder       1178918 июня 18 21:19
icewm-deb-alt-i18n_update.patch
-rw-r--r--    1 builder builder       1225110 дек. 12  2008 tpb-0.6.5-alt.patch
-rw-r--r--    1 builder builder       1303145 марта 19  2007
sinjdoc-annotations.patch
-rw-r--r--    1 builder builder       1347744 июня 12 00:57
moment-1.2.0-alt-changes.patch
-rw-r--r--    1 builder builder       1358779 авг. 30 11:53 ceph-0.51-alt1.patch
-rw-r--r--    1 builder builder       1559130 июля 22 16:48
parcellite-1.0.2-alt0.rc5.1.patch
-rw-r--r--    1 builder builder       1572362 мая 31  2009
vuze-4.2.0.2-alt1.patch
-rw-r--r--    1 builder builder       1677045 марта 21  2011
libunwind-0.99-alt5.2.patch
-rw-r--r--    1 builder builder       1685416 авг. 30 07:09
kernel-image-std-pae-3.5.3-alt1.patch
-rw-r--r--    1 builder builder       1685927 авг. 29 08:45
kernel-image-std-def-3.5.3-alt1.patch
-rw-r--r--    1 builder builder       1703953 авг. 26 11:46
kernel-image-un-def-3.5.3-alt1.patch
-rw-r--r--    1 builder builder       1763547 авг.  4  2011
kernel-image-pure-emerald-2.6.39-alt6.patch
-rw-r--r--    1 builder builder       2726305 июня 14 09:25
centericq-4.21.0.msn.patch
-rw-r--r--    1 builder builder       3099449 нояб. 25  2011
vim-7.3.353-alt1.patch
-rw-r--r--    1 hacker  hacker        3265850 окт.  7  2010 anthy-corpus.patch
-rw-r--r--    1 builder builder       3579169 мая 22 19:41
Terminal-0.4.8-alt6.patch
-rw-r--r--    1 builder builder       4268613 марта 20 23:24
linux-2.6.32.59.patch
-rw-r--r--    1 builder builder       4898779 марта 20 23:24
linux-2.6.32.58-feat-drivers-gpu--35.patch
-rw-r--r--    1 builder builder       5000205 окт. 24  2011
mailman-2.1.12-alt2.1.1-alt.patch
-rw-r--r--    1 builder builder       6732212 мая 14  2011
kernel-image-ovz-smp-2.6.32-alt8.patch
-rw-r--r--    1 builder builder       9897909 февр. 24  2012
policycoreutils-po.patch
-rw-r--r--    1 builder builder       9984207 апр. 27  2010
kile-2.1b4-alt1.patch
-rw-r--r--    1 builder builder      10293960 окт. 21  2010
kernel-image-hpc-skif-2.6.32-alt24.patch
-rw-r--r--    1 builder builder      18899699 апр. 19 20:13
pgadmin3-1.14.2-alt1.patch
-rw-r--r--    1 builder builder      23455202 июля 19 15:43
vala-0.16.1-alt1-pregenerated.patch
-rw-r--r--    1 builder builder     125405959 июля 20 16:07
kernel-image-el-smp-2.6.32-alt39.patch
-rw-r--r--    1 builder builder     129985442 авг.  8 09:16
kernel-image-ovz-el-2.6.32-alt73.patch

kernel-image-* и linux-* патчи смотреть просто бесполезно. Хотелось бы
узнать, а остальные патчи почему такие большие?

P.S.: Это письмо я написал ещё вчера, но не отправил. Я изменил размер
до 512k на патчи и исходники. Сейчас тестируется.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Michael Shigorin]

On Wed, Sep 05, 2012 at 07:08:58PM +0300, Igor Zubkov wrote:
> Просто это финальный марш-бросок перед тем как написать
> security tracker для прометея.

А как связано?  Просто трекер (даже по тем же критериям)
востребован, а вот с патчами поплохело...

> Охота что бы в prometheus2 были все фичи которые есть
> в prometeus (sisyphus.ru).

Не всегда стоит ставить такую задачу: условия-то меняются.

Кстати, повесил сегодня http://bugzilla.altlinux.org/27702
и приглашаю высказаться в багзиле тех, кому интересны переводы
описаний пакетов.

> > Сделай сперва одолжение и маленький пилот. :)
> Продакшен задеплоен из master'а. Он рабочий.

Дело не только в коде, а и в его поведении под собственно
нагрузкой.  Т.е. то, что долго лопатилось, но потом нормально
себя чувствовало на стенде -- может срегрессировать в работе.
(впрочем, я знаю, нагрузочные тесты ты тоже устраиваешь)

> Control-F ещё никто не убрал.

Метровая простыня в браузере -- это уже не ^F даже, IMHO.

> Я думаю что если проблема не в размере всего этого в базе
> (квота всё таки не резиновая). К тому же, гугл ещё и
> заиндексирует всё. Искать будет легче.

Смысла особого нет, говорю.  SNR только снизится.
Впрочем, могут быть и другие мнения.

По крайней мере патчи вида %name-%version-%release.patch
я бы игнорировал.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Ildar Mulyukov]

On 05.09.2012 22:08:58, Igor Zubkov wrote:
> Конец выхлопа выглядит так:
> -rw-r--r--    1 builder builder       1015523 июля 28 09:16
> zabbix-2.0.2-alt3.patch
> -rw-r--r--    1 builder builder       1071738 мая 26 08:36
> net-snmp30-5.7.1-alt8.patch
> -rw-r--r--    1 builder builder       1112566 июня 19 09:31
> move_hunspell_1.2.patch
> -rw-r--r--    1 builder builder       1178918 июня 18 21:19
> icewm-deb-alt-i18n_update.patch
> -rw-r--r--    1 builder builder       1225110 дек. 12  2008  
> tpb-0.6.5-alt.patch
> -rw-r--r--    1 builder builder       1303145 марта 19  2007
> sinjdoc-annotations.patch
> -rw-r--r--    1 builder builder       1347744 июня 12 00:57
> moment-1.2.0-alt-changes.patch
> -rw-r--r--    1 builder builder       1358779 авг. 30 11:53  
> ceph-0.51-alt1.patch
> -rw-r--r--    1 builder builder       1559130 июля 22 16:48
> parcellite-1.0.2-alt0.rc5.1.patch
> -rw-r--r--    1 builder builder       1572362 мая 31  2009
> vuze-4.2.0.2-alt1.patch
> -rw-r--r--    1 builder builder       1677045 марта 21  2011
> libunwind-0.99-alt5.2.patch
> -rw-r--r--    1 builder builder       1685416 авг. 30 07:09
> kernel-image-std-pae-3.5.3-alt1.patch
> -rw-r--r--    1 builder builder       1685927 авг. 29 08:45
> kernel-image-std-def-3.5.3-alt1.patch
> -rw-r--r--    1 builder builder       1703953 авг. 26 11:46
> kernel-image-un-def-3.5.3-alt1.patch
> -rw-r--r--    1 builder builder       1763547 авг.  4  2011
> kernel-image-pure-emerald-2.6.39-alt6.patch
> -rw-r--r--    1 builder builder       2726305 июня 14 09:25
> centericq-4.21.0.msn.patch
> -rw-r--r--    1 builder builder       3099449 нояб. 25  2011
> vim-7.3.353-alt1.patch
> -rw-r--r--    1 hacker  hacker        3265850 окт.  7  2010  
> anthy-corpus.patch
> -rw-r--r--    1 builder builder       3579169 мая 22 19:41
> Terminal-0.4.8-alt6.patch
> -rw-r--r--    1 builder builder       4268613 марта 20 23:24
> linux-2.6.32.59.patch
> -rw-r--r--    1 builder builder       4898779 марта 20 23:24
> linux-2.6.32.58-feat-drivers-gpu--35.patch
> -rw-r--r--    1 builder builder       5000205 окт. 24  2011
> mailman-2.1.12-alt2.1.1-alt.patch
> -rw-r--r--    1 builder builder       6732212 мая 14  2011
> kernel-image-ovz-smp-2.6.32-alt8.patch
> -rw-r--r--    1 builder builder       9897909 февр. 24  2012
> policycoreutils-po.patch
> -rw-r--r--    1 builder builder       9984207 апр. 27  2010
> kile-2.1b4-alt1.patch
> -rw-r--r--    1 builder builder      10293960 окт. 21  2010
> kernel-image-hpc-skif-2.6.32-alt24.patch
> -rw-r--r--    1 builder builder      18899699 апр. 19 20:13
> pgadmin3-1.14.2-alt1.patch
> -rw-r--r--    1 builder builder      23455202 июля 19 15:43
> vala-0.16.1-alt1-pregenerated.patch
> -rw-r--r--    1 builder builder     125405959 июля 20 16:07
> kernel-image-el-smp-2.6.32-alt39.patch
> -rw-r--r--    1 builder builder     129985442 авг.  8 09:16
> kernel-image-ovz-el-2.6.32-alt73.patch
> 
> kernel-image-* и linux-* патчи смотреть просто бесполезно. Хотелось бы
> узнать, а остальные патчи почему такие большие?

у валы генерат. SNR == 0.
-- 
Ildar

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 427 bytes --]

On Wed, Sep 05, 2012 at 11:47:29PM +0300, Michael Shigorin wrote:

MS> По крайней мере патчи вида %name-%version-%release.patch
MS> я бы игнорировал.

Для пакетов, где патчится только минимум необходимый для сборки -- вполне
себе полезны.

Я вот такие патчи от астериска вполне себе читаю.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Michael Shigorin]

On Thu, Sep 06, 2012 at 10:11:05AM +0400, Денис Смирнов wrote:
> MS> По крайней мере патчи вида %name-%version-%release.patch
> MS> я бы игнорировал.
> Для пакетов, где патчится только минимум необходимый для сборки
> -- вполне себе полезны.  Я вот такие патчи от астериска вполне
> себе читаю.

Ну или снизил порог раза в два.  Впрочем, не настаиваю.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 472 bytes --]

On Thu, Sep 06, 2012 at 10:28:14AM +0300, Michael Shigorin wrote:

MS> Ну или снизил порог раза в два.  Впрочем, не настаиваю.

А насчет порога -- согласен. Хотя в причинах существования сверхбольших
патчей, кроме как для ядра, стоило бы разбираться отдельно. Уверен что в
большинстве из этих патчей какой-нибудь автогенерируемый мусор.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Igor Zubkov]

2012/9/6 Денис Смирнов:
> On Thu, Sep 06, 2012 at 10:28:14AM +0300, Michael Shigorin wrote:
>
> MS> Ну или снизил порог раза в два.  Впрочем, не настаиваю.
>
> А насчет порога -- согласен. Хотя в причинах существования сверхбольших
> патчей, кроме как для ядра, стоило бы разбираться отдельно. Уверен что в
> большинстве из этих патчей какой-нибудь автогенерируемый мусор.

+1. После запуска я пересмотрю все большие патчи и развешаю баги.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] Q: Импорт исходников и патчей на packages.altlinux.org

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 1059 bytes --]

On 5 сентября 2012 14:14:28 REAL wrote:
> 05.09.2012 14:09, Michael Shigorin пишет:
> >> git diff upstream --diff-filter=M
> > 
> > Если бы так просто...
> 
> Обычно всё просто, если знать, чего хотеть ;)
Вот, например, попробуйте узнать и отделить все стороние изменения в
http://git.altlinux.org/gears/t/transmission.git
;-)

> А вот возня с патчами, которые отваливаются при каждом обновлении -
> это, по-твоему, проще?
Да. Если их 30, то запомнить, что куда относится не слишком просто самому же 
мантейнеру даже при условии, что только он один вносит изменения. Если не 
один, то уже и мантернер не разберется, не говоря уже о других.

-- 
Regards, Sergey.       ALT Linux, http://www.altlinux.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]