[devel] U: кривости генерялки зависимостей

[devel] U: кривости генерялки зависимостей

[Stanislav Ievlev]

Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
возникали левые зависимости.

А то вот spt стал зависит от installer-stage2, у меня периодически tex
вылезал в зависимости.

Если этот мозг не в состоянии правильно работать, то лучше его отключить
ибо достало.

--

Re: [devel] U: кривости генерялки зависимостей

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 524 bytes --]

On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
> возникали левые зависимости.
> 
> А то вот spt стал зависит от installer-stage2, у меня периодически tex
> вылезал в зависимости.

А в чём суть проблемы?  Думаю что никто не вникал, так ведь?

> Если этот мозг не в состоянии правильно работать, то лучше его отключить
> ибо достало.

Вот сейчас будет обновление генератора зависимостей от at@, посмотрим ;)


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Stanislav Ievlev]

On Thu, Sep 27, 2007 at 02:41:52PM +0400, Dmitry V. Levin wrote:
> On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> > Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
> > возникали левые зависимости.
> > 
> > А то вот spt стал зависит от installer-stage2, у меня периодически tex
> > вылезал в зависимости.
> 
> А в чём суть проблемы?  Думаю что никто не вникал, так ведь?
Суть в том что мозг не в состоянии обнаружить функции, если она живёт во
"вставляемом" файле.

В результате постоянно вылезают совершенно неожиданные зависимости.
Это очень хороший механизм для саботажа ;))
Например лёгким движением руки можно сделать hasher зависимым на, скажем,
installer ;)

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 253 bytes --]

On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> А то вот spt стал зависит от installer-stage2,

shell.req: /usr/src/tmp/spt-buildroot/usr/bin/spt: postinstall -> /usr/sbin/postinstall -> installer-stage2 (via contents_index_bin)

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1325 bytes --]

On Thu, Sep 27, 2007 at 02:49:22PM +0400, Stanislav Ievlev wrote:
> On Thu, Sep 27, 2007 at 02:41:52PM +0400, Dmitry V. Levin wrote:
> > On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> > > Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
> > > возникали левые зависимости.
> > > 
> > > А то вот spt стал зависит от installer-stage2, у меня периодически tex
> > > вылезал в зависимости.
> > 
> > А в чём суть проблемы?  Думаю что никто не вникал, так ведь?
> Суть в том что мозг не в состоянии обнаружить функции, если она живёт во
> "вставляемом" файле.

Этот мозг может работать немного лучше, если искать зависимости не per
file, а на все шелл-файлы с одновременным уничтожением потенциальных
Provides.  Нужен self-requires elimination pass.  Это реализовано,
например, в rpm-build-python.  Он заглатывает весь список файлов
целиком.

По сути это значит, само по себе разделение на  find-requires и
find-provides -- это ошибочная идея в rpm.  Нужна единая стадия
find-reqprov.

Текущая реализация 'sh --rpm-requires' не может дать даже и этого.

> В результате постоянно вылезают совершенно неожиданные зависимости.
> Это очень хороший механизм для саботажа ;))
> Например лёгким движением руки можно сделать hasher зависимым на, скажем,
> installer ;)

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Stanislav Ievlev]

On Thu, Sep 27, 2007 at 02:59:44PM +0400, Alexey Tourbin wrote:
> On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> > А то вот spt стал зависит от installer-stage2,
> 
> shell.req: /usr/src/tmp/spt-buildroot/usr/bin/spt: postinstall -> /usr/sbin/postinstall -> installer-stage2 (via contents_index_bin)

Там есть одноимённая функция postinstall.

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 261 bytes --]

On Thu, Sep 27, 2007 at 03:16:46PM +0400, Stanislav Ievlev wrote:
> > shell.req: /usr/src/tmp/spt-buildroot/usr/bin/spt: postinstall -> /usr/sbin/postinstall -> installer-stage2 (via contents_index_bin)
> Там есть одноимённая функция postinstall.

Я знаю.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Stanislav Ievlev]

On Thu, Sep 27, 2007 at 03:04:08PM +0400, Alexey Tourbin wrote:
> On Thu, Sep 27, 2007 at 02:49:22PM +0400, Stanislav Ievlev wrote:
> > On Thu, Sep 27, 2007 at 02:41:52PM +0400, Dmitry V. Levin wrote:
> > > On Thu, Sep 27, 2007 at 02:36:20PM +0400, Stanislav Ievlev wrote:
> > > > Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
> > > > возникали левые зависимости.
> > > > 
> > > > А то вот spt стал зависит от installer-stage2, у меня периодически tex
> > > > вылезал в зависимости.
> > > 
> > > А в чём суть проблемы?  Думаю что никто не вникал, так ведь?
> > Суть в том что мозг не в состоянии обнаружить функции, если она живёт во
> > "вставляемом" файле.
> 
> Этот мозг может работать немного лучше, если искать зависимости не per
> file, а на все шелл-файлы с одновременным уничтожением потенциальных
> Provides.  Нужен self-requires elimination pass.  Это реализовано,
> например, в rpm-build-python.  Он заглатывает весь список файлов
> целиком.
> 
> По сути это значит, само по себе разделение на  find-requires и
> find-provides -- это ошибочная идея в rpm.  Нужна единая стадия
> find-reqprov.
> 
> Текущая реализация 'sh --rpm-requires' не может дать даже и этого.
Когда будет нам счастье?

Re: [devel] U: кривости генерялки зависимостей

[Damir Shayhutdinov]

> Возможно ли исправить генерилку зависимостей, чтобы больше никогда не
> возникали левые зависимости.
>
> А то вот spt стал зависит от installer-stage2, у меня периодически tex
> вылезал в зависимости.
>
> Если этот мозг не в состоянии правильно работать, то лучше его отключить
> ибо достало.
AutoReq: yes, noshell?
или
%add_findreq_skiplist ?

Зачем нужны какие-то действия извне, когда это можно делать сам
мантейнер, путем добавления строчки в спек?

Re: [devel] U: кривости генерялки зависимостей

[Alexey Gladkov]

Damir Shayhutdinov wrote:
> AutoReq: yes, noshell?
> или
> %add_findreq_skiplist ?
> 
> Зачем нужны какие-то действия извне, когда это можно делать сам
> мантейнер, путем добавления строчки в спек?

Затем что эти строчки нужно прописывать во всех пакетах, где
потенциально может возникнуть такие проблемы т.е. в почти всех пакетах
с shell скриптами.

Если алгоритм не всегда работает, то лучше его включать когда
мантейнер уверен что это не повредит.

-- 
Rgrds, legion

Re: [devel] U: кривости генерялки зависимостей

[Damir Shayhutdinov]

> > %add_findreq_skiplist ?
> >
> > Зачем нужны какие-то действия извне, когда это можно делать сам
> > мантейнер, путем добавления строчки в спек?
>
> Ээээ, у меня в blender, например, около 200 файлов приходится вписывать для
> защиты от просмотра питоновым модулем. И эти 200 файлов при каждой версии
> надо проверять, ненужное - выбрасывать. Пускай, python не shell, но гемор
> того же класса.
используйте маски :)

Насколько я понимаю, с новым rpm-build проблемы с питоновскими
зависимостями будут решены.

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 706 bytes --]

On Thu, Sep 27, 2007 at 04:48:43PM +0400, Alexey Gladkov wrote:
> Затем что эти строчки нужно прописывать во всех пакетах, где
> потенциально может возникнуть такие проблемы т.е. в почти всех пакетах
> с shell скриптами.

Не надо давать названия функциям, которые пересекаются с названиями
команд в PATH.  Хотя, конечно, когда в репозитарии несколько тысяч
пакетов, пересечение может получаться не специально.

Надежным способом избежать проблемы является название функций с [A-Z].

> Если алгоритм не всегда работает, то лучше его включать когда
> мантейнер уверен что это не повредит.

Его нужно будет со временем поправить.  Последний раз я помню,
что ldv его правил где-то в 2003 году.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Alexey Gladkov]

Alexey Tourbin wrote:
> Не надо давать названия функциям, которые пересекаются с названиями
> команд в PATH.  Хотя, конечно, когда в репозитарии несколько тысяч

Почему не надо?
Неужели писатель скрипта должен помнить _ВСЕ_ возможные команды в
репозитории (не пересечься с 12511 названием) ?!

Может тогда использовать md5sum для создания названий функций в shell?

Такое требование не реально. Такие пересечения данность.
Давай не будем это обсуждать. Это всё лирика.

> пакетов, пересечение может получаться не специально.

Вот-вот.

> Надежным способом избежать проблемы является название функций с [A-Z].

$ egrep '^(/usr)?/s?bin/[A-Z]' {noarch,i586}/base/contents_index |wc -l
187

Угу если не угораздит попасть в эти 187 названий. 

> Его нужно будет со временем поправить.  Последний раз я помню,
> что ldv его правил где-то в 2003 году.

Как ты себе представляешь вычислить инклюд вида ". config-$arch" ?
Или запретим делать такие конструкции?

-- 
Rgrds, legion

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1385 bytes --]

On Thu, Sep 27, 2007 at 10:52:20PM +0400, Alexey Gladkov wrote:
> > Его нужно будет со временем поправить.  Последний раз я помню,
> > что ldv его правил где-то в 2003 году.
> 
> Как ты себе представляешь вычислить инклюд вида ". config-$arch" ?
> Или запретим делать такие конструкции?

Текущий шелл-анализатор плох, но отключать на этом основании поиск
зависимостей в шелл-скриптах вообще -- ещё хуже.  Собственно,
альтернатива автоматике -- это мартышкин труд (писать зависимости
вручную).

Есть две идеи, как сделать его лучше.  Они не решают проблему до конца,
но дополняют друг друга.  Суть проблемы в том, что названия функций в
шелл-скриптах/библиотеках могут пересекаться с командами в PATH.

Во-первых, это элиминиция self-requires внутри пакета.  Заглатываем все
скрипты сразу и делаем список всех функций в этих скриптах.  При втором
проходе опять просто игнорируем команды в скриптах, которые есть в
списке функций.  К сожалению, сейчас нет стандартного способа попросить
шелл вывести список функций в скрипте.  Но это, наверное, не очень
сложно сделать.  Это решает также проблему со всякими ". config-$arch",
но только в пределах одного пакета.

Во-вторых, собственно, если сорсится известный файл, то можно
посмотреть, какие функции в есть в этом файле (если его можно обнаружить).
Если в этом файле ещё что-то сорсится, то рекурсивно и т.д.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Michael Shigorin]

On Thu, Sep 27, 2007 at 03:28:30PM +0400, Stanislav Ievlev wrote:
> Когда будет нам счастье?

После успешной функциональной атаки на hasher, наверное.

PS: https://bugzilla.altlinux.org/show_bug.cgi?id=12928

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] U: кривости генерялки зависимостей

[Michael Shigorin]

On Thu, Sep 27, 2007 at 10:52:20PM +0400, Alexey Gladkov wrote:
> Давай не будем это обсуждать. Это всё лирика.

Это не лирика, а ошибка.  От избытка самомнения.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] U: кривости генерялки зависимостей

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 430 bytes --]

On Thu, Sep 27, 2007 at 11:42:16PM +0300, Michael Shigorin wrote:
> On Thu, Sep 27, 2007 at 10:52:20PM +0400, Alexey Gladkov wrote:
> > Давай не будем это обсуждать. Это всё лирика.
> Это не лирика, а ошибка.  От избытка самомнения.

Я готов обсуждать конкретные ошибки при поиске зависимостей и пути
их исправления.  Поиск зависимостей в шелл-скриптах придумал не я.
По поводу остального -- охотно посылаю куда подальше.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Alexey Gladkov]

Michael Shigorin wrote:
> Это не лирика, а ошибка.  От избытка самомнения.

Извини, но с точки зрения shell, это не ошибка. Имена функций могут
пересечься с утилитами, которые ещё не написали. Я думаю, ты хорошо
понимаешь о чём я говорю.

Пояснишь про самомнение ?

-- 
Rgrds, legion

Re: [devel] U: кривости генерялки зависимостей

[Alexey Gladkov]

Alexey Gladkov wrote:
> Michael Shigorin wrote:
>> Это не лирика, а ошибка.  От избытка самомнения.

Миш, прошу прощения.
Сначала я неправильно тебя понял.

-- 
Rgrds, legion

Re: [devel] shell req/prov

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 974 bytes --]

On Thu, Sep 27, 2007 at 10:52:20PM +0400, Alexey Gladkov wrote:
> Alexey Tourbin wrote:
> > Не надо давать названия функциям, которые пересекаются с названиями
> > команд в PATH.  Хотя, конечно, когда в репозитории несколько тысяч
> 
> Почему не надо?
> Неужели писатель скрипта должен помнить _ВСЕ_ возможные команды в
> репозитории (не пересечься с 12511 названием) ?!
> 
> Может тогда использовать md5sum для создания названий функций в shell?
> 
> Такое требование не реально. Такие пересечения данность.
> Давай не будем это обсуждать. Это всё лирика.

Когда я в апреле 2003-го реализовал тот алгоритм, который вы сейчас
критикуете, я счёл возможным пренебречь теми побочными эффектами, о
которых идёт речь, ради того чтобы зависимости пакетов стали лучше в
целом.

А к тем, Алексей, кто демонстрирует понимание предмета, предъявляется
повышенный спрос: если вас не устраивает действующий алгоритм, предлагайте
улучшенные алгоритмы.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] shell req/prov

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1444 bytes --]

On Fri, Sep 28, 2007 at 01:12:20AM +0400, Dmitry V. Levin wrote:
> Когда я в апреле 2003-го реализовал тот алгоритм, который вы сейчас
> критикуете, я счёл возможным пренебречь теми побочными эффектами, о
> которых идёт речь, ради того чтобы зависимости пакетов стали лучше в
> целом.
> 
> А к тем, Алексей, кто демонстрирует понимание предмета, предъявляется
> повышенный спрос: если вас не устраивает действующий алгоритм, предлагайте
> улучшенные алгоритмы.

У меня есть вариант минимального изменения к 'sh --rpm-requires' (при
сохранении совместимости), котрое в результате позволяет реализовать
self-requires elimination.

--- make_cmd.c-	2007-09-27 21:04:30 +0000
+++ make_cmd.c	2007-09-27 21:06:32 +0000
@@ -778,6 +778,8 @@ make_function_def (name, command, lineno
   bind_function_def (name->word, temp);
 
   temp->source_file = 0;
+  if (rpm_requires) /* each function is possibly required */
+    output_requirement ("function", name);
   return (make_command (cm_function_def, (SIMPLE_COM *)temp));
 }
 
Это пока я не знаю, работает или нет.

Потом в shell.req все function(...) являются потенциальными Provides.
Если executable(...) в скобках совпадает с какой-либо функцией, то
его не нужно искать.

Если же нарушить совместимость, то можно реализовать более хитрые
алгоритмы.  Например, в exec и source не может быть имени функции.
А вот когда есть просто WORD, тогда это может быть и функция.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: кривости генерялки зависимостей

[Epiphanov Sergei]

В сообщении от Thursday 27 September 2007 16:22:53 Damir Shayhutdinov 
написал(а):
> %add_findreq_skiplist ?
>
> Зачем нужны какие-то действия извне, когда это можно делать сам
> мантейнер, путем добавления строчки в спек?

Ээээ, у меня в blender, например, около 200 файлов приходится вписывать для 
защиты от просмотра питоновым модулем. И эти 200 файлов при каждой версии 
надо проверять, ненужное - выбрасывать. Пускай, python не shell, но гемор 
того же класса.

-- 
С уважением, Епифанов Сергей

Re: [devel] U: кривости генерялки зависимостей

[Epiphanov Sergei]

В сообщении от Thursday 27 September 2007 17:11:26 Damir Shayhutdinov 
написал(а):
> > Ээээ, у меня в blender, например, около 200 файлов приходится вписывать
> > для защиты от просмотра питоновым модулем. И эти 200 файлов при каждой
> > версии надо проверять, ненужное - выбрасывать. Пускай, python не shell,
> > но гемор того же класса.
>
> используйте маски

 Если только ".*" ;) ибо часть имён просто не попадает под хоть какие-то 
маски.

-- 
С уважением, Епифанов Сергей