[devel] правильные зависимости

[devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 01:03:28AM +0300, Alexey Tourbin wrote:
> > > Если рациональные аргументы не интересуют

Сделай мне лично одолжение -- прочти вот эту статью:
http://egorfine.com/ru/articles/worse-than-failure/

> > Так их и не видно пока.  Вещание в одни ворота.
> Рациональный аргумент у меня почти один - у пакетов должны быть
> правильные зависимости.

Определи правильные зависимости, пожалуйста.  Не докапываюсь,
просто когда подходит к трактовке слов, лучше сразу уточнить.

> Если от исправления зависимостей ломаются другие пакеты, то у
> других пакетов тоже неправильные зависимости, и они тоже должны
> быть исправлены.

Смотри, это можно сделать двояко.  Либо разгребя дорогу перед
теми, кто может добраться и помочь -- либо распинав их со своей
дороги и... и тогда своими руками.

Мне кажется, что _правильным_ способом реализации той расчистки,
что ты задумал и начал делать не с того конца -- был бы такой:

1) анонс задумки в devel@;
2) модификация buildreq для исключения случайных потерю полных BR;
3) анализ сизифа на предмет предположительно лишних зависимостей;
4) обсуждение полученного списка удалений по части особых случаев
   ("так задумано для...") и документирование их в спеках;
5) прогон buildreq -u по затрагивающимся пакетам (хорошо бы
   заодно и версии/spec cleanup/патчи в апстрим...);
6) когда хотя бы большая часть (пусть 80%) затронутых пакетов
   получили зафиксированные полные сборочные зависимости,
   можно вырезать лишние из графа;
7) потихоньку фиксить остатки, имея под рукой (на вики,
   здесь, лишь бы где-то был) текущий список оставшегося;
8) когда пыль начнёт оседать, можно открутить дефолт для
   buildreq назад к оптимизирующему (хотя IMHO хранить полный
   список в закомментированном виде весьма полезно);
9) и хорошо бы подвести итоги -- что было, что стало,
   чего добились и что по дороге оказалось иначе.

Такой подход куда более нудный, чем с шашкой в бой, но скажи,
в каких пунктах неправ и было бы предсказуемо хуже?  Или тебе
просто такое неприемлемо?

> Сохранине статуса-кво перед созданием нового бранча могло бы
> иметь некоторой смыл, хотя к рациональным аргументам это не
> отнсится.

Rationale: стабилизировать реальней то, от чего знаешь,
чего ожидать (проверено собственноручно на 4.0/branch
и Terminal 4.0 -- по качеству он, похоже, вышел почти
как Master 2.4, если судить по отзывам).

Contra: сделать вагон бинарно несовместимых изменений сразу после
бранча -- значит в который раз напороться на повышенные обяза^W
в смысле кровопотери по техническому бэкпортированию.

В любом случае очень надеюсь, что бранч не свалится как снег
на голову.

> Я вообще занимаюсь разработкой, кстати.  А не только излагаю
> свое веские имхи.

Лёш, я тоже предпочитаю что-нить полезное делать, а не всё
бросать и бежать пояснять, уговаривать, уламывать и увещевать.
Вчера уламывал наших разработчиков, переводя с русского на
русский вполне разумную просьбу техотдела, "недостойную"
с чисто технической точки зрения.  Будто поняли.

А ещё кто-то "занимался разработкой", прилепив к регулирующим
стержням РБМК "экономичные" довески, которые поглощали хуже воды.
И неожиданно разогнали реактор при его вроде бы как останове из
непредвиденного режима.

Понимаешь, экономичность установки не стоила здоровья людей,
в том числе и моих близких.

Так и тут.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[Alexey Tourbin]

On Thu, Mar 24, 2011 at 01:17:13AM +0200, Michael Shigorin wrote:
> On Thu, Mar 24, 2011 at 01:03:28AM +0300, Alexey Tourbin wrote:
> > > > Если рациональные аргументы не интересуют
> 
> Сделай мне лично одолжение -- прочти вот эту статью:
> http://egorfine.com/ru/articles/worse-than-failure/

Прочитал.  Там написано, что надо признавать свои ошибки.
Исправление зависимостей у *-devel пакетов ошибкой не является.
В техническом отношении, по крайней мере.

> > > Так их и не видно пока.  Вещание в одни ворота.
> > Рациональный аргумент у меня почти один - у пакетов должны быть
> > правильные зависимости.
> 
> Определи правильные зависимости, пожалуйста.  Не докапываюсь,
> просто когда подходит к трактовке слов, лучше сразу уточнить.

Правильные зависимости - это все те и только те зависимости, которые
обеспечивают работоспособность пакета, что обычно означает возможность
использовать по прямому назначению его содержимое.

Факторы работоспособности *-devel пакетов:
1) Возможность включать хедеры (т.е. должны быть зависимости на хедеры,
которые включаются в свою очередь).
2) Возможность вызывать pkg-config (т.е. должны быть зависимости, которые
обеспечивают Requires в *.pc файлах, иначе pkg-config откажется давать
результат).
3) Возможность линковки.  Если в .pc:Libs: указаны дополнительные
библиотеки, то они должны быть поддержаны соответствующими зависимостями.
Впрочем, настоящая необходимость указывать дополнительные библиотеки в Libs:
возникает очень редко - дополнительные библиотеки в Libs: чаще всего
находятся по ошибке, тогда как на самом деле им место в Libs.private.

Все зависимости, которые не являются правильными, являются неправильными.

> > Если от исправления зависимостей ломаются другие пакеты, то у
> > других пакетов тоже неправильные зависимости, и они тоже должны
> > быть исправлены.
> 
> Смотри, это можно сделать двояко.  Либо разгребя дорогу перед
> теми, кто может добраться и помочь -- либо распинав их со своей
> дороги и... и тогда своими руками.
> 
> Мне кажется, что _правильным_ способом реализации той расчистки,
> что ты задумал и начал делать не с того конца -- был бы такой:
> 
> 1) анонс задумки в devel@;
> 2) модификация buildreq для исключения случайных потерю полных BR;
> 3) анализ сизифа на предмет предположительно лишних зависимостей;
> 4) обсуждение полученного списка удалений по части особых случаев
>    ("так задумано для...") и документирование их в спеках;
> 5) прогон buildreq -u по затрагивающимся пакетам (хорошо бы
>    заодно и версии/spec cleanup/патчи в апстрим...);
> 6) когда хотя бы большая часть (пусть 80%) затронутых пакетов
>    получили зафиксированные полные сборочные зависимости,
>    можно вырезать лишние из графа;
> 7) потихоньку фиксить остатки, имея под рукой (на вики,
>    здесь, лишь бы где-то был) текущий список оставшегося;
> 8) когда пыль начнёт оседать, можно открутить дефолт для
>    buildreq назад к оптимизирующему (хотя IMHO хранить полный
>    список в закомментированном виде весьма полезно);
> 9) и хорошо бы подвести итоги -- что было, что стало,
>    чего добились и что по дороге оказалось иначе.
> 
> Такой подход куда более нудный, чем с шашкой в бой, но скажи,
> в каких пунктах неправ и было бы предсказуемо хуже?  Или тебе
> просто такое неприемлемо?

Это всё долго и глупо.  По сути, надо сделать две вещи.  Сначала
исправить *-devel пакеты.  Потом исправить пакеты, которые из-за
этого сломались.  Пакеты, которые явно сломались, видно в beehive_status.
Исправить их не очень сложно.

Некоторые пакеты стали собираться в урезанной конфигурации.  Такие пакеты
сложнее идентифицировать.  Виновата в этом фирма альт линукс, а вовсе даже
не Алексей Турбин, т.к. его идея интеграции тестовой пересборки в
сборочную систему и создания метарепозитория материально-технически
поддержана не была (хотя разговоров об этом было много).

Лучшее, что у нас сейчас есть - это сравнение пакетов, которое в beehive
после тестовой пересборки.  Кстати это сравнение там не само вскочило -
его кто-то закодил.  Кажется, именно этот код теперь называют rpmdiff.

> > Сохранине статуса-кво перед созданием нового бранча могло бы
> > иметь некоторой смыл, хотя к рациональным аргументам это не
> > отнсится.
> 
> Rationale: стабилизировать реальней то, от чего знаешь,
> чего ожидать (проверено собственноручно на 4.0/branch
> и Terminal 4.0 -- по качеству он, похоже, вышел почти
> как Master 2.4, если судить по отзывам).
> 
> Contra: сделать вагон бинарно несовместимых изменений сразу после
> бранча -- значит в который раз напороться на повышенные обяза^W
> в смысле кровопотери по техническому бэкпортированию.
> 
> В любом случае очень надеюсь, что бранч не свалится как снег
> на голову.

Re: [devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 03:36:51AM +0300, Alexey Tourbin wrote:
> Исправление зависимостей у *-devel пакетов ошибкой не является.
> В техническом отношении, по крайней мере.

В сумме при текущей реализации -- является.

> > > у пакетов должны быть правильные зависимости.
> > Определи правильные зависимости, пожалуйста.  Не докапываюсь,
> > просто когда подходит к трактовке слов, лучше сразу уточнить.
> Правильные зависимости - [...]

Спасибо.

> Факторы работоспособности *-devel пакетов:

По-моему, в списке не хватает того, что в принципе является
Recommends: и потому порой реализовывается прибиванием жёсткой
зависимости между -devel.

Это когда ты не можешь формализовать практику посредством *.h
и *.pc, и соответственно в отсутствие других данных не можешь
сделать _разумный_ вывод по ограниченным сведениям из файлов.
В итоге местами произошла подмена разумного техническим.

> > Или тебе просто такое неприемлемо?
> Это всё долго и глупо.

Закидывать пакеты без увеличения количества анметов тоже
"долго и глупо", но от других ты (и Дима) это сочли возможным
потребовать; здесь же ты выделяешь себя в особый сорт, которому
"долго и глупо" не по ноздре -- или я что-то не так понял?

> Некоторые пакеты стали собираться в урезанной конфигурации.
> Такие пакеты сложнее идентифицировать.  Виновата в этом фирма
> альт линукс, а вовсе даже не Алексей Турбин

Нет, виноват в этом лично ты.  Потому что зная про отсутствие
брода, полез в воду.  Очень плохо, что отмазываешься.  Стыдно.

PS: лично я вон недавно сломал libconfig (правда, уже починил).
Тоже стыдно.  И за тормозной gcc4.4 в 5.1/branch -- очень.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[Aleksey Novodvorsky]

24 марта 2011 г. 3:36 пользователь Alexey Tourbin <at@altlinux.ru> написал:
> On Thu, Mar 24, 2011 at 01:17:13AM +0200, Michael Shigorin wrote:
>> On Thu, Mar 24, 2011 at 01:03:28AM +0300, Alexey Tourbin wrote:
>> > > > Если рациональные аргументы не интересуют
>>
>> Сделай мне лично одолжение -- прочти вот эту статью:
>> http://egorfine.com/ru/articles/worse-than-failure/
>
> Прочитал.  Там написано, что надо признавать свои ошибки.
> Исправление зависимостей у *-devel пакетов ошибкой не является.
> В техническом отношении, по крайней мере.
>
>> > > Так их и не видно пока.  Вещание в одни ворота.
>> > Рациональный аргумент у меня почти один - у пакетов должны быть
>> > правильные зависимости.
>>
>> Определи правильные зависимости, пожалуйста.  Не докапываюсь,
>> просто когда подходит к трактовке слов, лучше сразу уточнить.
>
> Правильные зависимости - это все те и только те зависимости, которые
> обеспечивают работоспособность пакета, что обычно означает возможность
> использовать по прямому назначению его содержимое.
>
> Факторы работоспособности *-devel пакетов:
> 1) Возможность включать хедеры (т.е. должны быть зависимости на хедеры,
> которые включаются в свою очередь).
> 2) Возможность вызывать pkg-config (т.е. должны быть зависимости, которые
> обеспечивают Requires в *.pc файлах, иначе pkg-config откажется давать
> результат).
> 3) Возможность линковки.  Если в .pc:Libs: указаны дополнительные
> библиотеки, то они должны быть поддержаны соответствующими зависимостями.
> Впрочем, настоящая необходимость указывать дополнительные библиотеки в Libs:
> возникает очень редко - дополнительные библиотеки в Libs: чаще всего
> находятся по ошибке, тогда как на самом деле им место в Libs.private.
>
> Все зависимости, которые не являются правильными, являются неправильными.
>
>> > Если от исправления зависимостей ломаются другие пакеты, то у
>> > других пакетов тоже неправильные зависимости, и они тоже должны
>> > быть исправлены.
>>
>> Смотри, это можно сделать двояко.  Либо разгребя дорогу перед
>> теми, кто может добраться и помочь -- либо распинав их со своей
>> дороги и... и тогда своими руками.
>>
>> Мне кажется, что _правильным_ способом реализации той расчистки,
>> что ты задумал и начал делать не с того конца -- был бы такой:
>>
>> 1) анонс задумки в devel@;
>> 2) модификация buildreq для исключения случайных потерю полных BR;
>> 3) анализ сизифа на предмет предположительно лишних зависимостей;
>> 4) обсуждение полученного списка удалений по части особых случаев
>>    ("так задумано для...") и документирование их в спеках;
>> 5) прогон buildreq -u по затрагивающимся пакетам (хорошо бы
>>    заодно и версии/spec cleanup/патчи в апстрим...);
>> 6) когда хотя бы большая часть (пусть 80%) затронутых пакетов
>>    получили зафиксированные полные сборочные зависимости,
>>    можно вырезать лишние из графа;
>> 7) потихоньку фиксить остатки, имея под рукой (на вики,
>>    здесь, лишь бы где-то был) текущий список оставшегося;
>> 8) когда пыль начнёт оседать, можно открутить дефолт для
>>    buildreq назад к оптимизирующему (хотя IMHO хранить полный
>>    список в закомментированном виде весьма полезно);
>> 9) и хорошо бы подвести итоги -- что было, что стало,
>>    чего добились и что по дороге оказалось иначе.
>>
>> Такой подход куда более нудный, чем с шашкой в бой, но скажи,
>> в каких пунктах неправ и было бы предсказуемо хуже?  Или тебе
>> просто такое неприемлемо?
>
> Это всё долго и глупо.  По сути, надо сделать две вещи.  Сначала
> исправить *-devel пакеты.  Потом исправить пакеты, которые из-за
> этого сломались.  Пакеты, которые явно сломались, видно в beehive_status.
> Исправить их не очень сложно.
>
> Некоторые пакеты стали собираться в урезанной конфигурации.  Такие пакеты
> сложнее идентифицировать.  Виновата в этом фирма альт линукс, а вовсе даже
> не Алексей Турбин, т.к. его идея интеграции тестовой пересборки в
> сборочную систему и создания метарепозитория материально-технически
> поддержана не была (хотя разговоров об этом было много).

Она была поддержана, но пока не реализована. Это приоритетное
направление нашей работы, но никаких обещаний по срокам не давалось, а
потому стоит исходить из того, что есть сейчас, а не на то, что мы
ждем завтра.
Не снимая с себя ответственности за невыполнение обоснованных желаний,
надо все же понять, что сейчас делать, а для этого надо оценить
масштаб бедствия сейчас и завтра, если продолжать исправление
devel-пакетов.
Я вижу два варианта:
1. Приостановить исправления devel-пакетов до появления новой техники
в достаточном количестве, обсудить эффестивность частичного отката и
чинить сломанное.
2at: это вовсе не отказ от Вашей работы, а перенос ее на лучшие (у
меня есть основания полагать, что совсем недалекие времена.
2. Продолжать изменения сейчас.

Второй вариант лично мне кажется неприемлемым со всех сторон, кроме
абстрактно-технической. Могу ошибаться, конечно.
Первый вариант требует оценки потенциально воможных последствий и
серьезной поддержки всей команды, невзирая на нынешние и прошлые обиды
и споры. "Чувство локтя", как здесь было сказано.

Наверняка есть иные варианты, предлагайте. Предлагаю не устраивать
сейчас поиск виноватых . Это полезно будет сделать, но лучше при
стабильном Сизифе.


Rgrds, Алексей

Re: [devel] правильные зависимости

[Sergey Alembekov]

24.03.2011 04:04, Aleksey Novodvorsky пишет:
> 1. Приостановить исправления devel-пакетов до появления новой техники
> в достаточном количестве, обсудить эффестивность частичного отката и
> чинить сломанное.
Алексей, не могли бы вы озвучить требования по оборудованию?

-- 
Regards, Sergey Alembekov
ALTLinux Team
xmpp: rt@jabber.ru

Re: [devel] правильные зависимости

[REAL]

24.03.2011 06:36, Alexey Tourbin пишет:
> Правильные зависимости - это все те и только те зависимости, которые
> обеспечивают работоспособность пакета, что обычно означает возможность
> использовать по прямому назначению его содержимое.

А как это коррелирует с диагностикой configure? Иногда оно хочет 
"правильную" зависимость, иногда нет. Как судить будем?

> Впрочем, настоящая необходимость указывать дополнительные библиотеки в Libs:
> возникает очень редко - дополнительные библиотеки в Libs: чаще всего
> находятся по ошибке, тогда как на самом деле им место в Libs.private.

Каков критерий переноса из Libs в Libs.private?

> Все зависимости, которые не являются правильными, являются неправильными.

Вот когда я собирал linuxdoc-tools, он собираться не хотел, несмотря 
на "правильные" (и даже излишние) зависимости. Оказалось, что оно 
хочет один .sty файл, который лежит в texlive-latex-recommended. Из 
приведённых трёх пунктов следует, что эта зависимость, которую я внёс 
руками, является неправильной. И как дальше жить? Это ведь далеко не 
единичный случай.

> Это всё долго и глупо.  По сути, надо сделать две вещи.  Сначала
> исправить *-devel пакеты.  Потом исправить пакеты, которые из-за
> этого сломались.  Пакеты, которые явно сломались, видно в beehive_status.
> Исправить их не очень сложно.

По сути, эти две вещи должен делать _один и тот же_ человек.

> Лучшее, что у нас сейчас есть - это сравнение пакетов, которое в beehive
> после тестовой пересборки.  Кстати это сравнение там не само вскочило -
> его кто-то закодил.  Кажется, именно этот код теперь называют rpmdiff.

Почему до сих пор на почту приходит совершенно невнятный beehive, по 
которому редко когда получается определить, из-за чего сломалась сборка?

PS. Не подумайте, что я тут с обвинениями выступаю :)
Просто если уж начали разговор про вещи, которые затрагивают многих, 
давайте пройдёмся по всему списку проблем.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] rpmdiff

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 427 bytes --]

On Thu, Mar 24, 2011 at 03:36:51AM +0300, Alexey Tourbin wrote:
> Лучшее, что у нас сейчас есть - это сравнение пакетов, которое в beehive
> после тестовой пересборки.

На том же оборудовании можно было бы добиться лучшего.

> Кстати это сравнение там не само вскочило -
> его кто-то закодил.  Кажется, именно этот код теперь называют rpmdiff.

Существует rpmdiff(1) из полузаброшенного пакета rpmlint.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1648 bytes --]

On Thu, Mar 24, 2011 at 03:36:51AM +0300, Alexey Tourbin wrote:
> Правильные зависимости - это все те и только те зависимости, которые
> обеспечивают работоспособность пакета, что обычно означает возможность
> использовать по прямому назначению его содержимое.
> 
> Факторы работоспособности *-devel пакетов:
> 1) Возможность включать хедеры (т.е. должны быть зависимости на хедеры,
> которые включаются в свою очередь).
> 2) Возможность вызывать pkg-config (т.е. должны быть зависимости, которые
> обеспечивают Requires в *.pc файлах, иначе pkg-config откажется давать
> результат).
> 3) Возможность линковки.  Если в .pc:Libs: указаны дополнительные
> библиотеки, то они должны быть поддержаны соответствующими зависимостями.
> Впрочем, настоящая необходимость указывать дополнительные библиотеки в Libs:
> возникает очень редко - дополнительные библиотеки в Libs: чаще всего
> находятся по ошибке, тогда как на самом деле им место в Libs.private.
> 
> Все зависимости, которые не являются правильными, являются неправильными.

Мне не подходит такое определение, поскольку в таком случае
неправильность зависимости была бы сильно изменчивой функцией
от репозитория, для которого собирается пакет.

Я считаю, что избыточные зависимости, которые не влияют
на результат сборки, называть неправильными просто неправомерно.

> Это всё долго и глупо.  По сути, надо сделать две вещи.  Сначала
> исправить *-devel пакеты.  Потом исправить пакеты, которые из-за
> этого сломались.  Пакеты, которые явно сломались, видно в beehive_status.
> Исправить их не очень сложно.

Однако они до сих пор не исправлены.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[REAL]

24.03.2011 15:31, Dmitry V. Levin пишет:
>> Это всё долго и глупо.  По сути, надо сделать две вещи.  Сначала
>> исправить *-devel пакеты.  Потом исправить пакеты, которые из-за
>> этого сломались.  Пакеты, которые явно сломались, видно в beehive_status.
>> Исправить их не очень сложно.
>
> Однако они до сих пор не исправлены.

Тут вопрос больше в том, как отличить по beehive_status, что пакеты 
нужны, а не должны быть удалены нафиг :) ? Кроме показа там же, в 
beehive_status, какие пакеты от них зависят, в голову ничего не 
приходит. А если от сломанного пакета ничто не зависит, то его и не 
жалко (если лидер у него @nobody).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> Я считаю, что избыточные зависимости, которые не влияют
> на результат сборки, называть неправильными просто неправомерно.

И эти люди заставляли нас внедрять --as-needed! И чинить КУЧИ пакетов
только из-за того, чтобы устранить лишние зависимости.
Дим, будь последователен. Не надо тут всем девелом производить
дефекацию стройматериалов, нужно лишь разработать диагностику
изменения зависимостей, которая и так уже давно напрашивалась.

Re: [devel] правильные зависимости

[REAL]

24.03.2011 15:53, Damir Shayhutdinov пишет:
>> Я считаю, что избыточные зависимости, которые не влияют
>> на результат сборки, называть неправильными просто неправомерно.
>
> И эти люди заставляли нас внедрять --as-needed!

Ну насколько я понял, здесь речь про _сборочные_ зависимости. Кажется :-/

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

>>> Я считаю, что избыточные зависимости, которые не влияют
>>> на результат сборки, называть неправильными просто неправомерно.
>>
>> И эти люди заставляли нас внедрять --as-needed!
>
> Ну насколько я понял, здесь речь про _сборочные_ зависимости. Кажется :-/

В данном контексте это не особо важно, ведь пересобирать все равно пришлось.

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 806 bytes --]

On Thu, Mar 24, 2011 at 01:45:37PM +0300, Damir Shayhutdinov wrote:
> >>> Я считаю, что избыточные зависимости, которые не влияют
> >>> на результат сборки, называть неправильными просто неправомерно.
> >>
> >> И эти люди заставляли нас внедрять --as-needed!
> >
> > Ну насколько я понял, здесь речь про _сборочные_ зависимости. Кажется :-/
> 
> В данном контексте это не особо важно, ведь пересобирать все равно пришлось.

Дифференциация между сборочными и установочными зависимостями тут не при
чем.  Я говорил о характере изменения зависимостей с точки зрения влияния
на результат сборки.  Оптимизация избыточных зависимостей по определению
не влияет на результат сборки.  Оптимизация линковки задумана именно для
того, чтобы улучшить результат сборки.  Чувствуете разницу?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[REAL]

24.03.2011 16:53, Dmitry V. Levin пишет:
> Оптимизация избыточных зависимостей по определению
> не влияет на результат сборки.

Как оказалось, это определение сейчас неприменимо к Сизифу :)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> Дифференциация между сборочными и установочными зависимостями тут не при
> чем.  Я говорил о характере изменения зависимостей с точки зрения влияния
> на результат сборки.  Оптимизация избыточных зависимостей по определению
> не влияет на результат сборки.  Оптимизация линковки задумана именно для
> того, чтобы улучшить результат сборки.  Чувствуете разницу?

Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
--as-needed, вообще не собирались. С изменением Алексея, теоретически,
пакеты соберутся, но не совсем корректно, так как в билдруте не
окажется нужных девел-пакетов, и configure пройдет без них.

Практически многие пакеты просто отвалятся на этапе configure (мы
раньше уже много раз проходили такие "развалы", логи пересборок не
дадут соврать).

Те, которые потенциально соберутся некорректно, достаточно легко
определить, это пакеты, прошедшие в Сизиф после изменения Алексея.
Именно по ним (а не по всему репозитарию), необходимо провести
диагностику rpmdiff-ом, чтобы понять глубину разлома.

По тем же пакетам, которые вообще не собрались - рекомендация такая
же, как и в случае --as-needed/-D_FORTIFY_SOURCE - исправить и залить.
Возможно, это сможет сделать даже репокоп с его могучим NMU.

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1318 bytes --]

On Thu, Mar 24, 2011 at 02:09:46PM +0300, Damir Shayhutdinov wrote:
> > Дифференциация между сборочными и установочными зависимостями тут не при
> > чем.  Я говорил о характере изменения зависимостей с точки зрения влияния
> > на результат сборки.  Оптимизация избыточных зависимостей по определению
> > не влияет на результат сборки.  Оптимизация линковки задумана именно для
> > того, чтобы улучшить результат сборки.  Чувствуете разницу?
> 
> Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
> --as-needed, вообще не собирались. С изменением Алексея, теоретически,
> пакеты соберутся, но не совсем корректно, так как в билдруте не
> окажется нужных девел-пакетов, и configure пройдет без них.

Да, регрессии этого рода наиболее неприятны.

> Практически многие пакеты просто отвалятся на этапе configure (мы
> раньше уже много раз проходили такие "развалы", логи пересборок не
> дадут соврать).
> 
> Те, которые потенциально соберутся некорректно, достаточно легко
> определить, это пакеты, прошедшие в Сизиф после изменения Алексея.
> Именно по ним (а не по всему репозитарию), необходимо провести
> диагностику rpmdiff-ом, чтобы понять глубину разлома.

Какие-то пакеты _уже_ собрались некорректно.  Некоторые из них уже
исправлены, но, наверное, еще не все.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[REAL]

24.03.2011 17:13, Dmitry V. Levin пишет:
>> Те, которые потенциально соберутся некорректно, достаточно легко
>> определить, это пакеты, прошедшие в Сизиф после изменения Алексея.
>> Именно по ним (а не по всему репозитарию), необходимо провести
>> диагностику rpmdiff-ом, чтобы понять глубину разлома.
>
> Какие-то пакеты _уже_ собрались некорректно.  Некоторые из них уже
> исправлены, но, наверное, еще не все.

Это значит, наверное, что всё не так плохо, как рисуется после этого 
двухдневного обсуждения? К тому же Алексей говорит, что за несколько 
дней он починит и остальное. Так что, думаю, трагедия скорее мнимая 
(паникёрская), чем реально страшная. Всё утрясётся, главное, шашкой не 
махать ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Anton Farygin]

24.03.2011 14:13, Dmitry V. Levin пишет:
> On Thu, Mar 24, 2011 at 02:09:46PM +0300, Damir Shayhutdinov wrote:
>>> Дифференциация между сборочными и установочными зависимостями тут не при
>>> чем.  Я говорил о характере изменения зависимостей с точки зрения влияния
>>> на результат сборки.  Оптимизация избыточных зависимостей по определению
>>> не влияет на результат сборки.  Оптимизация линковки задумана именно для
>>> того, чтобы улучшить результат сборки.  Чувствуете разницу?
>>
>> Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
>> --as-needed, вообще не собирались. С изменением Алексея, теоретически,
>> пакеты соберутся, но не совсем корректно, так как в билдруте не
>> окажется нужных девел-пакетов, и configure пройдет без них.
>
> Да, регрессии этого рода наиболее неприятны.
>

Дима, было бы неплохо при пересборках сравнивать новые и старые 
зависимости фиксировать случаи, когда они отличаются.

Re: [devel] правильные зависимости

[REAL]

24.03.2011 17:09, Damir Shayhutdinov пишет:
> По тем же пакетам, которые вообще не собрались - рекомендация такая
> же, как и в случае --as-needed/-D_FORTIFY_SOURCE - исправить и залить.
> Возможно, это сможет сделать даже репокоп с его могучим NMU.

В смысле репокоп обладает правами суперюзера?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

>> По тем же пакетам, которые вообще не собрались - рекомендация такая
>> же, как и в случае --as-needed/-D_FORTIFY_SOURCE - исправить и залить.
>> Возможно, это сможет сделать даже репокоп с его могучим NMU.
>
> В смысле репокоп обладает правами суперюзера?

С учетом того, что многие пакеты, которые нужно исправлять, уже висят
на nobody@ или qa@, даже права суперюзера не нужны.

Re: [devel] правильные зависимости

[REAL]

24.03.2011 17:37, Damir Shayhutdinov пишет:
>>> По тем же пакетам, которые вообще не собрались - рекомендация такая
>>> же, как и в случае --as-needed/-D_FORTIFY_SOURCE - исправить и залить.
>>> Возможно, это сможет сделать даже репокоп с его могучим NMU.
>>
>> В смысле репокоп обладает правами суперюзера?
>
> С учетом того, что многие пакеты, которые нужно исправлять, уже висят
> на nobody@ или qa@, даже права суперюзера не нужны.

Я ещё вчера писал, что некоторые пакеты держат пересборку других 
пакетов, т.е. даже у @qa на них нет прав.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> Я ещё вчера писал, что некоторые пакеты держат пересборку других пакетов,
> т.е. даже у @qa на них нет прав.

Как показала практика с тем же aspell, отсутствие прав никого не
останавливает ;)

Re: [devel] правильные зависимости

[REAL]

24.03.2011 17:42, Damir Shayhutdinov пишет:
>> Я ещё вчера писал, что некоторые пакеты держат пересборку других пакетов,
>> т.е. даже у @qa на них нет прав.
>
> Как показала практика с тем же aspell, отсутствие прав никого не
> останавливает ;)

Это смотря у кого ACL. aspell - это удача. А к тем, кто хамит в личной 
почте, я второй раз уже не обращусь. Ну и к ldv@ по таким пакетам 
тоже, ибо хамство может повториться, причём может даже и публично.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Sergey Y. Afonin]

On Thursday, March 24, 2011, Damir Shayhutdinov wrote:

> Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
> --as-needed, вообще не собирались. 

Однако там была/есть возможность сделать
export LDFLAGS="$LDFLAGS -Wl,--no-as-needed"
в крайнем случае.

-- 
С уважением, Сергей Афонин
asy@altlinux.ru

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

>> Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
>> --as-needed, вообще не собирались.
>
> Однако там была/есть возможность сделать
> export LDFLAGS="$LDFLAGS -Wl,--no-as-needed"
> в крайнем случае.

Точно, а в новом Сизифе есть возможность прогнать buildreq -u (и
наверное это может делать даже робот).

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 576 bytes --]

On Thu, Mar 24, 2011 at 02:47:23PM +0300, Damir Shayhutdinov wrote:
> >> Я вижу разницу лишь в том, что раньше пакеты, не заточенные под
> >> --as-needed, вообще не собирались.
> >
> > Однако там была/есть возможность сделать
> > export LDFLAGS="$LDFLAGS -Wl,--no-as-needed"
> > в крайнем случае.
> 
> Точно, а в новом Сизифе есть возможность прогнать buildreq -u (и
> наверное это может делать даже робот).

Есть загвоздка: buildreq -u надо запускать в достаточной сборочной среде.
А у нас именно достаточность сборочной среды теперь под вопросом.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> Есть загвоздка: buildreq -u надо запускать в достаточной сборочной среде.
> А у нас именно достаточность сборочной среды теперь под вопросом.

Если есть логи старых сборок этого пакета, можно установить только то,
что устанавливалось тогда.

Re: [devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 02:55:09PM +0300, Damir Shayhutdinov wrote:
> > Есть загвоздка: buildreq -u надо запускать в достаточной сборочной среде.
> > А у нас именно достаточность сборочной среды теперь под вопросом.
> Если есть логи старых сборок этого пакета, можно установить
> только то, что устанавливалось тогда.

А теперь сравни это с предложенным "нудным" планом.

PS: про FUD ты погорячился, к моему же сожалению.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

>> > Есть загвоздка: buildreq -u надо запускать в достаточной сборочной среде.
>> > А у нас именно достаточность сборочной среды теперь под вопросом.
>> Если есть логи старых сборок этого пакета, можно установить
>> только то, что устанавливалось тогда.
>
> А теперь сравни это с предложенным "нудным" планом.
Каким планом?

> PS: про FUD ты погорячился, к моему же сожалению.

Без цифр это же просто паника. Такие "разломы" Сизифа бывали и раньше,
последний вроде был с -lXft или вроде того.

Re: [devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 03:44:36PM +0300, Damir Shayhutdinov wrote:
> >> > Есть загвоздка: buildreq -u надо запускать в достаточной сборочной среде.
> >> > А у нас именно достаточность сборочной среды теперь под вопросом.
> >> Если есть логи старых сборок этого пакета, можно установить
> >> только то, что устанавливалось тогда.
> > А теперь сравни это с предложенным "нудным" планом.
> Каким планом?

В письме, которым сменил тред:
http://lists.altlinux.org/pipermail/devel/2011-March/189387.html

> > PS: про FUD ты погорячился, к моему же сожалению.
> Без цифр это же просто паника.

Дело не в цифрах, а в отношении.

> Такие "разломы" Сизифа бывали и раньше, последний вроде был
> с -lXft или вроде того.

И их тоже могло не быть, если б отношение не было "я знаю лучше".

Ночью вспомнилось читанное в детстве из воспоминаний о Королёве:
как-то парнишка-крановщик зазевался и ударил блок ракеты-носителя
о бетон.  Когда нашёл виновника -- не морду ему бил, а спросил,
понимает ли тот, работу какого множества других людей угробил.

И другое сейчас вспомнилось: в войну на танковом заводе тоже
парнишка подтаскивал болванки от печи, которая выдавала с двух
концов сталь разной степени углеродистости (и хрупкости).  Одни
шли на ведущие шестерни гусениц, другие -- на коробку передач.
Когда не хватало, парнишка в рвении бегал на другой конец, чтоб
хоть как-то помочь.  А в итоге срывало зубы в КП и несколько
танков остались без хода перед огнём.  Когда поняли, не стали
особо наказывать, но построили стенку, чтоб "передела" не было.

Лёша ж не со зла, и сами по себе вещи делает хорошие и нужные.
Вот только делать их стоит немного вдумчивей не только о байтиках
и не теряя всей картинки из виду, раз уж взялся за всю.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

>> > А теперь сравни это с предложенным "нудным" планом.
>> Каким планом?
>
> В письме, которым сменил тред:
> http://lists.altlinux.org/pipermail/devel/2011-March/189387.html

У нудного плана есть один очень большой недостаток - его должен
реализовывать нудный человек. (Не в плохом смысле конечно, а в
психологическом - дотошный до мелочей педант). А если дать его
реализовать не нудному человеку - то не получится ничего, кроме
психологического уставания, осознания собственной бесполезности, и
шанс довести это дело до конца будет очень мизерный. Это как разница
между эволюционным и революционным путем развития. У меня такое
ощущение, что тем, кто развивает Сизиф, больше близок революционный
путь, а не эволюционный.

Разница в сущности та же самая, как между репокопом и sisyphus_check.
Баги, найденные репокопом, чинятся годами. Баги, найденные
sisyphus_check-ом, чинятся очень быстро.

Хотя конечно, многим это очень не нравится. И я это понимаю, но если
делать по-другому, нужен бОльший запас энтузиазма, чем доступен ALT
Linux Team.

>> Такие "разломы" Сизифа бывали и раньше, последний вроде был
>> с -lXft или вроде того.
>
> И их тоже могло не быть, если б отношение не было "я знаю лучше".
Логики реагируют только на логические аргументы.

> Лёша ж не со зла, и сами по себе вещи делает хорошие и нужные.
> Вот только делать их стоит немного вдумчивей не только о байтиках
> и не теряя всей картинки из виду, раз уж взялся за всю.

Errare humanum est. Думаю, Лёша сделает выводы. Хотя по-моему,
последствия сильно преувеличены. Все теоретические проблемы из-за
весьма ограниченного списка пакетов, которые исповедуют принцип
"гибкости" в сборке - если какие-то зависимости не найдены - то они
тихо отрываются, вместо того, чтобы громко об этом заявлять. Без этого
это обычный "массовый разлом", через которые мы проходили не раз и не
два.

Re: [devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 04:22:34PM +0300, Damir Shayhutdinov wrote:
> > http://lists.altlinux.org/pipermail/devel/2011-March/189387.html
> У нудного плана есть один очень большой недостаток - его должен
> реализовывать нудный человек.

В этом ты прав, но если хотя бы попытаться предупредить --
наверное, можно было бы оговорить что-то вроде подзаморозки
сизифа на проведение пачки изменений за несколько суток без
"наводок", не связанных с поставленной и принятой задачей.

> >> Такие "разломы" Сизифа бывали и раньше, последний вроде был
> >> с -lXft или вроде того.
> > И их тоже могло не быть, если б отношение не было "я знаю лучше".
> Логики реагируют только на логические аргументы.

"Сырая строка слишком большая, будет как почти как в suse"
-- логический контраргумент против валидного юзкейса?

http://lists.altlinux.org/pipermail/devel/2007-March/137272.html

Потом сам и запатчил, но потеря данных же продолжается.

> Errare humanum est. Думаю, Лёша сделает выводы.

Я тоже на это надеюсь.

> Хотя по-моему, последствия сильно преувеличены. Все
> теоретические проблемы из-за весьма ограниченного списка
> пакетов, которые исповедуют принцип "гибкости" в сборке -
> если какие-то зависимости не найдены - то они тихо отрываются,
> вместо того, чтобы громко об этом заявлять.

Возможно, ты не понял -- но как раз это и есть самая неприятная
техническая проблема, возникшая вследствие решения задачи не с
того конца.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> В этом ты прав, но если хотя бы попытаться предупредить --
> наверное, можно было бы оговорить что-то вроде подзаморозки
> сизифа на проведение пачки изменений за несколько суток без
> "наводок", не связанных с поставленной и принятой задачей.
Просто интересно, а сколько некорректно собранных пакетов прошло в
Сизиф? Если 0, тогда можно считать это обсуждение предупреждением, при
том что Лёша вроде обещал все починить, что в его силах.


>> > И их тоже могло не быть, если б отношение не было "я знаю лучше".
>> Логики реагируют только на логические аргументы.
>
> "Сырая строка слишком большая, будет как почти как в suse"
> -- логический контраргумент против валидного юзкейса?
>
> http://lists.altlinux.org/pipermail/devel/2007-March/137272.html
Нет, логический контраргумент должен был быть против этой "сырой
строки". Например "вывод сырой строки увеличивает спек на 1%, а в
случае каких-то проблем поможет быстрее сообразить, в чем проблема.
Аналог debuginfo для buildreq"

> Потом сам и запатчил, но потеря данных же продолжается.
Buildreq не панацея же. Те, кто им не пользовался, вроде как и не
пострадают особо.

>> Хотя по-моему, последствия сильно преувеличены. Все
>> теоретические проблемы из-за весьма ограниченного списка
>> пакетов, которые исповедуют принцип "гибкости" в сборке -
>> если какие-то зависимости не найдены - то они тихо отрываются,
>> вместо того, чтобы громко об этом заявлять.
>
> Возможно, ты не понял -- но как раз это и есть самая неприятная
> техническая проблема, возникшая вследствие решения задачи не с
> того конца.

Неприятная техническая проблема, произошедшая со сколькими пакетами?

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 622 bytes --]

On Thu, Mar 24, 2011 at 05:19:46PM +0300, Damir Shayhutdinov wrote:
> > В этом ты прав, но если хотя бы попытаться предупредить --
> > наверное, можно было бы оговорить что-то вроде подзаморозки
> > сизифа на проведение пачки изменений за несколько суток без
> > "наводок", не связанных с поставленной и принятой задачей.
> Просто интересно, а сколько некорректно собранных пакетов прошло в
> Сизиф?

Неизвестно. :(

> Если 0, тогда можно считать это обсуждение предупреждением, при
> том что Лёша вроде обещал все починить, что в его силах.

Лёша, напомни, пожалуйста, что ты обещал починить?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[Alexey Tourbin]

On Thu, Mar 24, 2011 at 07:21:52PM +0300, Dmitry V. Levin wrote:
> On Thu, Mar 24, 2011 at 05:19:46PM +0300, Damir Shayhutdinov wrote:
> > > В этом ты прав, но если хотя бы попытаться предупредить --
> > > наверное, можно было бы оговорить что-то вроде подзаморозки
> > > сизифа на проведение пачки изменений за несколько суток без
> > > "наводок", не связанных с поставленной и принятой задачей.
> > Просто интересно, а сколько некорректно собранных пакетов прошло в
> > Сизиф?
> 
> Неизвестно. :(

У нас есть данные прошлых пересборок.  По ним можно установить почти все
пакеты, которые уже прошли урезанными в сизиф.  Кроме тех пакетов, которые
установить тамким образом нельзя.

> > Если 0, тогда можно считать это обсуждение предупреждением, при
> > том что Лёша вроде обещал все починить, что в его силах.
> 
> Лёша, напомни, пожалуйста, что ты обещал починить?

Сегодня я обещал написать скрипт для более точного определения пакетов
с урезанной конфигурацией, т.к. это более тонкая проблема, чем FTBFS.

Re: [devel] правильные зависимости

[Michael Shigorin]

On Thu, Mar 24, 2011 at 08:29:46PM +0300, Alexey Tourbin wrote:
> Кроме тех пакетов, которые установить тамким образом нельзя.

Например, wammu (wxpython) с "обрезанным" wxGTK собралось
спокойно, в то время как audacity сломалось.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] правильные зависимости

[REAL]

25.03.2011 00:16, Michael Shigorin пишет:
>> Кроме тех пакетов, которые установить тамким образом нельзя.
>
> Например, wammu (wxpython) с "обрезанным" wxGTK собралось
> спокойно

Оно питонье, ему пофиг, что там "обрезано" ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 976 bytes --]

On Thu, Mar 24, 2011 at 12:53:39PM +0300, Damir Shayhutdinov wrote:
> > Я считаю, что избыточные зависимости, которые не влияют
> > на результат сборки, называть неправильными просто неправомерно.
> 
> И эти люди заставляли нас внедрять --as-needed! И чинить КУЧИ пакетов
> только из-за того, чтобы устранить лишние зависимости.
> Дим, будь последователен.

--as-needed влияет на результат сборки.  Помнится, я когда-то публично
демонстрировал бывшему мейнтейнеру gdm, что после добавления --as-needed
его gdm стал быстрее работать.  Если бы оптимизация сборочных
зависимостей приводила бы к улучшению результата сборки, то это можно
было бы назвать исправлением, а не просто оптимизацией.

> Не надо тут всем девелом производить
> дефекацию стройматериалов, нужно лишь разработать диагностику
> изменения зависимостей, которая и так уже давно напрашивалась.

В таком случае надо было внедрить эту диагностику до, а не после
разлома пакетов.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> --as-needed влияет на результат сборки.
На зависимости бинарного пакета. На работу собранных приложений
влияет, но не так уж сильно.

>  Помнится, я когда-то публично
> демонстрировал бывшему мейнтейнеру gdm, что после добавления --as-needed
> его gdm стал быстрее работать.
Я помню, и это еще один довод в пользу исправления зависимостей.

>  Если бы оптимизация сборочных
> зависимостей приводила бы к улучшению результата сборки, то это можно
> было бы назвать исправлением, а не просто оптимизацией.

А как насчет уменьшения времени сборки, за счет того, что лишние
зависимости не устанавливаются в систему? Сборочные
серверы и так перегружены, а меньше пакетов в сборочном чруте = меньше
ввода-ввода. Если в процессе сборки именно ввод-вывод является узким
местом, получится хорошая экономия. Или у вас уже решена проблема с
железом?

>> Не надо тут всем девелом производить
>> дефекацию стройматериалов, нужно лишь разработать диагностику
>> изменения зависимостей, которая и так уже давно напрашивалась.
>
> В таком случае надо было внедрить эту диагностику до, а не после
> разлома пакетов.

Тут стоило бы наверное вспомнить, как кое-кто проводил внедрение
--as-needed и -D_FORTIFY_SOURCE ?

Единственная причина разлома пакетов, на мой взгляд, в том, что
мантейнеры генерируют зависимости сборки buildreq-ом, а он оказался
слишком услужливым (оптимизированным). Кто писал BuildRequires руками,
читая документацию, предоставляемую апстримом, от такого разлома
защищен, не так ли?

Re: [devel] правильные зависимости

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1728 bytes --]

On Thu, Mar 24, 2011 at 01:56:14PM +0300, Damir Shayhutdinov wrote:
> А как насчет уменьшения времени сборки, за счет того, что лишние
> зависимости не устанавливаются в систему? Сборочные
> серверы и так перегружены, а меньше пакетов в сборочном чруте = меньше
> ввода-ввода. Если в процессе сборки именно ввод-вывод является узким
> местом, получится хорошая экономия. Или у вас уже решена проблема с
> железом?

Нам всегда нужно на порядок больше железа, чем у нас есть. ;)
Поскольку никаких оценок результата оптимизации сборочных зависимостей с
точки зрения экономии времени сборки не приводилось, я могу предположить,
что эта экономия в большинстве случаев находится в рамках погрешности
измерения.

> >> Не надо тут всем девелом производить
> >> дефекацию стройматериалов, нужно лишь разработать диагностику
> >> изменения зависимостей, которая и так уже давно напрашивалась.
> >
> > В таком случае надо было внедрить эту диагностику до, а не после
> > разлома пакетов.
> 
> Тут стоило бы наверное вспомнить, как кое-кто проводил внедрение
> --as-needed и -D_FORTIFY_SOURCE ?

Я думаю, что тогда был консенсус и результат стоил тех затрат.
Сейчас и согласия нет, и положительный результат этого изменения, на
мой взгляд, настолько незначителен, что можно было подождать, когда
появится железо, необходимое для заблаговременного вычисления регрессий.

> Единственная причина разлома пакетов, на мой взгляд, в том, что
> мантейнеры генерируют зависимости сборки buildreq-ом, а он оказался
> слишком услужливым (оптимизированным). Кто писал BuildRequires руками,
> читая документацию, предоставляемую апстримом, от такого разлома
> защищен, не так ли?

В значительной мере.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> Нам всегда нужно на порядок больше железа, чем у нас есть. ;)
> Поскольку никаких оценок результата оптимизации сборочных зависимостей с
> точки зрения экономии времени сборки не приводилось, я могу предположить,
> что эта экономия в большинстве случаев находится в рамках погрешности
> измерения.

В случае --as-needed было 5% на gdm, а для большинства случаев
наверное тоже в рамках погрешности изменения.В случае с оптимизацией
сборочных зависимостей выигрыш в основном для ООО (и для тех, кто
пересобирает пакеты в своем окружении - бэкпортс, автопортс etc), а не
для конечного пользователя, который, как и в случае --as-needed,
ничего и не заметит.

>> Тут стоило бы наверное вспомнить, как кое-кто проводил внедрение
>> --as-needed и -D_FORTIFY_SOURCE ?
>
> Я думаю, что тогда был консенсус и результат стоил тех затрат.

Тогда был не консенсус, а авторитет. Все-таки у Алексея авторитет-то
поменьше, чем у тебя. У тебя получилось ради 5% подрывать всю команду
исправлять полсизифа (правда некоторые тогда просто покинули проект),
а вот к с ним это не сработало.

> Сейчас и согласия нет, и положительный результат этого изменения, на
> мой взгляд, настолько незначителен, что можно было подождать, когда
> появится железо, необходимое для заблаговременного вычисления регрессий.

А сейчас твой авторитет работает против, поэтому и нет согласия. Я
прочитал весь тред, и не увидел цифр, отражающих разлом. Я уловил
только состояние паники, выражающееся примерно в словах "Опять этот
Турбин все сломал", "Ах, что же делать", "Народ уже и так разбегается,
а тут еще и вот на тебе".

Без цифр говорить особо и не о чем. FUD-а и так уже достаточно.

Re: [devel] правильные зависимости

[Igor Vlasenko]

On Thu, Mar 24, 2011 at 02:29:15PM +0300, Damir Shayhutdinov wrote:
> > Я думаю, что тогда был консенсус и результат стоил тех затрат.
> 
> Тогда был не консенсус, а авторитет. Все-таки у Алексея авторитет-то
> поменьше, чем у тебя. У тебя получилось ради 5% подрывать всю команду
> исправлять полсизифа (правда некоторые тогда просто покинули проект),
> а вот к с ним это не сработало.

А какой был бы у Дмитрия авторитет, если бы он проводил 
эти изменения в духе (внизу): ?
ВНЕЗАПНО {
	новость: в позавчерашнем gcc включена новая фича;
	теперь ваши пакеты собираться не будут.
}

Есть процедуры, и у нас в том числе,
что сначала надо писать анонс, дать людям время высказаться,
понять, привыкнуть, освоиться.

Человек похож на лягушку. Чтобы сварить лягушку, нужно налить
холодную воду и медленно поднимать температуру.
Дмитрий правила старается соблюдать. Поэтому у него и получается.
А Алексей бросает лягушку в кипяток, и удивляется,
откуда недовольство.

> Без цифр говорить особо и не о чем. FUD-а и так уже достаточно.
Из-за того, что без оповещения, втихаря, сделано, те же
изменения в sisyphus_check, и возник FUD.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] правильные зависимости

[Igor Vlasenko]

On Thu, Mar 24, 2011 at 04:07:52PM +0200, Igor Vlasenko wrote:
> > Без цифр говорить особо и не о чем. FUD-а и так уже достаточно.
> Из-за того, что без оповещения, втихаря, сделано, те же
> изменения в sisyphus_check, и возник FUD.

А так Алексей делает важную и полезную работу.
И за это только спасибо можно сказать.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] правильные зависимости

[Damir Shayhutdinov]

> А какой был бы у Дмитрия авторитет, если бы он проводил
> эти изменения в духе (внизу): ?
> ВНЕЗАПНО {
>        новость: в позавчерашнем gcc включена новая фича;
>        теперь ваши пакеты собираться не будут.
> }
Да так у нас было практически при каждой смене версии gcc. Просто в
этом виноват не Дмитрий, а апстрим.
Единственное - у Дмитрия видимо есть секретное оружие - возможность
тестовой пересборки Сизифа с новым компилятором, а вот у Лёши видимо
этого секретного оружия нет.

> Есть процедуры, и у нас в том числе,
> что сначала надо писать анонс, дать людям время высказаться,
> понять, привыкнуть, освоиться.
Курс на исправление зависимостей был взят уже давно, насколько мне
известно, и тут неоднократно анонсировался и обсуждался.

>> Без цифр говорить особо и не о чем. FUD-а и так уже достаточно.
> Из-за того, что без оповещения, втихаря, сделано, те же
> изменения в sisyphus_check, и возник FUD.

Вообще про sisyphus_check - это немножко не то, но тут я могу достать
свое секретное оружие - массовые пересборки репокопом для исправления
ошибок, найденных репокопом, и на которые не было реакции в течение
N-ого времени. ;) Xorg у нас модульный уже очень и очень давно, о
необходимости детализировать сборочные зависимости тоже очень давно
заявляли. Кто не спрятался - тот получил сполна. То есть был и анонс,
и время высказаться, понять, привыкнуть, освоиться ;) Тут лично у меня
к Лёше претензий нет.

Re: [devel] правильные зависимости

[Igor Vlasenko]

On Thu, Mar 24, 2011 at 05:29:10PM +0300, Damir Shayhutdinov wrote:
> Вообще про sisyphus_check - это немножко не то, но тут я могу достать
> свое секретное оружие - массовые пересборки репокопом для исправления
> ошибок, найденных репокопом, и на которые не было реакции в течение
> N-ого времени. ;) Xorg у нас модульный уже очень и очень давно, о
> необходимости детализировать сборочные зависимости тоже очень давно
> заявляли. Кто не спрятался - тот получил сполна. То есть был и анонс,
> и время высказаться, понять, привыкнуть, освоиться ;) Тут лично у меня
> к Лёше претензий нет.

Ок, действительно. Тогда вопросы снимаются. 
to at@:
Алексей, демотивировать вас не хочу, если обидел, 
прошу прощения. Keep your good work!

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] devel deps optimization failure

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1025 bytes --]

On Thu, Mar 24, 2011 at 03:36:51AM +0300, Alexey Tourbin wrote:
> On Thu, Mar 24, 2011 at 01:17:13AM +0200, Michael Shigorin wrote:
> > On Thu, Mar 24, 2011 at 01:03:28AM +0300, Alexey Tourbin wrote:
> > > > > Если рациональные аргументы не интересуют
> > 
> > Сделай мне лично одолжение -- прочти вот эту статью:
> > http://egorfine.com/ru/articles/worse-than-failure/
> 
> Прочитал.  Там написано, что надо признавать свои ошибки.
> Исправление зависимостей у *-devel пакетов ошибкой не является.
> В техническом отношении, по крайней мере.

Тебе известна разница между исправлением и оптимизацией?

В техническом отношении оптимизация зависимостей у devel-пакетов вообще
ничего не дает, кроме незначительного уменьшения размера сборочной среды.
Зато все регрессии в результате этой оптимизации сейчас даже вычислить
непросто.

"The First Rule of Program Optimization:
  Don't do it.
The Second Rule of Program Optimization (for experts only!):
  Don't do it yet." - Michael A. Jackson


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] правильные зависимости

[REAL]

24.03.2011 05:17, Michael Shigorin пишет:
> 4) обсуждение полученного списка удалений по части особых случаев
>     ("так задумано для...") и документирование их в спеках;

Вот без этого пункта вообще не нужно было и начинать. А то 
действительно, воровство времени и сил у коллег по team получается.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ