Re: [devel] [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1

Re: [devel] [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1

[Michael Shigorin]

On Mon, Dec 21, 2015 at 10:50:03AM +0000, Girar Builder awaiter robot wrote:
> http://git.altlinux.org/tasks/154910/logs/events.2.1.log
> 
> 2015-Dec-21 10:47:35 :: test-only task #154910 for sisyphus resumed by solo:
> #100 removed
> #200 build 0.2.17-alt1.1 from /people/solo/packages/mkimage.git

Лёш, аккуратней надо.  Если б ты не отправил лишний тег на сборку,
а попросил вычитать -- я бы тоже вычитал и указал на слом.

-mkdir $verbose -p -- \$boot
+[ -d \$boot ] || mkdir $verbose -p -- \$boot

Зачем?  mkdir -p молча обеспечит наличие каталога, если не было.

-       mkdir $verbose -p "\$dest"
+       [ -d "\$dest" ] mkdir $verbose -p "\$dest"

Здесь помимо того же вопроса ещё и синтаксическая ошибка.

-               cp $verbose -pLf "\$src" "\$dest/memtest86.efi" &&
+               cp $verbose -pLn "\$src" "\$dest/memtest86.efi" &&

Как вариант -- хотя как раз здесь было бы уместно проверить
наличие целевого бинарника и если уже есть, то не копировать
ресурсы, т.к. не исключено, что профиль мог копировать не всё:

                find /usr/share/efi-memtest86 -type f |
-                       xargs cp $verbose -pLft "\$dest"
+                       xargs cp $verbose -pLnt "\$dest"

Аналогично и далее с refind.

-       mkdir $verbose -p \$cert
-       cp $verbose -pLft \$cert -- "\$keyfile"
+       [ -d "\$cert" ] || mkdir $verbose -p \$cert
+       cp $verbose -pLnt \$cert -- "\$keyfile"

Просто mkdir -p, пожалуйста (как и далее в аналогичных случаях).

+       [ ! -e "\$boot/elilo.conf" ] || return 0

Здесь как раз следует обламываться, если нет конфига --
copy_elilo() вызывается в случаях, когда он точно нужен.
Т.е. || exit 1

-       [ ! -d \$refind_aux/altlinux ] ||
+       [ -d "\$boot/icons/altlinux" ] || [ ! -d \$refind_aux/altlinux ] ||
                mv \$refind_aux/altlinux \$boot/icons

Добавлена логическая ошибка (проверять при таком методе обработки
следует _отсутствие_ каталога, а не его наличие).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 4455 bytes --]

21.12.2015 15:01, Michael Shigorin пишет:
> On Mon, Dec 21, 2015 at 10:50:03AM +0000, Girar Builder awaiter robot wrote:
>> http://git.altlinux.org/tasks/154910/logs/events.2.1.log
>>
>> 2015-Dec-21 10:47:35 :: test-only task #154910 for sisyphus resumed by solo:
>> #100 removed
>> #200 build 0.2.17-alt1.1 from /people/solo/packages/mkimage.git
> 
> Лёш, аккуратней надо.  Если б ты не отправил лишний тег на сборку,
> а попросил вычитать -- я бы тоже вычитал и указал на слом.

  <https://lists.altlinux.org/pipermail/devel/2015-December/200598.html>
осталось без ответа...

> 
> -mkdir $verbose -p -- \$boot
> +[ -d \$boot ] || mkdir $verbose -p -- \$boot
> 
> Зачем?  mkdir -p молча обеспечит наличие каталога, если не было.

  Для исключения появления каталогов вида a/b/b в результате вызова
mkdir -p a/b при существующим a/b. (Был уверен что натыкался на
подобное, но быстрая проверка показала что что-то попутал.)

> 
> -       mkdir $verbose -p "\$dest"
> +       [ -d "\$dest" ] mkdir $verbose -p "\$dest"
> 
> Здесь помимо того же вопроса ещё и синтаксическая ошибка.

  Уже заметил. Оказалось, что раньше я проверял не ту сборку (выяснил
только в процессе отладки efiboot, см.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>).
Как перешёл на нужную (с изменениями) -- тут баги и полезли.

> 
> -               cp $verbose -pLf "\$src" "\$dest/memtest86.efi" &&
> +               cp $verbose -pLn "\$src" "\$dest/memtest86.efi" &&
> 
> Как вариант -- хотя как раз здесь было бы уместно проверить
> наличие целевого бинарника и если уже есть, то не копировать
> ресурсы, т.к. не исключено, что профиль мог копировать не всё:
> 
>                 find /usr/share/efi-memtest86 -type f |
> -                       xargs cp $verbose -pLft "\$dest"
> +                       xargs cp $verbose -pLnt "\$dest"

  Т. е., если уже существует "\$dest/memtest86.efi", то содержимое
/usr/share/efi-memtest86 копировать не надо?

> 
> Аналогично и далее с refind.

  Т. е., если существует $boot/bootx64.efi, copy_refind() должна
завершить свою работу ничего (в том числе и все refind.conf) не копируя?
(Такой вариант выглядит лучше, чем тот который я прланировал реализовывать.)

> 
> -       mkdir $verbose -p \$cert
> -       cp $verbose -pLft \$cert -- "\$keyfile"
> +       [ -d "\$cert" ] || mkdir $verbose -p \$cert
> +       cp $verbose -pLnt \$cert -- "\$keyfile"
> 
> Просто mkdir -p, пожалуйста (как и далее в аналогичных случаях).

  OK

> 
> +       [ ! -e "\$boot/elilo.conf" ] || return 0
> 
> Здесь как раз следует обламываться, если нет конфига --
> copy_elilo() вызывается в случаях, когда он точно нужен.
> Т.е. || exit 1

  Там ниже по коду идёт создание "\$boot/elilo.conf" через cat. Кусок
выглядит так:
Т. е., я заменил безусловное создание "\$boot/elilo.conf" при вызове на
"создаём, если отсутствует". Кусок выглядит так:

	[ ! -e "\$boot/elilo.conf" ] || return 0
	cat > \$boot/elilo.conf <<- ELILO_EOF
	append="\$kargs"
...
	ELILO_EOF
	[ "$EFI_BOOTLOADER" != elilo ] ||
		echo "  append=\"\$kargs stagename=\${stage2% *}\"" \
			>> \$boot/elilo.conf

Алгаритм работы:

1) Если файл есть -- выходим из процедуры.

2) Если файла нет -- создаём его.

  Цель -- исключить переписывание "\$boot/elilo.conf" если он уже создан
ранее.

> 
> -       [ ! -d \$refind_aux/altlinux ] ||
> +       [ -d "\$boot/icons/altlinux" ] || [ ! -d \$refind_aux/altlinux ] ||
>                 mv \$refind_aux/altlinux \$boot/icons
> 
> Добавлена логическая ошибка (проверять при таком методе обработки
> следует _отсутствие_ каталога, а не его наличие).

  Не вижу ошибки. Т. к. здесь цель именно исключить выполнение mv, если
каталог "\$boot/icons/altlinux" уже существует. Т. е. mv должна
вызываться только если нет "\$boot/icons/altlinux".

  Исправленный вариант --
<http://git.altlinux.org/people/solo/packages/mkimage.git?p=mkimage.git;a=commitdiff;h=ed07e32d585485cafb3889f78b403c1c8466cff5>

PS: Как лучше выполнить перенос скрипта в mkimage-profiles:

1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
как сделано сейчас в efiboot, см.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?

2. Прямой мерж необходимого?

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 278 bytes --]

Re: [devel] [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1

[Michael Shigorin]

On Mon, Dec 21, 2015 at 04:57:43PM +0300, Aleksey Avdeev wrote:
> > Лёш, аккуратней надо.  Если б ты не отправил лишний тег на сборку,
> > а попросил вычитать -- я бы тоже вычитал и указал на слом.
> <https://lists.altlinux.org/pipermail/devel/2015-December/200598.html>
> осталось без ответа...

Ой, и впрямь проморгал за анонсами стартеркитов, виноват.

> > -mkdir $verbose -p -- \$boot
> > +[ -d \$boot ] || mkdir $verbose -p -- \$boot
> > Зачем?  mkdir -p молча обеспечит наличие каталога, если не было.
> Для исключения появления каталогов вида a/b/b в результате вызова
> mkdir -p a/b при существующим a/b. (Был уверен что натыкался на
> подобное, но быстрая проверка показала что что-то попутал.)

Точно напутал, скорее всего с rsync или cp.

> Как перешёл на нужную (с изменениями) -- тут баги и полезли.

Да уж, они такие...

> > -               cp $verbose -pLf "\$src" "\$dest/memtest86.efi" &&
> > +               cp $verbose -pLn "\$src" "\$dest/memtest86.efi" &&
> > 
> > Как вариант -- хотя как раз здесь было бы уместно проверить
> > наличие целевого бинарника и если уже есть, то не копировать
> > ресурсы, т.к. не исключено, что профиль мог копировать не всё:
> > 
> >                 find /usr/share/efi-memtest86 -type f |
> > -                       xargs cp $verbose -pLft "\$dest"
> > +                       xargs cp $verbose -pLnt "\$dest"
> 
> Т. е., если уже существует "\$dest/memtest86.efi", то
> содержимое /usr/share/efi-memtest86 копировать не надо?

Я бы делал так.  Т.е. бинарник как ключ, по которому определяется
-- делаем ли что-либо с таким бинарником _и_ нужными ему файлами.

> > Аналогично и далее с refind.
> Т. е., если существует $boot/bootx64.efi, copy_refind() должна
> завершить свою работу ничего (в том числе и все refind.conf)
> не копируя?

Похоже, да.  Не было ли там переписывания $bin_path -- не помню
на все сто процентов, но с такими штуками в любом случае пора
завязывать.

> > +       [ ! -e "\$boot/elilo.conf" ] || return 0
> > 
> > Здесь как раз следует обламываться, если нет конфига --
> Там ниже по коду идёт создание "\$boot/elilo.conf" через cat.

А, это уже я торможу.

> > -       [ ! -d \$refind_aux/altlinux ] ||
> > +       [ -d "\$boot/icons/altlinux" ] || [ ! -d \$refind_aux/altlinux ] ||
> >                 mv \$refind_aux/altlinux \$boot/icons
> > 
> > Добавлена логическая ошибка (проверять при таком методе обработки
> > следует _отсутствие_ каталога, а не его наличие).
> Не вижу ошибки. Т. к. здесь цель именно исключить выполнение
> mv, если каталог "\$boot/icons/altlinux" уже существует. Т.е.
> mv должна вызываться только если нет "\$boot/icons/altlinux".

Действительно, спасибо.

> Исправленный вариант --
> <http://git.altlinux.org/people/solo/packages/mkimage.git?p=mkimage.git;a=commitdiff;h=ed07e32d585485cafb3889f78b403c1c8466cff5>

Смотрю.

> PS: Как лучше выполнить перенос скрипта в mkimage-profiles:
> 
> 1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
> как сделано сейчас в efiboot, см.
> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?
> 
> 2. Прямой мерж необходимого?

Пока не знаю, надо думать/пробовать/думать.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2336 bytes --]

21.12.2015 18:38, Michael Shigorin пишет:
> On Mon, Dec 21, 2015 at 04:57:43PM +0300, Aleksey Avdeev wrote:
...
> Я бы делал так.  Т.е. бинарник как ключ, по которому определяется
> -- делаем ли что-либо с таким бинарником _и_ нужными ему файлами.

  Я только за: такой подход мне упрощает подмену картинок.

> 
>>> Аналогично и далее с refind.
>> Т. е., если существует $boot/bootx64.efi, copy_refind() должна
>> завершить свою работу ничего (в том числе и все refind.conf)
>> не копируя?
> 
> Похоже, да.  Не было ли там переписывания $bin_path -- не помню
> на все сто процентов, но с такими штуками в любом случае пора
> завязывать.
> 
...
> 
>> Исправленный вариант --
>> <http://git.altlinux.org/people/solo/packages/mkimage.git?p=mkimage.git;a=commitdiff;h=ed07e32d585485cafb3889f78b403c1c8466cff5>

  Здесь реализована следующая логика:

1. Ничего не переписываем (в cp ключ -f заменён на -n).

2. Если с бинарником идут файлы с какими либо конфиги и/или данные --
попытка их копирования (или создания) производится только при отсутствии
целевого бинарника. Если же он существует -- считаю его конфигурацию
настроенной.

  Вопрос: Стоит ли данную логику перетаскивать в efiboot от
mkimage-profiles?

  Я в очередной раз периписал тег 0.2.17-alt1.1 (см.
<http://git.altlinux.org/people/solo/packages/mkimage.git?p=mkimage.git;a=tag;h=refs/tags/0.2.17-alt1.1>)
и отправил на тестовую сборку <http://git.altlinux.org/tasks/154910/>.

> 
> Смотрю.
> 
>> PS: Как лучше выполнить перенос скрипта в mkimage-profiles:
>>
>> 1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
>> как сделано сейчас в efiboot, см.
>> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?

  Бранч efiboot обновлён (см.
http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=commit;h=22053bb0219deddc4bc3a0b41c94654c624b48f8)
-- теперь в загрузочное меню попадает $RELNAME. (Но может здесь стоит
использовать $GLOBAL_RELNAME?)

>>
>> 2. Прямой мерж необходимого?
> 
> Пока не знаю, надо думать/пробовать/думать.

  По моим прикидкам, в случае прямого мержа будет проще поддерживать
соответствие скриптов в mkimage и mkimage-profiles.

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 278 bytes --]

Re: [devel] I: mkimage-profiles: efiboot (was: [#154910] EPERM (try 2) mkimage.git=0.2.17-alt1.1)

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1279 bytes --]

21.12.2015 20:22, Aleksey Avdeev пишет:
> 21.12.2015 18:38, Michael Shigorin пишет:
>> On Mon, Dec 21, 2015 at 04:57:43PM +0300, Aleksey Avdeev wrote:
...
>>> PS: Как лучше выполнить перенос скрипта в mkimage-profiles:
>>>
>>> 1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
>>> как сделано сейчас в efiboot, см.
>>> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?
> 
>   Бранч efiboot обновлён (см.
> http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=commit;h=22053bb0219deddc4bc3a0b41c94654c624b48f8)
> -- теперь в загрузочное меню попадает $RELNAME. (Но может здесь стоит
> использовать $GLOBAL_RELNAME?)


<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=commit;h=52e40d02059a42b53b052e9efc1a67281867c633>
-- исправленный вариант бранча efiboot (теперь вид загрузчика
соответсвует используемому брендингу).

> 
>>>
>>> 2. Прямой мерж необходимого?
>>
>> Пока не знаю, надо думать/пробовать/думать.
> 
>   По моим прикидкам, в случае прямого мержа будет проще поддерживать
> соответствие скриптов в mkimage и mkimage-profiles.


-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 278 bytes --]

Re: [devel] I: mkimage-profiles: efiboot

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1542 bytes --]

22.12.2015 18:10, Aleksey Avdeev пишет:
> 21.12.2015 20:22, Aleksey Avdeev пишет:
>> 21.12.2015 18:38, Michael Shigorin пишет:
>>> On Mon, Dec 21, 2015 at 04:57:43PM +0300, Aleksey Avdeev wrote:
> ...
>>>> PS: Как лучше выполнить перенос скрипта в mkimage-profiles:
>>>>
>>>> 1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
>>>> как сделано сейчас в efiboot, см.
>>>> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?

  На данный момент бранч efiboot присутствует в 2ух вариантах:

merge/efiboot (см.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/merge/efiboot>)
-- содержит pull из mkimage.git в качестве основы.

rebase/efiboot (см.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/rebase/efiboot>)
-- содержит только выдернутые из mkimage.git коммиты, затрагивающие
mki-copy-efiboot.

  Функционал данных бранчей полностью идентичен. Прошу выбрать
приоритетный вариант.

  Текущее состояние:

1. Зависит от mkimage-0.2.18-alt1 (см.
<http://git.altlinux.org/tasks/154910/>).

2. Для задания имени сборки в пунктах загрузочного меню EFI используется
auto-relname, как и для selinux (см.
<https://lists.altlinux.org/pipermail/devel/2015-December/200638.html>).

3. Исключено переписывание конфигурации для EFI
(как в mkimage-0.2.18-alt1).

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 278 bytes --]

Re: [devel] I: mkimage-profiles: efiboot

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 3080 bytes --]

25.12.2015 21:40, Aleksey Avdeev пишет:
> 22.12.2015 18:10, Aleksey Avdeev пишет:
>> 21.12.2015 20:22, Aleksey Avdeev пишет:
>>> 21.12.2015 18:38, Michael Shigorin пишет:
>>>> On Mon, Dec 21, 2015 at 04:57:43PM +0300, Aleksey Avdeev wrote:
>> ...
>>>>> PS: Как лучше выполнить перенос скрипта в mkimage-profiles:
>>>>>
>>>>> 1. Перенести необходимые коммиты (затрагивающие tools/mki-copy-efiboot,
>>>>> как сделано сейчас в efiboot, см.
>>>>> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/efiboot>)?
> 
>   На данный момент бранч efiboot присутствует в 2ух вариантах:

  Очередное обновление бранча efiboot.

> 
> merge/efiboot (см.
> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/merge/efiboot>)
> -- содержит pull из mkimage.git в качестве основы.

  См.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=commit;h=ed1320283f6883cd3082aa2164a5cc5a9702109c>.

> 
> rebase/efiboot (см.
> <http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=shortlog;h=refs/heads/rebase/efiboot>)
> -- содержит только выдернутые из mkimage.git коммиты, затрагивающие
> mki-copy-efiboot.

  См.
<http://git.altlinux.org/people/solo/packages/mkimage-profiles.git?p=mkimage-profiles.git;a=commit;h=116ae9248fb6a4e42e81cb8ea540d825feb00165>.

> 
>   Функционал данных бранчей полностью идентичен. Прошу выбрать
> приоритетный вариант.
> 
>   Текущее состояние:
> 
> 1. Зависит от mkimage-0.2.18-alt1 (см.
> <http://git.altlinux.org/tasks/154910/>).
> 
> 2. Для задания имени сборки в пунктах загрузочного меню EFI используется
> auto-relname, как и для selinux (см.
> <https://lists.altlinux.org/pipermail/devel/2015-December/200638.html>).
> 
> 3. Исключено переписывание конфигурации для EFI
> (как в mkimage-0.2.18-alt1).

5. Добавлена возможность использования .png иконок (при совпадении имён
приоритет у .icns).

6. Добавлена обработка переменных:

6.1. EFI_PACKAGES и EFI_PACKAGES_REGEXP -- позволяют устанавливать
дополнительные пакеты в инстументальный chroot (через дополнение
CHROOT_PACKAGES и CHROOT_PACKAGES_REGEXP).

6.2. EFI_OSBRANDNAME -- позволяет использовать заданные иконки вместо
стандартных (если они есть):

а) os_$EFI_OSBRANDNAME.icns
(/usr/share/refind/icons/os_$EFI_OSBRANDNAME.icns) вместо
os_altlinux.icns (/usr/share/refind/icons/os_altlinux.icns);

б) содержимое каталога $refind_icons/$EFI_OSBRANDNAME
(/usr/share/refind/icons/$EFI_OSBRANDNAME) вместо $refind_icons/altlinux
(/usr/share/refind/icons/altlinux).

6.3. EFI_LANGSLIST -- позволяет использовать перекрыть в подменю
стандартный список локалей, заданным. Например, сократить список локалей
до пунктов English и Russian можно так:

$(call set,EFI_LANGSLIST,English lang=en_US Russian lang=ru_RU)

PS: Похоже я закончил работы с этим бранчем -- можно втягивать в
mkimage-profiles.git.

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 278 bytes --]