[sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

Комрадс,

ну пожалуйста-пожалуйста-пожалуйста! (голосом анимешной девочки),

пожалуйста, соберите aufs для текущих ядер...

Совсем  без нея плохо...

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 595 bytes --]

On Wed, 05 Aug 2020 14:49:38 +0700 glebus@asd.iao.ru wrote:
> 
> Комрадс,
> 
> ну пожалуйста-пожалуйста-пожалуйста! (голосом анимешной девочки),
> 
> пожалуйста, соберите aufs для текущих ядер...
> 
> Совсем  без нея плохо...

Есть же overlayfs. Aufs специально не собирается, чтоб груду
глючного хлама не тащить. Да и зачем он нужен, если есть overlayfs?

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от среда, 5 августа 2020 г. 15:06:03 +07 пользователь Andrey 
Savchenko написал:


> > 
> > пожалуйста, соберите aufs для текущих ядер...
> > 
> > Совсем  без нея плохо...
> 
> 
> Есть же overlayfs. Aufs специально не собирается, чтоб груду
> глючного хлама не тащить. Да и зачем он нужен, если есть overlayfs?

А почему груда хлама? Вполне живой проект же?

Уже поднимался вопрос,

я широко использую ранее описанную здесь схему https://lists.altlinux.org/
pipermail/sisyphus/2019-April/367804.html с теми, или иными модификациями. 
Aufs тут на месте, overlayfs не годится (и работает под нагрузкой довольно 
скверно).

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Michael Shigorin]

On Wed, Aug 05, 2020 at 03:26:50PM +0700, glebus@asd.iao.ru wrote:
> > > пожалуйста, соберите aufs для текущих ядер...
> > Есть же overlayfs.
> А почему груда хлама? Вполне живой проект же?

Боюсь, сейчас это или сидеть на ядрах с aufs, или подготовить
такую сборку -- мороки с ним не то чтобы мало (я это на e2k
проходил, порой надо звать на помощь настоящих ядерщиков),
а всё, для чего он штатно используется в альте (загрузка
stage2 с ISO) -- безальтернативно переехало на overlayfs,
пока я раскачивался сделать в make-initrd-propagator
реализацию, которая бы умела оба варианта.

Могу быть неправ, но мне кажется, boyarsh@ и vt@ будут
не в восторге от такой идеи :(

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 1370 bytes --]

On Wed, 05 Aug 2020 15:26:50 +0700 glebus@asd.iao.ru wrote:
> В письме от среда, 5 августа 2020 г. 15:06:03 +07 пользователь Andrey 
> Savchenko написал:
> 
> 
> > > 
> > > пожалуйста, соберите aufs для текущих ядер...
> > > 
> > > Совсем  без нея плохо...
> > 
> > 
> > Есть же overlayfs. Aufs специально не собирается, чтоб груду
> > глючного хлама не тащить. Да и зачем он нужен, если есть overlayfs?
> 
> А почему груда хлама? Вполне живой проект же?
> 
> Уже поднимался вопрос,
> 
> я широко использую ранее описанную здесь схему https://lists.altlinux.org/
> pipermail/sisyphus/2019-April/367804.html с теми, или иными модификациями. 
> Aufs тут на месте, overlayfs не годится (и работает под нагрузкой довольно 
> скверно).

Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
улучшений за прошедшее время, возможно, для ваших задач подойдёт.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от четверг, 6 августа 2020 г. 00:30:16 +07 пользователь Michael 
Shigorin написал:
> On Wed, Aug 05, 2020 at 03:26:50PM +0700, glebus@asd.iao.ru wrote:
> > > > пожалуйста, соберите aufs для текущих ядер...
> > > 
> > > Есть же overlayfs.
> > 
> > А почему груда хлама? Вполне живой проект же?
> 
> Боюсь, сейчас это или сидеть на ядрах с aufs, или подготовить
> такую сборку -- мороки с ним не то чтобы мало (я это на e2k
> проходил, порой надо звать на помощь настоящих ядерщиков),

> а всё, для чего он штатно используется в альте (загрузка
> stage2 с ISO) -- безальтернативно переехало на overlayfs,
> пока я раскачивался сделать в make-initrd-propagator

А разве автор его не тестирует с новыми ядрами? На сайте всё культурно.

Миша, а хотя бы сборка в статусе неподдерживаемой, только для 86, возможна? 
Оверлейфс отсекает сразу множество вариантов использования, очень -- очень 
жаль терять такую классную возможность.

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от четверг, 6 августа 2020 г. 01:38:24 +07 пользователь Andrey 
Savchenko написал:
> 
> Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
> улучшений за прошедшее время, возможно, для ваших задач подойдёт.

Overlayfs делался же специально под докер? У него нет массы возможностей, он 
не умеет писать на несколько слоёв и балансировать заполненность, не умеет 
автоматически создавать папки по слоям.  Не умеет имитировать удаление файла. 
Много, чего не умеет. 

Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна? 
Оверлейфс отсекает сразу множество вариантов использования, очень -- очень 
жаль терять такую классную возможность.

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Anton Farygin]

On 06.08.2020 07:51, glebus@asd.iao.ru wrote:
> В письме от четверг, 6 августа 2020 г. 01:38:24 +07 пользователь Andrey
> Savchenko написал:
>> Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
>> улучшений за прошедшее время, возможно, для ваших задач подойдёт.
> Overlayfs делался же специально под докер? У него нет массы возможностей, он
> не умеет писать на несколько слоёв и балансировать заполненность, не умеет
> автоматически создавать папки по слоям.  Не умеет имитировать удаление файла.
> Много, чего не умеет.
>
> Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна?
> Оверлейфс отсекает сразу множество вариантов использования, очень -- очень
> жаль терять такую классную возможность.
>
Так он патчем живёт, его же не возможно собрать без изменения основной 
ветки ядра.

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от четверг, 6 августа 2020 г. 11:56:20 +07 пользователь Anton Farygin 
написал:

> > Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна?
> > Оверлейфс отсекает сразу множество вариантов использования, очень -- очень
> > жаль терять такую классную возможность.
> 
> Так он патчем живёт, его же не возможно собрать без изменения основной
> ветки ядра.

Разве оно того не стоит? Столько сценариев хранения данных теряется :(

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Anton Farygin]

On 06.08.2020 08:26, glebus@asd.iao.ru wrote:
> В письме от четверг, 6 августа 2020 г. 11:56:20 +07 пользователь Anton Farygin
> написал:
>
>>> Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна?
>>> Оверлейфс отсекает сразу множество вариантов использования, очень -- очень
>>> жаль терять такую классную возможность.
>> Так он патчем живёт, его же не возможно собрать без изменения основной
>> ветки ядра.
> Разве оно того не стоит? Столько сценариев хранения данных теряется :(
>
Нет, не стоит.

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от четверг, 6 августа 2020 г. 13:25:12 +07 пользователь Anton Farygin 
написал:

> On 06.08.2020 08:26, glebus@asd.iao.ru wrote:
> > В письме от четверг, 6 августа 2020 г. 11:56:20 +07 пользователь Anton
> > Farygin> 
> > написал:
> >>> Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна?
> >>> Оверлейфс отсекает сразу множество вариантов использования, очень --
> >>> очень
> >>> жаль терять такую классную возможность.
> >> 
> >> Так он патчем живёт, его же не возможно собрать без изменения основной
> >> ветки ядра.
> > 
> > Разве оно того не стоит? Столько сценариев хранения данных теряется :(
> 
> Нет, не стоит.

https://habrastorage.org/webt/no/ah/qm/noahqmkdy7zdvyywgyno-gzeh6e.jpeg

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 2134 bytes --]

On Thu, 06 Aug 2020 11:51:11 +0700 glebus@asd.iao.ru wrote:
> В письме от четверг, 6 августа 2020 г. 01:38:24 +07 пользователь Andrey 
> Savchenko написал:
> > 
> > Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
> > улучшений за прошедшее время, возможно, для ваших задач подойдёт.
> 
> Overlayfs делался же специально под докер?

Нет: https://lwn.net/Articles/403012/

> У него нет массы возможностей, он не умеет писать на несколько слоёв

Оверлей поверх оверлея? Умеет.

> и балансировать заполненность,

Она не для этого делалась. Если нужна балансировка по разным
дискам в гетерогенной среде, то используйте btrfs.

> не умеет автоматически создавать папки по слоям.

По-моему, btrfs тоже это может.

> Не умеет имитировать удаление файла. 

А зачем?

> Хотя бы сборка в статусе неподдерживаемой, только для 86, возможна? 

Это же не отдельный пакет, это набор тяжеленных патчей на ядро,
серьёзно влияющих на другие подсистемы. По сути дела нужно, чтоб
мейнтенеры ядра поддерживали отдельное ядро с aufs. Если они
согласны добавить такую фичу в систему автоматизации сборки ядер,
то почему бы и нет.

Лично я из ядра e2k выбросил патчи aufs с большим удовольствием,
т.к. от них очень много проблем при обновлениях.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Gleb Kulikov]

В письме от четверг, 6 августа 2020 г. 16:15:58 +07 пользователь Andrey 
Savchenko написал:

> > > Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
> > > улучшений за прошедшее время, возможно, для ваших задач подойдёт.

Нет, "прозрачная" работа с overlayfs невозможна:

1. пробуем удалить файл, размещённый в r/o части: ошибка

2. пробуем создать файл, размещённый в глубине иерархии: ошибка

самое главное, 3. пробуем отредактировать файл, размещённый в r/o части: 
ошибка

таким образом, разделение хранилища на части оказывается абсолютно 
бессмысленным 


> > У него нет массы возможностей, он не умеет писать на несколько слоёв
> 
> 
> Оверлей поверх оверлея? Умеет.

фактически, не умеет (см. выше). Во всяком случае, делать это прозрачно.

> > и балансировать заполненность,
> 
> Она не для этого делалась. 

вот именно

> Если нужна балансировка по разным
> дискам в гетерогенной среде, то используйте btrfs.

Нет. Выход из строя (или намеренное отключение, перестройка) любого диска, 
составляющего btrfs => потеря всех данных.

Плюс, я широко использую btrfs, но не готов доверить ей сразу все яйца во всех 
корзинах.

> > не умеет автоматически создавать папки по слоям.
> 
> По-моему, btrfs тоже это может.

? Это как?

> > Не умеет имитировать удаление файла. 

> А зачем?

Пользователь работает со своими файлами: создаёт, модифицирует, удаляет.
В случае overlayfs, это возможно только для новых файлов, изначально 
создаваемых на r/w слое.
И вся затея оказывается бессмысленной. Никто не может так работать (почему я 
не могу изменить свой документ?)

Между тем, жизнь показала, что разделение на слои сильно спасает в случае 
чего. Особенно, при массированном удалении или порче файлов. И восстановление, 
в отличие от других вариантов, мгновенное. Снимки необходимы, но сами по себе, 
так эффективно не спасают. А вот когда наиболее свежие данные лежат на btrfs/
zfs и постоянно снэпшотятся, а более старые --- вообще даже не на местных 
дисках, а  на другой хранилке и вообще защищены от изменеий, такая схема 
более, чем имеет смысл.

> Лично я из ядра e2k выбросил патчи aufs с большим удовольствием,
> т.к. от них очень много проблем при обновлениях.

понимаю. то, что автор пишет о тестировании с 5.x, всё неправда?



-- 
С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Anton V. Boyarshinov]

В Fri, 28 Aug 2020 01:09:17 +0700
Gleb Kulikov <glebus@asd.iao.ru> пишет:

> Пользователь работает со своими файлами: создаёт, модифицирует, удаляет.
> В случае overlayfs, это возможно только для новых файлов, изначально 
> создаваемых на r/w слое.

Это довольно неожиданное утверждение. Редактирование файлов, имеющихся
в rw слое, определённо, работает. Без этого работа livecd поверх
overlayfs была бы практически невозможно.

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Anton V. Boyarshinov]

В Fri, 28 Aug 2020 12:06:04 +0300
"Anton V. Boyarshinov" <boyarsh@altlinux.org> пишет:

> В Fri, 28 Aug 2020 01:09:17 +0700
> Gleb Kulikov <glebus@asd.iao.ru> пишет:
> 
> > Пользователь работает со своими файлами: создаёт, модифицирует, удаляет.
> > В случае overlayfs, это возможно только для новых файлов, изначально 
> > создаваемых на r/w слое.  
> 
> Это довольно неожиданное утверждение. Редактирование файлов, имеющихся
> в rw слое, определённо, работает. Без этого работа livecd поверх
> overlayfs была бы практически невозможно.

Читать как "редактирование файлов, имеющихся в RO слое"

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от пятница, 28 августа 2020 г. 16:06:04 +07 пользователь Anton V. 
Boyarshinov написал:
> В Fri, 28 Aug 2020 01:09:17 +0700
> 
> Gleb Kulikov <glebus@asd.iao.ru> пишет:
> > Пользователь работает со своими файлами: создаёт, модифицирует, удаляет.
> > В случае overlayfs, это возможно только для новых файлов, изначально
> > создаваемых на r/w слое.
> 
> Это довольно неожиданное утверждение. Редактирование файлов, имеющихся
> в rw слое, определённо, работает. Без этого работа livecd поверх
> overlayfs была бы практически невозможно.

Ну да. Заработало после указания опции монтирования redirect_dir=on

К сожалению, это не отменяет всего прочего :(

--

С уважением, /GL

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[Michael A. Kangin]

On 8/27/20 8:09 PM, Gleb Kulikov wrote:

>>>> Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
>>>> улучшений за прошедшее время, возможно, для ваших задач подойдёт.
> 
> Нет, "прозрачная" работа с overlayfs невозможна:

Что-то вы странное утверждаете.
Вот, есть корень смонтированный по overlayfs, из кучи слоёв:

overlay on / type overlay 
(rw,noatime,sync,lowerdir=/run/clb/clb-ramdisk/mount-points/.layer7:/run/clb/clb-ramdisk/mount-points/.layer6:/run/clb/clb-ramdisk/mount-points/.layer5:/run/clb/clb-ramdisk/mount-points/.layer4:/run/clb/clb-ramdisk/mount-points/.layer3:/run/clb/clb-ramdisk/mount-points/.layer2:/run/clb/clb-ramdisk/mount-points/.layer1,upperdir=/run/clb/clb-ramdisk/mount-points/.rw,workdir=/run/clb/clb-ramdisk/mount-points/.work)

Ядро: Linux rescue-extra 4.18.0-147.5.1.el8_1.centos.plus.x86_64 #1 SMP 
Thu Feb 6 10:31:58 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux


> 1. пробуем удалить файл, размещённый в r/o части: ошибка

[root@rescue-extra ~]# ls -l /etc/nsswitch.conf
-rw-r--r-- 1 root root 1516 Sep 27  2019 /etc/nsswitch.conf
[root@rescue-extra ~]# rm -f /etc/nsswitch.conf
[root@rescue-extra ~]# ls -l /etc/nsswitch.conf
ls: cannot access '/etc/nsswitch.conf': No such file or directory


Кроме того, "удалить" файл можно и вручную, создав в RW-слое нечто вроде
mknod -m 000 myfile.txt c 0 0


> 2. пробуем создать файл, размещённый в глубине иерархии: ошибка


[root@rescue-extra usr]# echo "test-test-test" > 
/usr/lib/python3.6/site-packages/pip/_vendor/chardet/__pycache__/myfile
[root@rescue-extra usr]# sync
[root@rescue-extra usr]# cat 
/usr/lib/python3.6/site-packages/pip/_vendor/chardet/__pycache__/myfile
test-test-test

> 
> самое главное, 3. пробуем отредактировать файл, размещённый в r/o части:
> ошибка


[root@rescue-extra etc]# tail -5 /etc/bashrc
     unset -f pathmunge
   fi

fi
# vim:ts=4:sw=4
[root@rescue-extra etc]# echo "alias do_test='echo test'" >> /etc/bashrc
[root@rescue-extra etc]# tail -5 /etc/bashrc
   fi

fi
# vim:ts=4:sw=4
alias do_test='echo test'

Re: [sisyphus] ну пожалуйста-пожалуйста-пожалуйста! :)

[glebus]

В письме от среда, 23 сентября 2020 г. 21:21:39 +07 пользователь Michael A. 
Kangin написал:

> >>>> Попробуйте свою схему на свежих ядрах с overlayfs. Там было много
> >>>> улучшений за прошедшее время, возможно, для ваших задач подойдёт.

> Что-то вы странное утверждаете.
> Вот, есть корень смонтированный по overlayfs, из кучи слоёв:

С этим разобрался, проблема была со смонтированным томом с хранилки.

К сожалению, overlayfs *не* работает надлежащим образом.

Пример: попробуйте активно поработать с гит репозиторием, размещённым на 
overlayfs и/или выполнить rsync -avlpt -A -X (последнее особенн, если в дереве 
есть жёсткие ссылки).

Очень жаль.

Для docker'а да, годится.

--

С уважением, /GL