* [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
@ 2012-11-23 13:45 Alexey Shabalin
2012-11-23 17:00 ` Евгений Терешков
` (2 more replies)
0 siblings, 3 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-23 13:45 UTC (permalink / raw)
To: ALT Linux Team development discussions
Вечер добрый.
В task #84573 находится тестовая сборка новых
lvm2,multipath-tools,mdadm,systemd.
Кроме обновления, основной целью этой задачи было избавится в systemd
от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
которые используют shell-скрипт инициализации multipath,raid,lvm.
У меня тестирование в виртуалках прошло успешно.
Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
Не тестировал multipath.
У кого есть возможность, прошу подключиться к тестированию.
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
@ 2012-11-23 17:00 ` Евгений Терешков
2012-11-26 7:30 ` Евгений Терешков
2012-11-27 11:58 ` Igor Zubkov
2012-11-27 12:57 ` Alexey Shabalin
2 siblings, 1 reply; 13+ messages in thread
From: Евгений Терешков @ 2012-11-23 17:00 UTC (permalink / raw)
To: devel
Alexey Shabalin пишет:
> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.
> Кроме обновления, основной целью этой задачи было избавится в systemd
> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> которые используют shell-скрипт инициализации multipath,raid,lvm.
> У меня тестирование в виртуалках прошло успешно.
> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> Не тестировал multipath.
> У кого есть возможность, прошу подключиться к тестированию.
На виртуалке с несколькими raid, как обычно, обновляется и работает без
проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
systemd молча вис при загрузке.
--
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-23 17:00 ` Евгений Терешков
@ 2012-11-26 7:30 ` Евгений Терешков
2012-11-26 23:48 ` Евгений Терешков
2012-11-27 9:31 ` Alexey Shabalin
0 siblings, 2 replies; 13+ messages in thread
From: Евгений Терешков @ 2012-11-26 7:30 UTC (permalink / raw)
To: devel
Евгений Терешков пишет:
> Alexey Shabalin пишет:
>> В task #84573 находится тестовая сборка новых
>> lvm2,multipath-tools,mdadm,systemd.
>> Кроме обновления, основной целью этой задачи было избавится в systemd
>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>> У меня тестирование в виртуалках прошло успешно.
>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>> Не тестировал multipath.
>> У кого есть возможность, прошу подключиться к тестированию.
> На виртуалке с несколькими raid, как обычно, обновляется и работает без
> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
> systemd молча вис при загрузке.
Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
перезагружается. Не помогает ничего, кроме SysRq.
Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
BIOS включена.
systemd.log_target=console + systemd.log_level=debug ничего особо
вразумительного не дают (один FAILED на systemd-readahead*service, но его
отключение ничего не даёт). Так и не знаю, куда копать.
--
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-26 7:30 ` Евгений Терешков
@ 2012-11-26 23:48 ` Евгений Терешков
2012-11-27 9:31 ` Alexey Shabalin
1 sibling, 0 replies; 13+ messages in thread
From: Евгений Терешков @ 2012-11-26 23:48 UTC (permalink / raw)
To: devel
Евгений Терешков пишет:
> Евгений Терешков пишет:
>> Alexey Shabalin пишет:
>>> В task #84573 находится тестовая сборка новых
>>> lvm2,multipath-tools,mdadm,systemd.
>>> Кроме обновления, основной целью этой задачи было избавится в systemd
>>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>>> У меня тестирование в виртуалках прошло успешно.
>>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>>> Не тестировал multipath.
>>> У кого есть возможность, прошу подключиться к тестированию.
>> На виртуалке с несколькими raid, как обычно, обновляется и работает без
>> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
>> systemd молча вис при загрузке.
> Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
> на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
> успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
> перезагружается. Не помогает ничего, кроме SysRq.
> Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
> реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
> BIOS включена.
> systemd.log_target=console + systemd.log_level=debug ничего особо
> вразумительного не дают (один FAILED на systemd-readahead*service, но его
> отключение ничего не даёт). Так и не знаю, куда копать.
На второй тоже не загружается (просто ноутбук с SSD). Останавливается после
сообщения об активации LVM (его тут не имеется). Можно даже не выключать
монтирование iSCSI-тома, который по прежднему ожидается до поднятия сети,
несмотря на _netdev.
Начиная с 15.08.2012 systemd у меня стабильно не работает
(http://lists.altlinux.org/pipermail/sisyphus/2012-August/358287.html) :-(
--
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-26 7:30 ` Евгений Терешков
2012-11-26 23:48 ` Евгений Терешков
@ 2012-11-27 9:31 ` Alexey Shabalin
2012-11-27 11:30 ` Alexey Gladkov
2012-11-28 11:27 ` Евгений Терешков
1 sibling, 2 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 9:31 UTC (permalink / raw)
To: ALT Linux Team development discussions
26 ноября 2012 г., 11:30 пользователь Евгений Терешков написал:
> Евгений Терешков пишет:
>
>> Alexey Shabalin пишет:
>>> В task #84573 находится тестовая сборка новых
>>> lvm2,multipath-tools,mdadm,systemd.
>>> Кроме обновления, основной целью этой задачи было избавится в systemd
>>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>>> У меня тестирование в виртуалках прошло успешно.
>>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>>> Не тестировал multipath.
>>> У кого есть возможность, прошу подключиться к тестированию.
>> На виртуалке с несколькими raid, как обычно, обновляется и работает без
>> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
>> systemd молча вис при загрузке.
>
> Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
> на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
> успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
> перезагружается. Не помогает ничего, кроме SysRq.
>
> Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
> реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
> BIOS включена.
>
> systemd.log_target=console + systemd.log_level=debug ничего особо
> вразумительного не дают (один FAILED на systemd-readahead*service, но его
> отключение ничего не даёт). Так и не знаю, куда копать.
Из Вашего описания, я не вижу что зависание происходят из-за
lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
/ - монтируется из make-initrd-lvm,
после завершения работы initrd и запуска systemd, udev занаво создаёт
все устройства (у нас initrd за собой удаляет /dev/).
Для монтирования всего остального из fstab используется
systemd-fstab-generator - он разбирает fstab и генерирует *.mount
юнит-файлы.
Для lvm тоже используется генератор (lvm2-activation-generator).
Попробуйте временно закоментировать /home в fstab.
И ещё после установки всего нового, перегенерите initrd.
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-27 9:31 ` Alexey Shabalin
@ 2012-11-27 11:30 ` Alexey Gladkov
2012-11-28 11:27 ` Евгений Терешков
1 sibling, 0 replies; 13+ messages in thread
From: Alexey Gladkov @ 2012-11-27 11:30 UTC (permalink / raw)
To: devel
27.11.2012 13:31, Alexey Shabalin wrote:
> после завершения работы initrd и запуска systemd, udev занаво создаёт
> все устройства (у нас initrd за собой удаляет /dev/).
Это не так.
/dev переезжает в живую систему:
http://git.altlinux.org/people/legion/packages/make-initrd.git?p=make-initrd.git;a=blob;f=data/modules/999-sysinit;h=ad7cf9da8f93f7526974e1be63039f3eb3efca1e;hb=1592b60df11389304399d268a4926cc8a6623b98#l15
А вот база udev удаляется:
http://git.altlinux.org/people/legion/packages/make-initrd.git?p=make-initrd.git;a=blob;f=data/modules/090-stopudev;h=53e7064ebf8861a3f3a3b69cef9a9fd94d6a842f;hb=1592b60df11389304399d268a4926cc8a6623b98#l15
это сделано из-за возможной сильной рассинхронизации версий udev'а в
системе и в initrd и как следствие несовместимости их баз.
Кроме того, udev уже больше не создаёт файлов устройств и поэтому
может использоваться только с devtmpfs. Так что все необходимые
устройства в живую систему приезжают.
--
Rgrds, legion
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
2012-11-23 17:00 ` Евгений Терешков
@ 2012-11-27 11:58 ` Igor Zubkov
2012-11-27 12:01 ` Alexey Shabalin
2012-11-27 12:57 ` Alexey Shabalin
2 siblings, 1 reply; 13+ messages in thread
From: Igor Zubkov @ 2012-11-27 11:58 UTC (permalink / raw)
To: ALT Linux Team development discussions
2012/11/23 Alexey Shabalin:
> Вечер добрый.
> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.
Стоит ожидать systemd 196 ближайшее время или сразу делать бекпорт hybrid-sleep?
--
Igor Zubkov
http://hi.im/ice
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-27 11:58 ` Igor Zubkov
@ 2012-11-27 12:01 ` Alexey Shabalin
0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 12:01 UTC (permalink / raw)
To: ALT Linux Team development discussions
27 ноября 2012 г., 15:58 пользователь Igor Zubkov написал:
> 2012/11/23 Alexey Shabalin:
>> Вечер добрый.
>> В task #84573 находится тестовая сборка новых
>> lvm2,multipath-tools,mdadm,systemd.
>
> Стоит ожидать systemd 196 ближайшее время или сразу делать бекпорт hybrid-sleep?
пару недель, раньше вряд ли получится.
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
2012-11-23 17:00 ` Евгений Терешков
2012-11-27 11:58 ` Igor Zubkov
@ 2012-11-27 12:57 ` Alexey Shabalin
2012-11-27 17:26 ` Dmitry V. Levin
2 siblings, 1 reply; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 12:57 UTC (permalink / raw)
To: ALT Linux Team development discussions; +Cc: Dmitry V. Levin
23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
> Вечер добрый.
> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.
> Кроме обновления, основной целью этой задачи было избавится в systemd
> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> которые используют shell-скрипт инициализации multipath,raid,lvm.
> У меня тестирование в виртуалках прошло успешно.
> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> Не тестировал multipath.
> У кого есть возможность, прошу подключиться к тестированию.
>
Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-27 12:57 ` Alexey Shabalin
@ 2012-11-27 17:26 ` Dmitry V. Levin
2012-11-27 21:52 ` Alexey Shabalin
0 siblings, 1 reply; 13+ messages in thread
From: Dmitry V. Levin @ 2012-11-27 17:26 UTC (permalink / raw)
To: ALT Linux Team development discussions
[-- Attachment #1: Type: text/plain, Size: 873 bytes --]
On Tue, Nov 27, 2012 at 04:57:29PM +0400, Alexey Shabalin wrote:
> 23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
> > Вечер добрый.
> > В task #84573 находится тестовая сборка новых
> > lvm2,multipath-tools,mdadm,systemd.
> > Кроме обновления, основной целью этой задачи было избавится в systemd
> > от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> > которые используют shell-скрипт инициализации multipath,raid,lvm.
> > У меня тестирование в виртуалках прошло успешно.
> > Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> > Не тестировал multipath.
> > У кого есть возможность, прошу подключиться к тестированию.
>
> Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.
А там опечатка в unit-файле уже исправлена?
--
ldv
[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-27 17:26 ` Dmitry V. Levin
@ 2012-11-27 21:52 ` Alexey Shabalin
0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 21:52 UTC (permalink / raw)
To: ALT Linux Team development discussions
27 ноября 2012 г., 21:26 пользователь Dmitry V. Levin написал:
> On Tue, Nov 27, 2012 at 04:57:29PM +0400, Alexey Shabalin wrote:
>> 23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
>> > Вечер добрый.
>> > В task #84573 находится тестовая сборка новых
>> > lvm2,multipath-tools,mdadm,systemd.
>> > Кроме обновления, основной целью этой задачи было избавится в systemd
>> > от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>> > которые используют shell-скрипт инициализации multipath,raid,lvm.
>> > У меня тестирование в виртуалках прошло успешно.
>> > Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>> > Не тестировал multipath.
>> > У кого есть возможность, прошу подключиться к тестированию.
>>
>> Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.
>
> А там опечатка в unit-файле уже исправлена?
Ну если лишний пробел принципиален, то исправил :)
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-27 9:31 ` Alexey Shabalin
2012-11-27 11:30 ` Alexey Gladkov
@ 2012-11-28 11:27 ` Евгений Терешков
2012-11-28 12:00 ` Alexey Shabalin
1 sibling, 1 reply; 13+ messages in thread
From: Евгений Терешков @ 2012-11-28 11:27 UTC (permalink / raw)
To: devel
Alexey Shabalin пишет:
> Из Вашего описания, я не вижу что зависание происходят из-за
> lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
> / - монтируется из make-initrd-lvm,
> после завершения работы initrd и запуска systemd, udev занаво создаёт
> все устройства (у нас initrd за собой удаляет /dev/).
> Для монтирования всего остального из fstab используется
> systemd-fstab-generator - он разбирает fstab и генерирует *.mount
> юнит-файлы.
> Для lvm тоже используется генератор (lvm2-activation-generator).
> Попробуйте временно закоментировать /home в fstab.
Попробовал. Результат изменился не сильно:
chrid: /etc/syslog.d No such file or directory
initrd: udev: Mount '/dev/dm-0' as /root
systemd-fsck[1248]: ROOT: clean, 86532/655360 files, ...
(т.е. только исчез отчёт systemd-fsck о проверке LV для /home). Дальше
висим, реагируя только на Sysrq.
Если добавить systemd.log_level=debug systemd.log_target=console, то вывод
останавливается на тексте про LVM, но, вроде бы, штатно (см.
http://i.imgur.com/7x3Pp.jpg). Дальше висим. Видно, что на Ctrl-Alt-Del
идёт какое-то шевеление сервисов со стороны systemd, но без перезагрузки.
Приходится использовать Sysrq.
> И ещё после установки всего нового, перегенерите initrd.
Я это сделал сразу т.к. обновлял ядро до 3.6.7-std-def-alt3. Сейчас
повторил, результат тот же. Да и sysv с этим initrd работает нормально.
--
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru
^ permalink raw reply [flat|nested] 13+ messages in thread
* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
2012-11-28 11:27 ` Евгений Терешков
@ 2012-11-28 12:00 ` Alexey Shabalin
0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-28 12:00 UTC (permalink / raw)
To: ALT Linux Team development discussions
28 ноября 2012 г., 15:27 пользователь Евгений Терешков написал:
> Alexey Shabalin пишет:
>
>> Из Вашего описания, я не вижу что зависание происходят из-за
>> lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
>> / - монтируется из make-initrd-lvm,
>> после завершения работы initrd и запуска systemd, udev занаво создаёт
>> все устройства (у нас initrd за собой удаляет /dev/).
>> Для монтирования всего остального из fstab используется
>> systemd-fstab-generator - он разбирает fstab и генерирует *.mount
>> юнит-файлы.
>> Для lvm тоже используется генератор (lvm2-activation-generator).
>> Попробуйте временно закоментировать /home в fstab.
>
> Попробовал. Результат изменился не сильно:
>
> chrid: /etc/syslog.d No such file or directory
> initrd: udev: Mount '/dev/dm-0' as /root
> systemd-fsck[1248]: ROOT: clean, 86532/655360 files, ...
>
> (т.е. только исчез отчёт systemd-fsck о проверке LV для /home). Дальше
> висим, реагируя только на Sysrq.
>
> Если добавить systemd.log_level=debug systemd.log_target=console, то вывод
> останавливается на тексте про LVM, но, вроде бы, штатно (см.
> http://i.imgur.com/7x3Pp.jpg). Дальше висим. Видно, что на Ctrl-Alt-Del
> идёт какое-то шевеление сервисов со стороны systemd, но без перезагрузки.
> Приходится использовать Sysrq.
Не видно в чём проблема, запуск lvm отработал успешно. Причина
зависания в чём-то другом.
>> И ещё после установки всего нового, перегенерите initrd.
>
> Я это сделал сразу т.к. обновлял ядро до 3.6.7-std-def-alt3. Сейчас
> повторил, результат тот же. Да и sysv с этим initrd работает нормально.
--
Alexey Shabalin
^ permalink raw reply [flat|nested] 13+ messages in thread
end of thread, other threads:[~2012-11-28 12:00 UTC | newest]
Thread overview: 13+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
2012-11-23 17:00 ` Евгений Терешков
2012-11-26 7:30 ` Евгений Терешков
2012-11-26 23:48 ` Евгений Терешков
2012-11-27 9:31 ` Alexey Shabalin
2012-11-27 11:30 ` Alexey Gladkov
2012-11-28 11:27 ` Евгений Терешков
2012-11-28 12:00 ` Alexey Shabalin
2012-11-27 11:58 ` Igor Zubkov
2012-11-27 12:01 ` Alexey Shabalin
2012-11-27 12:57 ` Alexey Shabalin
2012-11-27 17:26 ` Dmitry V. Levin
2012-11-27 21:52 ` Alexey Shabalin
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git