ALT Linux Team development discussions
 help / color / mirror / Atom feed
* [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
@ 2012-11-23 13:45 Alexey Shabalin
  2012-11-23 17:00 ` Евгений Терешков
                   ` (2 more replies)
  0 siblings, 3 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-23 13:45 UTC (permalink / raw)
  To: ALT Linux Team development discussions

Вечер добрый.
В task #84573 находится тестовая сборка новых
lvm2,multipath-tools,mdadm,systemd.
Кроме обновления, основной целью этой задачи было избавится в systemd
от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
которые используют shell-скрипт инициализации multipath,raid,lvm.
У меня тестирование в виртуалках прошло успешно.
Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
Не тестировал multipath.
У кого есть возможность, прошу подключиться к тестированию.

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление  lvm2,multipath-tools,mdadm,systemd
  2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
@ 2012-11-23 17:00 ` Евгений Терешков
  2012-11-26  7:30   ` Евгений Терешков
  2012-11-27 11:58 ` Igor Zubkov
  2012-11-27 12:57 ` Alexey Shabalin
  2 siblings, 1 reply; 13+ messages in thread
From: Евгений Терешков @ 2012-11-23 17:00 UTC (permalink / raw)
  To: devel

Alexey Shabalin пишет:

> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.
> Кроме обновления, основной целью этой задачи было избавится в systemd
> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> которые используют shell-скрипт инициализации multipath,raid,lvm.
> У меня тестирование в виртуалках прошло успешно.
> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> Не тестировал multipath.
> У кого есть возможность, прошу подключиться к тестированию.

На виртуалке с несколькими raid, как обычно, обновляется и работает без
проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
systemd молча вис при загрузке.
-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление   lvm2,multipath-tools,mdadm,systemd
  2012-11-23 17:00 ` Евгений Терешков
@ 2012-11-26  7:30   ` Евгений Терешков
  2012-11-26 23:48     ` Евгений Терешков
  2012-11-27  9:31     ` Alexey Shabalin
  0 siblings, 2 replies; 13+ messages in thread
From: Евгений Терешков @ 2012-11-26  7:30 UTC (permalink / raw)
  To: devel

Евгений Терешков пишет:

> Alexey Shabalin пишет:
>> В task #84573 находится тестовая сборка новых
>> lvm2,multipath-tools,mdadm,systemd.
>> Кроме обновления, основной целью этой задачи было избавится в systemd
>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>> У меня тестирование в виртуалках прошло успешно.
>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>> Не тестировал multipath.
>> У кого есть возможность, прошу подключиться к тестированию.
> На виртуалке с несколькими raid, как обычно, обновляется и работает без
> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
> systemd молча вис при загрузке.

Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
перезагружается. Не помогает ничего, кроме SysRq.

Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
BIOS включена.

systemd.log_target=console + systemd.log_level=debug ничего особо
вразумительного не дают (один FAILED на systemd-readahead*service, но его
отключение ничего не даёт). Так и не знаю, куда копать.
-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление    lvm2,multipath-tools,mdadm,systemd
  2012-11-26  7:30   ` Евгений Терешков
@ 2012-11-26 23:48     ` Евгений Терешков
  2012-11-27  9:31     ` Alexey Shabalin
  1 sibling, 0 replies; 13+ messages in thread
From: Евгений Терешков @ 2012-11-26 23:48 UTC (permalink / raw)
  To: devel

Евгений Терешков пишет:

> Евгений Терешков пишет:
>> Alexey Shabalin пишет:
>>> В task #84573 находится тестовая сборка новых
>>> lvm2,multipath-tools,mdadm,systemd.
>>> Кроме обновления, основной целью этой задачи было избавится в systemd
>>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>>> У меня тестирование в виртуалках прошло успешно.
>>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>>> Не тестировал multipath.
>>> У кого есть возможность, прошу подключиться к тестированию.
>> На виртуалке с несколькими raid, как обычно, обновляется и работает без
>> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
>> systemd молча вис при загрузке.
> Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
> на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
> успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
> перезагружается. Не помогает ничего, кроме SysRq.
> Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
> реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
> BIOS включена.
> systemd.log_target=console + systemd.log_level=debug ничего особо
> вразумительного не дают (один FAILED на systemd-readahead*service, но его
> отключение ничего не даёт). Так и не знаю, куда копать.

На второй тоже не загружается (просто ноутбук с SSD). Останавливается после
сообщения об активации LVM (его тут не имеется). Можно даже не выключать
монтирование iSCSI-тома, который по прежднему ожидается до поднятия сети,
несмотря на _netdev.

Начиная с 15.08.2012 systemd у меня стабильно не работает
(http://lists.altlinux.org/pipermail/sisyphus/2012-August/358287.html) :-(

-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-26  7:30   ` Евгений Терешков
  2012-11-26 23:48     ` Евгений Терешков
@ 2012-11-27  9:31     ` Alexey Shabalin
  2012-11-27 11:30       ` Alexey Gladkov
  2012-11-28 11:27       ` Евгений Терешков
  1 sibling, 2 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27  9:31 UTC (permalink / raw)
  To: ALT Linux Team development discussions

26 ноября 2012 г., 11:30 пользователь Евгений Терешков написал:
> Евгений Терешков пишет:
>
>> Alexey Shabalin пишет:
>>> В task #84573 находится тестовая сборка новых
>>> lvm2,multipath-tools,mdadm,systemd.
>>> Кроме обновления, основной целью этой задачи было избавится в systemd
>>> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>>> которые используют shell-скрипт инициализации multipath,raid,lvm.
>>> У меня тестирование в виртуалках прошло успешно.
>>> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>>> Не тестировал multipath.
>>> У кого есть возможность, прошу подключиться к тестированию.
>> На виртуалке с несколькими raid, как обычно, обновляется и работает без
>> проблем. Думаю на той неделе смогу попробовать и на паре живых систем, где
>> systemd молча вис при загрузке.
>
> Попробовал на одной. Сегодняшний Сизиф. Ничего особенного, /boot + разделы
> на LVM. Всё так же молча зависает при загрузке, разу после отчётов fsck об
> успешной проверке / и /home (они на LVM). По Ctrl-Alt-Del не
> перезагружается. Не помогает ничего, кроме SysRq.
>
> Загрузка в emergency не прошла, т.к. не заработала USB-клавиатура (Не
> реагирует даже на SysRq). Хотя модули в initrd вроде бы есть, поддержка в
> BIOS включена.
>
> systemd.log_target=console + systemd.log_level=debug ничего особо
> вразумительного не дают (один FAILED на systemd-readahead*service, но его
> отключение ничего не даёт). Так и не знаю, куда копать.

Из Вашего описания, я не вижу что зависание происходят из-за
lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
/ - монтируется из make-initrd-lvm,
после завершения работы initrd и запуска systemd, udev занаво создаёт
все устройства (у нас initrd за собой удаляет /dev/).
Для монтирования всего остального из fstab используется
systemd-fstab-generator - он разбирает fstab и генерирует *.mount
юнит-файлы.
Для lvm тоже используется генератор (lvm2-activation-generator).
Попробуйте временно закоментировать /home в fstab.
И ещё после установки всего нового, перегенерите initrd.

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-27  9:31     ` Alexey Shabalin
@ 2012-11-27 11:30       ` Alexey Gladkov
  2012-11-28 11:27       ` Евгений Терешков
  1 sibling, 0 replies; 13+ messages in thread
From: Alexey Gladkov @ 2012-11-27 11:30 UTC (permalink / raw)
  To: devel

27.11.2012 13:31, Alexey Shabalin wrote:
> после завершения работы initrd и запуска systemd, udev занаво создаёт
> все устройства (у нас initrd за собой удаляет /dev/).

Это не так.

/dev переезжает в живую систему:

http://git.altlinux.org/people/legion/packages/make-initrd.git?p=make-initrd.git;a=blob;f=data/modules/999-sysinit;h=ad7cf9da8f93f7526974e1be63039f3eb3efca1e;hb=1592b60df11389304399d268a4926cc8a6623b98#l15

А вот база udev удаляется:

http://git.altlinux.org/people/legion/packages/make-initrd.git?p=make-initrd.git;a=blob;f=data/modules/090-stopudev;h=53e7064ebf8861a3f3a3b69cef9a9fd94d6a842f;hb=1592b60df11389304399d268a4926cc8a6623b98#l15

это сделано из-за возможной сильной рассинхронизации версий udev'а в
системе и в initrd и как следствие несовместимости их баз.

Кроме того, udev уже больше не создаёт файлов устройств и поэтому
может использоваться только с devtmpfs. Так что все необходимые
устройства в живую систему приезжают.

-- 
Rgrds, legion



^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
  2012-11-23 17:00 ` Евгений Терешков
@ 2012-11-27 11:58 ` Igor Zubkov
  2012-11-27 12:01   ` Alexey Shabalin
  2012-11-27 12:57 ` Alexey Shabalin
  2 siblings, 1 reply; 13+ messages in thread
From: Igor Zubkov @ 2012-11-27 11:58 UTC (permalink / raw)
  To: ALT Linux Team development discussions

2012/11/23 Alexey Shabalin:
> Вечер добрый.
> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.

Стоит ожидать systemd 196 ближайшее время или сразу делать бекпорт hybrid-sleep?

-- 
Igor Zubkov
http://hi.im/ice

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-27 11:58 ` Igor Zubkov
@ 2012-11-27 12:01   ` Alexey Shabalin
  0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 12:01 UTC (permalink / raw)
  To: ALT Linux Team development discussions

27 ноября 2012 г., 15:58 пользователь Igor Zubkov написал:
> 2012/11/23 Alexey Shabalin:
>> Вечер добрый.
>> В task #84573 находится тестовая сборка новых
>> lvm2,multipath-tools,mdadm,systemd.
>
> Стоит ожидать systemd 196 ближайшее время или сразу делать бекпорт hybrid-sleep?

пару недель, раньше вряд ли получится.

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
  2012-11-23 17:00 ` Евгений Терешков
  2012-11-27 11:58 ` Igor Zubkov
@ 2012-11-27 12:57 ` Alexey Shabalin
  2012-11-27 17:26   ` Dmitry V. Levin
  2 siblings, 1 reply; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 12:57 UTC (permalink / raw)
  To: ALT Linux Team development discussions; +Cc: Dmitry V. Levin

23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
> Вечер добрый.
> В task #84573 находится тестовая сборка новых
> lvm2,multipath-tools,mdadm,systemd.
> Кроме обновления, основной целью этой задачи было избавится в systemd
> от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> которые используют shell-скрипт инициализации multipath,raid,lvm.
> У меня тестирование в виртуалках прошло успешно.
> Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> Не тестировал multipath.
> У кого есть возможность, прошу подключиться к тестированию.
>

Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-27 12:57 ` Alexey Shabalin
@ 2012-11-27 17:26   ` Dmitry V. Levin
  2012-11-27 21:52     ` Alexey Shabalin
  0 siblings, 1 reply; 13+ messages in thread
From: Dmitry V. Levin @ 2012-11-27 17:26 UTC (permalink / raw)
  To: ALT Linux Team development discussions

[-- Attachment #1: Type: text/plain, Size: 873 bytes --]

On Tue, Nov 27, 2012 at 04:57:29PM +0400, Alexey Shabalin wrote:
> 23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
> > Вечер добрый.
> > В task #84573 находится тестовая сборка новых
> > lvm2,multipath-tools,mdadm,systemd.
> > Кроме обновления, основной целью этой задачи было избавится в systemd
> > от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
> > которые используют shell-скрипт инициализации multipath,raid,lvm.
> > У меня тестирование в виртуалках прошло успешно.
> > Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
> > Не тестировал multipath.
> > У кого есть возможность, прошу подключиться к тестированию.
> 
> Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.

А там опечатка в unit-файле уже исправлена?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-27 17:26   ` Dmitry V. Levin
@ 2012-11-27 21:52     ` Alexey Shabalin
  0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-27 21:52 UTC (permalink / raw)
  To: ALT Linux Team development discussions

27 ноября 2012 г., 21:26 пользователь Dmitry V. Levin  написал:
> On Tue, Nov 27, 2012 at 04:57:29PM +0400, Alexey Shabalin wrote:
>> 23 ноября 2012 г., 17:45 пользователь Alexey Shabalin написал:
>> > Вечер добрый.
>> > В task #84573 находится тестовая сборка новых
>> > lvm2,multipath-tools,mdadm,systemd.
>> > Кроме обновления, основной целью этой задачи было избавится в systemd
>> > от сервисов altlinux-storage-init.service,altlinux-wait-storage.service,altlinux-storage-init-late.service,
>> > которые используют shell-скрипт инициализации multipath,raid,lvm.
>> > У меня тестирование в виртуалках прошло успешно.
>> > Тестировал lvm, raid, и lvm on raid. Тестировал как в systemd, так и в SysV.
>> > Не тестировал multipath.
>> > У кого есть возможность, прошу подключиться к тестированию.
>>
>> Я закончил тестировать. Если возражений нет, прошу ldv@ апрувить mdadm.
>
> А там опечатка в unit-файле уже исправлена?
Ну если лишний пробел принципиален, то исправил :)

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление  lvm2,multipath-tools,mdadm,systemd
  2012-11-27  9:31     ` Alexey Shabalin
  2012-11-27 11:30       ` Alexey Gladkov
@ 2012-11-28 11:27       ` Евгений Терешков
  2012-11-28 12:00         ` Alexey Shabalin
  1 sibling, 1 reply; 13+ messages in thread
From: Евгений Терешков @ 2012-11-28 11:27 UTC (permalink / raw)
  To: devel

Alexey Shabalin пишет:

> Из Вашего описания, я не вижу что зависание происходят из-за
> lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
> / - монтируется из make-initrd-lvm,
> после завершения работы initrd и запуска systemd, udev занаво создаёт
> все устройства (у нас initrd за собой удаляет /dev/).
> Для монтирования всего остального из fstab используется
> systemd-fstab-generator - он разбирает fstab и генерирует *.mount
> юнит-файлы.
> Для lvm тоже используется генератор (lvm2-activation-generator).
> Попробуйте временно закоментировать /home в fstab.

Попробовал. Результат изменился не сильно:

chrid: /etc/syslog.d No such file or directory
initrd: udev: Mount '/dev/dm-0' as /root
systemd-fsck[1248]: ROOT: clean, 86532/655360 files, ...

(т.е. только исчез отчёт systemd-fsck о проверке LV для /home). Дальше
висим, реагируя только на Sysrq.

Если добавить systemd.log_level=debug systemd.log_target=console, то вывод
останавливается на тексте про LVM, но, вроде бы, штатно (см.
http://i.imgur.com/7x3Pp.jpg). Дальше висим. Видно, что на Ctrl-Alt-Del
идёт какое-то шевеление сервисов со стороны systemd, но без перезагрузки.
Приходится использовать Sysrq.

> И ещё после установки всего нового, перегенерите initrd.

Я это сделал сразу т.к. обновлял ядро до 3.6.7-std-def-alt3. Сейчас
повторил, результат тот же. Да и sysv с этим initrd работает нормально.

-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

^ permalink raw reply	[flat|nested] 13+ messages in thread

* Re: [devel] I: обновление lvm2,multipath-tools,mdadm,systemd
  2012-11-28 11:27       ` Евгений Терешков
@ 2012-11-28 12:00         ` Alexey Shabalin
  0 siblings, 0 replies; 13+ messages in thread
From: Alexey Shabalin @ 2012-11-28 12:00 UTC (permalink / raw)
  To: ALT Linux Team development discussions

28 ноября 2012 г., 15:27 пользователь Евгений Терешков  написал:
> Alexey Shabalin пишет:
>
>> Из Вашего описания, я не вижу что зависание происходят из-за
>> lvm2,multipath-tools,mdadm,systemd. Надо локализовать проблему.
>> / - монтируется из make-initrd-lvm,
>> после завершения работы initrd и запуска systemd, udev занаво создаёт
>> все устройства (у нас initrd за собой удаляет /dev/).
>> Для монтирования всего остального из fstab используется
>> systemd-fstab-generator - он разбирает fstab и генерирует *.mount
>> юнит-файлы.
>> Для lvm тоже используется генератор (lvm2-activation-generator).
>> Попробуйте временно закоментировать /home в fstab.
>
> Попробовал. Результат изменился не сильно:
>
> chrid: /etc/syslog.d No such file or directory
> initrd: udev: Mount '/dev/dm-0' as /root
> systemd-fsck[1248]: ROOT: clean, 86532/655360 files, ...
>
> (т.е. только исчез отчёт systemd-fsck о проверке LV для /home). Дальше
> висим, реагируя только на Sysrq.
>
> Если добавить systemd.log_level=debug systemd.log_target=console, то вывод
> останавливается на тексте про LVM, но, вроде бы, штатно (см.
> http://i.imgur.com/7x3Pp.jpg). Дальше висим. Видно, что на Ctrl-Alt-Del
> идёт какое-то шевеление сервисов со стороны systemd, но без перезагрузки.
> Приходится использовать Sysrq.

Не видно в чём проблема, запуск lvm отработал успешно. Причина
зависания в чём-то другом.

>> И ещё после установки всего нового, перегенерите initrd.
>
> Я это сделал сразу т.к. обновлял ядро до 3.6.7-std-def-alt3. Сейчас
> повторил, результат тот же. Да и sysv с этим initrd работает нормально.

--
Alexey Shabalin

^ permalink raw reply	[flat|nested] 13+ messages in thread

end of thread, other threads:[~2012-11-28 12:00 UTC | newest]

Thread overview: 13+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2012-11-23 13:45 [devel] I: обновление lvm2,multipath-tools,mdadm,systemd Alexey Shabalin
2012-11-23 17:00 ` Евгений Терешков
2012-11-26  7:30   ` Евгений Терешков
2012-11-26 23:48     ` Евгений Терешков
2012-11-27  9:31     ` Alexey Shabalin
2012-11-27 11:30       ` Alexey Gladkov
2012-11-28 11:27       ` Евгений Терешков
2012-11-28 12:00         ` Alexey Shabalin
2012-11-27 11:58 ` Igor Zubkov
2012-11-27 12:01   ` Alexey Shabalin
2012-11-27 12:57 ` Alexey Shabalin
2012-11-27 17:26   ` Dmitry V. Levin
2012-11-27 21:52     ` Alexey Shabalin

ALT Linux Team development discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
		devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
	public-inbox-index devel

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.devel


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git