[sisyphus] systemd и /usr на отдельном разделе

[sisyphus] systemd и /usr на отдельном разделе

[Sergei Epiphanov]

Исторически сложилось, что у меня на всех компьютерах каталог /usr находится 
на отдельном разделе, как того требовала политика партии. Сейчас с приходом 
systemd оказалось, что это неправильная политика и необходимо объединить 
корневой и /usr вместе. Недавно я наткнулся на проблему, связанную с этим:

один из компьютеров при запуске системы почему-то постоянно думает, что раздел 
/usr битый, хотя выключение всегда аккуратное. В результате, пока ведётся 
проверка раздела, systemd параллельно запускает сервисы, которые не могут 
запуститься по причине отсутствия самих программ (/usr -то не подмонтирован!). 

На данный момент пришлось в требования для network.target ставить local-
fs.target. Но насколько это правильно? Как правильно аккуратно смонтировать 
локальные ФС, а потом уже давать разрешения на запуск сервисов?

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] systemd и /usr на отдельном разделе

[Sergei Epiphanov]

[-- Attachment #1: Type: text/plain, Size: 733 bytes --]

On 11 июня 2013 22:10 Alexey Shabalin wrote:
> Эта политика(объединить корневой и /usr вместе) касается федоры, и к
> ALTLinux отношения не имеет.

Это-то понятно, просто это заставляет задуматься о тех компьютерах, которые 
уже в работе. Не хочется такую бяку в рот тащить.

> не опнятно почему у вас корректно не размонтируется. надо разбираться.
> пришлите пожалуйста вывод
> systemctl show usr.mount

В аттаче

-- 
С уважением, Епифанов Сергей

[-- Attachment #2: usr.mount --]
[-- Type: text/plain, Size: 2580 bytes --]

Id=usr.mount
Names=usr.mount
Requires=systemd-fsck@dev-disk-by\x2duuid-e6b57593\x2dc05d\x2d417b\x2d81f3\x2df78ac2a14296.service -.mount
BindsTo=dev-disk-by\x2duuid-e6b57593\x2dc05d\x2d417b\x2d81f3\x2df78ac2a14296.device
RequiredBy=initrd-root-fs.target
WantedBy=dev-disk-by\x2duuid-e6b57593\x2dc05d\x2d417b\x2d81f3\x2df78ac2a14296.device
Conflicts=umount.target
Before=umount.target initrd-root-fs.target
After=systemd-journald.socket dev-disk-by\x2duuid-e6b57593\x2dc05d\x2d417b\x2d81f3\x2df78ac2a14296.device systemd-fsck@dev-disk-by\x2duuid-e6b57593\x2dc05d\x2d417b\x2d81f3\x2df78ac2a14296.service -.mount
Description=/usr
LoadState=loaded
ActiveState=active
SubState=mounted
FragmentPath=/run/systemd/generator/usr.mount
SourcePath=/etc/fstab
InactiveExitTimestamp=Mon 2003-02-17 03:52:07 MSK
InactiveExitTimestampMonotonic=12696536
ActiveEnterTimestamp=Mon 2003-02-17 03:52:13 MSK
ActiveEnterTimestampMonotonic=18770120
ActiveExitTimestampMonotonic=0
InactiveEnterTimestampMonotonic=0
CanStart=yes
CanStop=yes
CanReload=yes
CanIsolate=no
StopWhenUnneeded=no
RefuseManualStart=no
RefuseManualStop=no
AllowIsolate=no
DefaultDependencies=no
OnFailureIsolate=no
IgnoreOnIsolate=yes
IgnoreOnSnapshot=no
NeedDaemonReload=no
JobTimeoutUSec=0
ConditionTimestamp=Mon 2003-02-17 03:52:07 MSK
ConditionTimestampMonotonic=12694959
ConditionResult=yes
Where=/usr
What=/dev/sda7
Options=rw,relatime,rw,attr2,inode64,noquota
Type=xfs
TimeoutUSec=1min 30s
ControlPID=0
DirectoryMode=0755
Result=success
UMask=0022
LimitCPU=18446744073709551615
LimitFSIZE=18446744073709551615
LimitDATA=18446744073709551615
LimitSTACK=18446744073709551615
LimitCORE=18446744073709551615
LimitRSS=18446744073709551615
LimitNOFILE=4096
LimitAS=18446744073709551615
LimitNPROC=7881
LimitMEMLOCK=65536
LimitLOCKS=18446744073709551615
LimitSIGPENDING=7881
LimitMSGQUEUE=819200
LimitNICE=0
LimitRTPRIO=0
LimitRTTIME=18446744073709551615
OOMScoreAdjust=0
Nice=0
IOScheduling=0
CPUSchedulingPolicy=0
CPUSchedulingPriority=0
TimerSlackNSec=50000
CPUSchedulingResetOnFork=no
NonBlocking=no
StandardInput=null
StandardOutput=journal
StandardError=inherit
TTYReset=no
TTYVHangup=no
TTYVTDisallocate=no
SyslogPriority=30
SyslogLevelPrefix=yes
SecureBits=0
CapabilityBoundingSet=18446744073709551615
MountFlags=0
PrivateTmp=no
PrivateNetwork=no
SameProcessGroup=yes
ControlGroupModify=no
ControlGroupPersistent=no
IgnoreSIGPIPE=yes
NoNewPrivileges=no
KillMode=control-group
KillSignal=15
SendSIGKILL=yes
DefaultControlGroup=name=systemd:/system/usr.mount
ControlGroups=cpu:/system/usr.mount name=systemd:/system/usr.mount

Re: [sisyphus] systemd и /usr на отдельном разделе

[Sergei Epiphanov]

On 11 июня 2013 22:10 Alexey Shabalin wrote:
> не опнятно почему у вас корректно не размонтируется. надо разбираться.
> пришлите пожалуйста вывод
> systemctl show usr.mount

Похоже, я догадался: отказ батарейки на матплате сбрасывает дату проверки 
раздела на 10 лет назад при старте компа, в результате идёт глюк, когда 
система перезапускается. :) Странно, но батарейку я уже менял недавно...

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] systemd и /usr на отдельном разделе

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 967 bytes --]

11.06.2013 22:10, Alexey Shabalin пишет:
> 11 июня 2013 г., 11:11 пользователь Sergei Epiphanov  написал:
> 
>     Исторически сложилось, что у меня на всех компьютерах каталог /usr
>     находится
>     на отдельном разделе, как того требовала политика партии. Сейчас с
>     приходом
>     systemd оказалось, что это неправильная политика и необходимо объединить
>     корневой и /usr вместе. Недавно я наткнулся на проблему, связанную с
>     этим:
> 
> Эта политика(объединить корневой и /usr вместе) касается федоры, и к
> ALTLinux отношения не имеет.

  У меня, при /usr отдельным разделом systemd нормально систему
загрузить не может: LVM поднимается, / (на LVM) монтируется, а /usr,
/var и /home (все тоже на LVM) остаются не смонтированными. Приходится
их монтировать вручную. Как поправить пока не знаю.

PS: Подробности описаны в
<http://lists.altlinux.org/pipermail/sisyphus/2013-May/360834.html>.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 901 bytes --]

Re: [sisyphus] systemd и /usr на отдельном разделе

[Aleksey Avdeev]

[-- Attachment #1.1: Type: text/plain, Size: 5392 bytes --]

17.06.2013 02:30, Alexey Shabalin пишет:
> 16 июня 2013 г., 23:30 пользователь Aleksey Avdeev  написал:
> 
>     11.06.2013 22:10, Alexey Shabalin пишет:
>     > 11 июня 2013 г., 11:11 пользователь Sergei Epiphanov  написал:
>     >
>     >     Исторически сложилось, что у меня на всех компьютерах каталог /usr
>     >     находится
>     >     на отдельном разделе, как того требовала политика партии. Сейчас с
>     >     приходом
>     >     systemd оказалось, что это неправильная политика и необходимо
>     объединить
>     >     корневой и /usr вместе. Недавно я наткнулся на проблему,
>     связанную с
>     >     этим:
>     >
>     > Эта политика(объединить корневой и /usr вместе) касается федоры, и к
>     > ALTLinux отношения не имеет.
> 
>       У меня, при /usr отдельным разделом systemd нормально систему
>     загрузить не может: LVM поднимается, / (на LVM) монтируется, а /usr,
>     /var и /home (все тоже на LVM) остаются не смонтированными. Приходится
>     их монтировать вручную. Как поправить пока не знаю.
> 
> Выйду из отпуска, воспроизведу ситуацию в виртуалке.

  Спасибо заранее.

> как устроет LVM? сколько физических дисков, сколько групп?

  Физический диск один, группа тоже одна.

>  Пришлите мне вывов
> fdisk -l /dev/sd?

$ sudo -H fdisk -l /dev/sd?

Disk /dev/sda: 640.1 GB, 640135028736 bytes, 1250263728 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     8388607     4193280   82  Linux swap / Solaris
/dev/sda2         8388608     8910847      261120   83  Linux
/dev/sda3         8910848  1250256895   620673024   8e  Linux LVM

> pvdisplay

$ sudo -H pvdisplay
  --- Physical volume ---
  PV Name               /dev/sda3
  VG Name               vgntr
  PV Size               591.92 GiB / not usable 14.00 MiB
  Allocatable           yes
  PE Size               32.00 MiB
  Total PE              18941
  Free PE               16221
  Allocated PE          2720
  PV UUID               smNTTo-a0pB-7AwM-N50O-2lvH-exwY-Dh3ShX


> vgdisplay

$ sudo -H vgdisplay
  --- Volume group ---
  VG Name               vgntr
  System ID
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                4
  Open LV               4
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               591.91 GiB
  PE Size               32.00 MiB
  Total PE              18941
  Alloc PE / Size       2720 / 85.00 GiB
  Free  PE / Size       16221 / 506.91 GiB
  VG UUID               RkW8al-ogi7-P2NR-bTkX-myjr-WagQ-3dDYI9

> lvdisplay

$ sudo -H lvdisplay
  --- Logical volume ---
  LV Path                /dev/vgntr/lvntrroot
  LV Name                lvntrroot
  VG Name                vgntr
  LV UUID                ZKeeiQ-Kaxo-sV1C-wqhL-wlZY-erCw-5szsHv
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                5.00 GiB
  Current LE             160
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

  --- Logical volume ---
  LV Path                /dev/vgntr/lvntrusr
  LV Name                lvntrusr
  VG Name                vgntr
  LV UUID                L5FIbb-vmlS-TKWT-1UVU-i6ip-eEgg-NesSnQ
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                20.00 GiB
  Current LE             640
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:1

  --- Logical volume ---
  LV Path                /dev/vgntr/lvntrhome
  LV Name                lvntrhome
  VG Name                vgntr
  LV UUID                v18afs-v161-MbZm-5Iew-KNbW-E2Lp-JqsWCo
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                50.00 GiB
  Current LE             1600
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:2

  --- Logical volume ---
  LV Path                /dev/vgntr/lvntrvar
  LV Name                lvntrvar
  VG Name                vgntr
  LV UUID                3uJ7qe-3rRo-87pl-o0JA-SXhw-G4m7-aqrt3B
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                10.00 GiB
  Current LE             320
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:3


> cat /etc/fstab

  fstab приложен.

> 
> 
>     PS: Подробности описаны в
>     <http://lists.altlinux.org/pipermail/sisyphus/2013-May/360834.html>.

-- 

С уважением. Алексей.


[-- Attachment #1.2: fstab --]
[-- Type: text/plain, Size: 638 bytes --]

proc		/proc			proc	nosuid,noexec,gid=proc		0 0
devpts		/dev/pts		devpts	nosuid,noexec,gid=tty,mode=620	0 0
tmpfs		/tmp			tmpfs	nosuid				0 0
UUID=89b37fff-aee6-4e6c-bee7-8bc1e511f77b	/	ext4	relatime	1	1
UUID=97c50f22-81c6-48f9-9067-4a4d960fab48	/boot	ext2	nodev,nosuid,noexec,relatime	1	2
UUID=579b597d-e9b1-4c36-9c27-f6185622d02a	/home	ext4	nosuid,relatime	1	2
UUID=bff7457e-2337-4b74-b5ed-865af0cddd3b	/usr	ext4	nodev,relatime	1	2
UUID=0f147518-1339-4e67-a961-219e0b1d0839	/var	ext4	nosuid,relatime	1	2
UUID=05ef3772-df41-47f6-814c-261260b17ac7	swap	swap	defaults	0	0
/dev/sr0	/media/cdrom	udf,iso9660	ro,noauto,user,utf8	0 0

[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 901 bytes --]

Re: [sisyphus] systemd и /usr на отдельном разделе

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1764 bytes --]

02.07.2013 18:01, Alexey Shabalin пишет:
> 
...
> Вышел из отпуска. Проблему воспроизвел.
> Дело в следующем.
> initrd за собой удаляет базу udev, и никто её больше не наполняет заного.
> попробуйте закоментировать "rm -rf $udev_db"
> в /usr/share/make-initrd/data/lib/initrd/modules/090-stopudev и
> перегенерить initrd - должно запуститься.

  Ok, проверю.

> 
> systemd-udev-trigger.service запускается с фильтром только на
> добавляемые устройства (--action=add).
> Поэтому в udev неполная информация об lvm-дисках, и смонтироваться
> самостоятельно они не могут.
> Раньше я удалял --action=add из systemd-udev-trigger.service, но была бага
> https://bugzilla.altlinux.org/show_bug.cgi?id=28468
> и я вернул обратно.
> 
> Надо что-то придумывать, как чинить:
> - копировать базу udev из initrd в систему (legion@ против - обоснование
> что в initrd и в системе udev может быть сильно разных версий, или
> реализовывать обновление initrd при обновлении udev)
> - удалить --action=add из systemd-udev-trigger.service (тогда надо
> как-то чинить #28468)
> - нарисовать еще один сервис, запускающийся перед
> systemd-udev-trigger.service без --action=add
> - ну и совсем кардинально :) - засунуть systemd в initrd(всякие
> *.service для этого уже есть в апстриме, возможно еще что-то
> понадобиться - можно посмотреть в dracut), копировать базу udev в
> систему, обновлять initrd при обновлении systemd.

  Что-то делать надо: Сейчас столкнулся с процессом установки свежих
Debian`а, Fedora и CentOS. Во всех трёх -- установка на LVM штатная
операция с нормальной последующей загрузкой. Причём как минимум у Debian
/usr по умолчанию отдельно (как в Fedora и CentOS посмотрю в понедельник).

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 901 bytes --]

Re: [sisyphus] systemd и /usr на отдельном разделе

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 4342 bytes --]

17.08.2013 14:57, Aleksey Avdeev пишет:
> 02.07.2013 18:01, Alexey Shabalin пишет:
>>
> ...
>> Вышел из отпуска. Проблему воспроизвел.
>> Дело в следующем.
>> initrd за собой удаляет базу udev, и никто её больше не наполняет заного.
>> попробуйте закоментировать "rm -rf $udev_db"
>> в /usr/share/make-initrd/data/lib/initrd/modules/090-stopudev и
>> перегенерить initrd - должно запуститься.
> 
>   Ok, проверю.
> 
>>
>> systemd-udev-trigger.service запускается с фильтром только на
>> добавляемые устройства (--action=add).
>> Поэтому в udev неполная информация об lvm-дисках, и смонтироваться
>> самостоятельно они не могут.

  Отладка показала (добавление --verbose к вызовам /sbin/udevadm в
/lib/systemd/system/systemd-udev-trigger.service), что --action=add
здесь не причём, т. к. обработка lvm томов выполняется
(/sys/devices/virtual/block/dm-1 это том /dev/vgntr/lvntrusr, и
содержащий /usr):

Aug 17 17:06:10 noterab.localdomain udevadm[1301]: /sys/devices/virtual/block/dm-0
Aug 17 17:06:10 noterab.localdomain udevadm[1301]: /sys/devices/virtual/block/dm-1
Aug 17 17:06:10 noterab.localdomain udevadm[1301]: /sys/devices/virtual/block/dm-2
Aug 17 17:06:10 noterab.localdomain udevadm[1301]: /sys/devices/virtual/block/dm-3

  А вот вызова /lib/systemd/system-generators/lvm2-activation-generator
при этом не происходит: Строки содержащие "LVM:" присутствую только
на этапе initrd (цитирую dmesg):

[    4.842407] systemd[1]: /usr appears to be on its own filesytem and is not already mounted. This is not a su
pported setup. Some things will probably break (sometimes even silently) in mysterious ways. Consult http://fre
edesktop.org/wiki/Software/systemd/separate-usr-is-broken for more information.
[    5.032270] LVM: Failed to initialize library context for activation generator.
^^^^^^^^^^^^^^^^^^^
[    5.032414] LVM: Activation generator successfully completed.
^^^^^^^^^^^^^^^^^^^
[    5.229648] systemd[1]: [/lib/systemd/system/systemd-journald.service:22] Failed to parse capability in bounding set, ignoring: CAP_SYSLOG
[    6.068593] systemd[1]: Starting Replay Read-Ahead Data...
...
[    9.873904] input: HID 0566:3002 as /devices/pci0000:00/0000:00:1d.0/usb3/3-2/3-2:1.1/input/input14
[    9.874155] hid-generic 0003:0566:3002.0006: input,hiddev0,hidraw2: USB HID v1.10 Device [HID 0566:3002] on usb-0000:00:1d.0-2/input1

  Здесь вывалился в консоль.

[  341.688587] EXT4-fs (dm-2): mounted filesystem with ordered data mode. Opts: (null)
[  344.366448] EXT4-fs (dm-3): mounted filesystem with ordered data mode. Opts: (null)
[  347.501076] EXT4-fs (dm-1): mounted filesystem with ordered data mode. Opts: (null)

  Ручное монтирование /usr, /var и /home. И старт продолжения загрузки
(systemctl default):

[  389.653887] vboxdrv: Found 2 processor cores.
...
[  417.164734] fuse init (API version 7.20)

  Конец dmesg.


>> Раньше я удалял --action=add из systemd-udev-trigger.service, но была бага
>> https://bugzilla.altlinux.org/show_bug.cgi?id=28468
>> и я вернул обратно.
>>
>> Надо что-то придумывать, как чинить:
>> - копировать базу udev из initrd в систему (legion@ против - обоснование
>> что в initrd и в системе udev может быть сильно разных версий, или
>> реализовывать обновление initrd при обновлении udev)
>> - удалить --action=add из systemd-udev-trigger.service (тогда надо
>> как-то чинить #28468)
>> - нарисовать еще один сервис, запускающийся перед
>> systemd-udev-trigger.service без --action=add

  Эти 2 пункта (про --action=add) работать скорее всего не будут
(см. выше).

>> - ну и совсем кардинально :) - засунуть systemd в initrd(всякие
>> *.service для этого уже есть в апстриме, возможно еще что-то
>> понадобиться - можно посмотреть в dracut), копировать базу udev в
>> систему, обновлять initrd при обновлении systemd.

  Может стоит задать вызов lvm2-activation-generator`а в требования
каких либо service, выполняемых после systemd-udev-trigger.service?

> 
>   Что-то делать надо: Сейчас столкнулся с процессом установки свежих
> Debian`а, Fedora и CentOS. Во всех трёх -- установка на LVM штатная
> операция с нормальной последующей загрузкой. Причём как минимум у Debian
> /usr по умолчанию отдельно (как в Fedora и CentOS посмотрю в понедельник).

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 901 bytes --]