[Sysadmins] 2 NVMe in server

[Sysadmins] 2 NVMe in server

[Alexander Volkov]

Приветствую.
Поставил давеча два одинаковых SSD в сервер на 2.6.32-ovz-el-alt162:
nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     50026B727C00595E     KINGSTON SKC1000480G                     1         480,10  GB / 480,10  GB    512   B +  0 B   E7FT04.6
/dev/nvme1n1     50026B727C005963     KINGSTON SKC1000480G                     1         480,10  GB / 480,10  GB    512   B +  0 B   E7FT04.6

gdisk -l /dev/nvme0n1
Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048       838862847   400.0 GiB   8E00  Linux LVM
   2       838862848       843057151   2.0 GiB     8200  Linux swap

gdisk -l /dev/nvme1n1 - пустой пока (но пробовал и создавать разделы)

Однако, после partprobe /dev/nvme0n1
[root@vladregion tmp]# blkid /dev/nvme*
/dev/nvme0n1: PTUUID="b746f595-b0bd-47b1-abb7-8307736a77b9" PTTYPE="gpt"
/dev/nvme0n1p1: PARTLABEL="Linux LVM" PARTUUID="647739e6-0269-4b86-addc-2c26de51d401"
/dev/nvme0n1p2: PARTLABEL="Linux swap" PARTUUID="26c4c2ec-6adf-4025-b086-2ae61faccbb4"
/dev/nvme1n1: PTUUID="b1b213b3-1452-42a5-866f-fa84b5b9a330" PTTYPE="gpt"
/dev/nvme1n1p1: PARTLABEL="Linux LVM" PARTUUID="647739e6-0269-4b86-addc-2c26de51d401"
/dev/nvme1n1p2: PARTLABEL="Linux swap" PARTUUID="26c4c2ec-6adf-4025-b086-2ae61faccbb4"

появляются разделы и на втором с теми же идентификаторами. 
Использование невозможно - они так и перекрываются почему-то.

Никто не сталкивался?
ЧЯДНТ?


-- 
Regards, Alex

Re: [Sysadmins] 2 NVMe in server

[Nikolay A. Fetisov]

Здравствуйте!

В Чт, 22/02/2018 в 14:13 +0300, Alexander Volkov пишет:
> Поставил давеча два одинаковых SSD в сервер на 2.6.32-ovz-el-alt162:
> ....

> Однако, после partprobe /dev/nvme0n1
> 
...
> появляются разделы и на втором с теми же идентификаторами. 
> ...

Это случайно не libmultipath ? Если он не нужен, но стоит в системе -
удаление его не поможет?


-- 
С уважением,
Николай Фетисов

Re: [Sysadmins] 2 NVMe in server

[Alexander Volkov]

22.02.2018, 15:28, "Nikolay A. Fetisov" <naf@naf.net.ru>:
> Здравствуйте!
>
> В Чт, 22/02/2018 в 14:13 +0300, Alexander Volkov пишет:
>>  Поставил давеча два одинаковых SSD в сервер на 2.6.32-ovz-el-alt162:
>>  ....
>
>>  Однако, после partprobe /dev/nvme0n1
>
> ...
>>  появляются разделы и на втором с теми же идентификаторами.
>>  ...
>
> Это случайно не libmultipath ? Если он не нужен, но стоит в системе -
> удаление его не поможет?

Нет, в системе не найдено.
>
А кому он может быть нужен?
Используется lvm+raid, ploop.
Кстати, в /proc/partitions вроде ничего лишнего:
cat /proc/partitions | grep nvme
 259        0  468851544 nvme0n1
 259        4  419430400 nvme0n1p1
 259        5    2097152 nvme0n1p2
 259        1  468851544 nvme1n1


-- 
Regards, Alex

Re: [Sysadmins] 2 NVMe in server

[Alexander Volkov]

Приветствую.

23.02.2018, 20:32, "Alexandr ANDREEV" <admin931@rambler.ru>:
> Здравствуйте, Alexander.
>
> во-первых, если я правильно вас понял у вас raid1 (зеркало)
Не совсем правильно поняли - я не смог на них создать raid1 ни напрямую (mdadm выругался), ни средствами lvm (pvcreate ругается при попытке добавить второй nvme и путается и id)

> следовательно структура данных на дисках должна быть идентичной.
> Т.е. вывод blkid /dev/nvme* правильный, но вот запущен ли у вас
> рейд непоняно.
он не создаётся.

>
> предъявите вывод:
> cat /proc/mdstat
> ну или что у вас там за рейд
А нет его (

> во-вторых не очень понятно с какими разделами вы работаете
> покажите вывод
> cat /etc/fstab
Смысла нет пока, а задача стоит добавить raid из этих дисков в lvm и перенести том с VPS.


> Вы писали 22 февраля 2018 г., 15:33:34:
>
>>  22.02.2018, 15:28, "Nikolay A. Fetisov" <naf@naf.net.ru>:
>>>  Здравствуйте!
>>>
>>>  В Чт, 22/02/2018 в 14:13 +0300, Alexander Volkov пишет:
>>>>   Поставил давеча два одинаковых SSD в сервер на 2.6.32-ovz-el-alt162:
>>>>   ....
>>>
>>>>   Однако, после partprobe /dev/nvme0n1
>>>
>>>  ...
>>>>   появляются разделы и на втором с теми же идентификаторами.
>>>>   ...
>>>
>>>  Это случайно не libmultipath ? Если он не нужен, но стоит в системе -
>>>  удаление его не поможет?
>
>>  Нет, в системе не найдено.
>>>
>>  А кому он может быть нужен?
>>  Используется lvm+raid, ploop.
>>  Кстати, в /proc/partitions вроде ничего лишнего:
>>  cat /proc/partitions | grep nvme
>>   259 0 468851544 nvme0n1
>>   259 4 419430400 nvme0n1p1
>>   259 5 2097152 nvme0n1p2
>>   259 1 468851544 nvme1n1
>
> --
> С уважением,
>  Alexandr mailto:admin931@rambler.ru

-- 
Regards, Alex

Re: [Sysadmins] 2 NVMe in server

[Alexander Volkov]

Вроде завелось после partprobe /dev/nvme[0,1]


26.02.2018, 11:33, "Alexander Volkov" <alt@vladregion.ru>:
> Приветствую.
>
> 23.02.2018, 20:32, "Alexandr ANDREEV" <admin931@rambler.ru>:
>>  Здравствуйте, Alexander.
>>
>>  во-первых, если я правильно вас понял у вас raid1 (зеркало)
>
> Не совсем правильно поняли - я не смог на них создать raid1 ни напрямую (mdadm выругался), ни средствами lvm (pvcreate ругается при попытке добавить второй nvme и путается и id)
>
>>  следовательно структура данных на дисках должна быть идентичной.
>>  Т.е. вывод blkid /dev/nvme* правильный, но вот запущен ли у вас
>>  рейд непоняно.
>
> он не создаётся.
>
>>  предъявите вывод:
>>  cat /proc/mdstat
>>  ну или что у вас там за рейд
>
> А нет его (
>
>>  во-вторых не очень понятно с какими разделами вы работаете
>>  покажите вывод
>>  cat /etc/fstab
>
> Смысла нет пока, а задача стоит добавить raid из этих дисков в lvm и перенести том с VPS.
>
>>  Вы писали 22 февраля 2018 г., 15:33:34:
>>
>>>   22.02.2018, 15:28, "Nikolay A. Fetisov" <naf@naf.net.ru>:
>>>>   Здравствуйте!
>>>>
>>>>   В Чт, 22/02/2018 в 14:13 +0300, Alexander Volkov пишет:
>>>>>    Поставил давеча два одинаковых SSD в сервер на 2.6.32-ovz-el-alt162:
>>>>>    ....
>>>>
>>>>>    Однако, после partprobe /dev/nvme0n1
>>>>
>>>>   ...
>>>>>    появляются разделы и на втором с теми же идентификаторами.
>>>>>    ...
>>>>
>>>>   Это случайно не libmultipath ? Если он не нужен, но стоит в системе -
>>>>   удаление его не поможет?
>>
>>>   Нет, в системе не найдено.
>>>>
>>>   А кому он может быть нужен?
>>>   Используется lvm+raid, ploop.
>>>   Кстати, в /proc/partitions вроде ничего лишнего:
>>>   cat /proc/partitions | grep nvme
>>>    259 0 468851544 nvme0n1
>>>    259 4 419430400 nvme0n1p1
>>>    259 5 2097152 nvme0n1p2
>>>    259 1 468851544 nvme1n1
>>
>>  --
>>  С уважением,
>>   Alexandr mailto:admin931@rambler.ru
>
> --
> Regards, Alex
>
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

-- 
Regards, Alex