[sisyphus] Научите готовить флэшки через dd

[sisyphus] Научите готовить флэшки через dd

[Alexei V. Mezin]

Что-то я совсем утратил понимание происходящего :(

Есть образ raspbian, есть sd-карточка "из Ашана" на 32Гб, надо записать 
образ на диск. Казалось бы...

Акт 1: Вставляю карточку в кардридер, смотрю логи, какое устройство 
появилось (первый же риторический вопрос: а что, более удобно чем в 
логах это посмотреть нельзя в КДЕ4?), далее dd if... | pv | dd of...

Скорость записи начинается от 3-5Мб/с, что в теории было бы неплохо для 
USB2, но через 5 секунд падает, видимо, до 0 (реально уменьшается до 
200-300кб/с), потом снова растет до 5Мб, потом снова падает. Через 
несколько минут и 500-700Мб записанного объема все отваливается с 
ошибками записи :(

Акт 2: наверное, у меня кардридер уже старенький, протух. Достаю и 
расчехляю ноут lenovo x220, на котором Симли 8.2. Вставляю карточку 
туда, она определяется как /dev/mmcblk0. Устройство на другой шине. Но 
при попытке dd все точно как на компе под управлением Сизифа и 
usb-кардридером -- медленная рваная скорость и ошибки записи.

Акт 3: неужели карточка битая или левая? Загружаю на ноуте Win7, 
запускаю на нем какой-то Etcher, который рекомендуют для записи образов 
под виндой. Он мне бодро рапортует, что в Ricoh SD есть карточка, и 
ПИШЕТ на нее со скорость 15(!) мб/с без ошибок!

И как это понимать? ЧЯДНТ? Как записать образ на sd-карточку под линукс? 
Для проверки запустил запуск на обычную usb-флэшку -- пишет до конца, но 
со скоростью 3мб/с. Раньше на этом же компе на эту же карточку 
записывалось точно быстрее :(

Re: [sisyphus] Научите готовить флэшки через dd

[Vladislav Zavjalov]

On Mon, May 14, 2018 at 10:23:10PM +0300, Alexei V. Mezin wrote:
> Акт 1: Вставляю карточку в кардридер, смотрю логи, какое устройство 
> появилось (первый же риторический вопрос: а что, более удобно чем в 
> логах это посмотреть нельзя в КДЕ4?), далее dd if... | pv | dd of...

Можно использовать /dev/disk/by-id/..., который для кардридера, вроде,
не должен меняться. А если хочется короткого названия - сделать правило udev,
что-то типа такого:

SYMLINK=="disk/by-id/usb-Generic-_Multi-Card_20090516388200000-0:0",\
  SYMLINK+="sdcard"
SYMLINK=="disk/by-id/usb-Generic-_Multi-Card_20090516388200000-0:0-part1",\
  SYMLINK+="sdcard1"

Re: [sisyphus] Научите готовить флэшки через dd

[Leonid Krivoshein]

Добрый вечер!


14.05.2018 22:23, Alexei V. Mezin пишет:
> есть sd-карточка "из Ашана" на 32Гб

Можно переписать сюда все буквы, которые видите на карточке?


>
> Акт 1: Вставляю карточку в кардридер, смотрю логи, какое устройство 
> появилось (первый же риторический вопрос: а что, более удобно чем в 
> логах это посмотреть нельзя в КДЕ4?), далее dd if... | pv | dd of...
>

mount | tail -n1 не годится?

И зачем так сложно?

umount /dev/sdX1; dd if=/path/to/image.iso bs=1M of=/dev/sdX 
status=progress; sync


>
> И как это понимать? ЧЯДНТ?

Перечислите пожалуйста модели оборудования (компьютеров, ноутбуков), 
чтобы можно было понять точную спецификацию SD-контроллера. Скорее 
всего, дело не в "хорошей винде и плохом линуксе", а в совместимости 
вашего контроллера с картой. Такой эффект обычно проявляется на старых 
SD-котроллерах, когда в них суют новые SD HC/XC карточки. 
https://ru.wikipedia.org/wiki/Secure_Digital


-- 
Best regards,
Leonid Krivoshein.

Re: [sisyphus] Научите готовить флэшки через dd

[Alexei V. Mezin]

15.05.2018 00:45, Leonid Krivoshein пишет:

> Можно переписать сюда все буквы, которые видите на карточке?
> 
https://static.eldorado.ru/photos/71/711/052/53/new_71105253_l_446.jpeg/resize/500x375/

> 
> 
> mount | tail -n1 не годится?
> 
Как-то не очень, ибо подразумевает, что карточка должна быть уже 
примонтирована. Во-первых, этого не может быть в принципе, если она не 
имеет отформатированных разделов, во-вторых, если я ее только что 
вставил и хочу записать на нее образ, кто и зачем ее будет монтировать 
без спроса?


> Перечислите пожалуйста модели оборудования (компьютеров, ноутбуков), 
> чтобы можно было понять точную спецификацию SD-контроллера.

На компе:

lspci | grep -i usb 
                                                 ...
00:1a.0 USB controller: Intel Corporation 5 Series/3400 Series Chipset ...

lsusb 
                                                 ...
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 009 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 008 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 007 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 006 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 011 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 010 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 011: ID 058f:6377 Alcor Micro Corp. AU6375 4-LUN card reader
...

Кардридер подключен к USB2. Он и правда уже испопаемый. Видимо, пришла 
пора его менять.

> Такой эффект обычно проявляется на старых 
> SD-котроллерах, когда в них суют новые SD HC/XC карточки. 

Может быть. Однако, на ноуте, где совсем другой контроллер и другой 
кардридер, поведение под Линуксом один в один с настольным компьютером. 
И при этом под Вин7 на том же ноутбуке скорость минимум в три раза выше, 
и запись 4Гб проходит без ошибок (последующее контрольное чтение 
положительное).

Re: [sisyphus] Научите готовить флэшки через dd

[Leonid Krivoshein]

15.05.2018 02:13, Alexei V. Mezin пишет:
> 15.05.2018 00:45, Leonid Krivoshein пишет:
>
>> Можно переписать сюда все буквы, которые видите на карточке?
>>
> https://static.eldorado.ru/photos/71/711/052/53/new_71105253_l_446.jpeg/resize/500x375/ 
>
>

В плане совместимости вполне нормальная карта. И хорошо, что не SDXC. 
Если не контрафакт, конечно.


>>
>>
>> mount | tail -n1 не годится?
>>
> Как-то не очень, ибо подразумевает, что карточка должна быть уже 
> примонтирована. Во-первых, этого не может быть в принципе, если она не 
> имеет отформатированных разделов, во-вторых, если я ее только что 
> вставил и хочу записать на нее образ, кто и зачем ее будет монтировать 
> без спроса?
>

Это очень редкий случай, но как угодно. Все  продаваемые карты идут уже 
отформатированные. Обычно перед форматированием вы карту вставляете, 
монтируется она автоматом. Она и будет последней. Некоторые DM (не знаю 
как KDE) предлагают чистую карту сразу отформатировать.


>
>> Такой эффект обычно проявляется на старых SD-котроллерах, когда в них 
>> суют новые SD HC/XC карточки. 
>
> Может быть. Однако, на ноуте, где совсем другой контроллер и другой 
> кардридер, поведение под Линуксом один в один с настольным 
> компьютером. И при этом под Вин7 на том же ноутбуке скорость минимум в 
> три раза выше, и запись 4Гб проходит без ошибок (последующее 
> контрольное чтение положительное).

Вот это и хотелось понять. Значит речь о Lenovo X220? Simply давно 
обновляли, версия какая, какое ядро? lspci бы с него тоже. Вообще-то 
странно, что ЭТА карта видится как MMC. ((Ответить быстро не смогу))...


-- 
Best regards,
Leonid Krivoshein.

Re: [sisyphus] Научите готовить флэшки через dd

[Alexei V. Mezin]

15.05.2018 04:00, Leonid Krivoshein пишет:

> В плане совместимости вполне нормальная карта. И хорошо, что не SDXC. 
> Если не контрафакт, конечно.

Гарантий, что не подделка, дать не могу. Но покупалась натурально в 
Ашане, а там врядли будут продавать откровенную подделку.


> Это очень редкий случай, но как угодно. Все  продаваемые карты идут уже 
> отформатированные.

КДЕ4 не монтирует карты по умолчанию, а только предлагает. Монтировать, 
чтоб посмотреть имя устройства, чтоб тут же размонтировать из командной 
строки (потому что из апплета устройство не размонтируется, а удаляется) 
-- уж проще сразу в строке смотреть логи.


> Вот это и хотелось понять. Значит речь о Lenovo X220? Simply давно 
> обновляли, версия какая, какое ядро? lspci бы с него тоже. Вообще-то 
> странно, что ЭТА карта видится как MMC. ((Ответить быстро не смогу))...

Вечером покажу логи с ноутбука.

Re: [sisyphus] Научите готовить флэшки через dd

[Alexei V. Mezin]

15.05.2018 04:00, Leonid Krivoshein пишет:

> В плане совместимости вполне нормальная карта. И хорошо, что не SDXC. 
> Если не контрафакт, конечно.


Подозреваю, что "все дело в волшебных пузырьках" вида bs=1M. Указание 
размера блока, например, в мегабайт, меняет картину радикально в лучшую 
сторону.

Видимо, раньше (в смысле на более старых ядрах) и дефолтных значения для 
dd хватало если не для оптимальной, то хотя бы для бессбойной работы. А 
теперь уже не хватает.



> 
> Вот это и хотелось понять. Значит речь о Lenovo X220? Simply давно 
> обновляли, версия какая, какое ядро? lspci бы с него тоже. Вообще-то 
> странно, что ЭТА карта видится как MMC. ((Ответить быстро не смогу))...
> 

0d:00.0 System peripheral: Ricoh Co Ltd PCIe SDXC/MMC Host Controller 
(rev 07) (prog-if 01)
         Subsystem: Lenovo Device 21db
         Flags: bus master, fast devsel, latency 0, IRQ 16
         Memory at f1400000 (32-bit, non-prefetchable) [size=256]
         Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+
         Capabilities: [78] Power Management version 3
         Capabilities: [80] Express Endpoint, MSI 00
         Capabilities: [100] Virtual Channel
         Capabilities: [800] Advanced Error Reporting
         Kernel driver in use: sdhci-pci

Re: [sisyphus] Научите готовить флэшки через dd

[Leonid Krivoshein]

28.05.2018 23:08, Alexei V. Mezin пишет:
> 15.05.2018 04:00, Leonid Krivoshein пишет:
>
>> В плане совместимости вполне нормальная карта. И хорошо, что не SDXC. 
>> Если не контрафакт, конечно.
>
>
> Подозреваю, что "все дело в волшебных пузырьках" вида bs=1M. Указание 
> размера блока, например, в мегабайт, меняет картину радикально в 
> лучшую сторону.
>
> Видимо, раньше (в смысле на более старых ядрах) и дефолтных значения 
> для dd хватало если не для оптимальной, то хотя бы для бессбойной 
> работы. А теперь уже не хватает.
>
>

Всё дело в "Optimal I/O size", а гарантированно кратное ему число на 
всём оборудовании -- как раз 1Мб. Именно по 1Мб уже достаточно давно 
рекомендуется выравнивать разделы, а не по границам цилиндров, о чём 
говорится во всех руководствах по всяким fdisk-like утилитам.


>
>>
>> Вот это и хотелось понять. Значит речь о Lenovo X220? Simply давно 
>> обновляли, версия какая, какое ядро? lspci бы с него тоже. Вообще-то 
>> странно, что ЭТА карта видится как MMC. ((Ответить быстро не смогу))...
>>
>
> 0d:00.0 System peripheral: Ricoh Co Ltd PCIe SDXC/MMC Host Controller 
> (rev 07) (prog-if 01)
>         Subsystem: Lenovo Device 21db
>         Flags: bus master, fast devsel, latency 0, IRQ 16
>         Memory at f1400000 (32-bit, non-prefetchable) [size=256]
>         Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+
>         Capabilities: [78] Power Management version 3
>         Capabilities: [80] Express Endpoint, MSI 00
>         Capabilities: [100] Virtual Channel
>         Capabilities: [800] Advanced Error Reporting
>         Kernel driver in use: sdhci-pci
>

Так проблема решилась или нет? Пробовали новое ядро из p8? Или даже 
un-def? А из Сизифа?


-- 
Best regards,
Leonid Krivoshein.

Re: [sisyphus] Научите готовить флэшки через dd

[Alexei Mezin]

30.05.2018 1:47, Leonid Krivoshein пишет:

> Всё дело в "Optimal I/O size", а гарантированно кратное ему число на 
> всём оборудовании -- как раз 1Мб. 

fdisk-подобные утилиты вроде как давно сами научились по умолчанию 
выбирать правильные параметры. На сколько я понял, dd этому не 
научилась, и вообще оптимальный размер блока можно определить только 
экспериментом на конкретном ядре+железе?

> Так проблема решилась или нет? Пробовали новое ядро из p8? Или даже 
> un-def? А из Сизифа?

С bs=1M запись на всех моих флэшках идет как минимум без ошибок. 
Проверял недавно на стационарном компе, 3.8Гб на упомянутую SD через 
USB3 -- финальная средняя скорость ~30Мб/с, на старую USB2-флэшку -- 
10Мб/с, при этом по конец запись надолго замерла, и в логи вывалились 
какие-то странные сообщения издали похожие на дамп регистров, но так как 
в итоге запись завершилась успешно, подробно логи не смотрел.

Re: [sisyphus] Научите готовить флэшки через dd

[Michael Shigorin]

On Wed, May 30, 2018 at 11:03:17AM +0300, Alexei Mezin wrote:
> С bs=1M запись на всех моих флэшках идет как минимум без ошибок. 
> Проверял недавно на стационарном компе, 3.8Гб на упомянутую SD
> через USB3 -- финальная средняя скорость ~30Мб/с, на старую
> USB2-флэшку -- 10Мб/с

Так и должно примерно быть.

> при этом по конец запись надолго замерла

Чтоб не изводить заведомо зря дисковый кэш при записи на флэшку,
рекомендую oflag=direct (а в моей строчке ещё iflag=fullblock).

> и в логи вывалились какие-то странные сообщения издали похожие
> на дамп регистров, но так как в итоге запись завершилась
> успешно, подробно логи не смотрел.

Там наверняка были какие-нить slow tasks, залипшие на I/O.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Научите готовить флэшки через dd

[Leonid Krivoshein]

30.05.2018 11:03, Alexei Mezin пишет:
> 30.05.2018 1:47, Leonid Krivoshein пишет:
>
>> Всё дело в "Optimal I/O size", а гарантированно кратное ему число на 
>> всём оборудовании -- как раз 1Мб. 
>
> fdisk-подобные утилиты вроде как давно сами научились по умолчанию 
> выбирать правильные параметры. На сколько я понял, dd этому не 
> научилась, и вообще оптимальный размер блока можно определить только 
> экспериментом на конкретном ядре+железе?
>

Вот чтобы не заниматься нигде подбором, используйте 1M на любом железе. 
И ещё mike@ добавил дельных советов по работе с dd.


>> Так проблема решилась или нет? Пробовали новое ядро из p8? Или даже 
>> un-def? А из Сизифа?
>
> С bs=1M запись на всех моих флэшках идет как минимум без ошибок. 
> Проверял недавно на стационарном компе, 3.8Гб на упомянутую SD через 
> USB3 -- финальная средняя скорость ~30Мб/с, на старую USB2-флэшку -- 
> 10Мб/с, при этом по конец запись надолго замерла, и в логи вывалились 
> какие-то странные сообщения издали похожие на дамп регистров, но так 
> как в итоге запись завершилась успешно, подробно логи не смотрел.
>

Дзен почти достигнут! :) Остальное решат oflag=direct и sync после dd.


-- 
Best regards,
Leonid Krivoshein.

Re: [sisyphus] Научите готовить флэшки через dd

[Leonid Krivoshein]

14.05.2018 22:23, Alexei V. Mezin пишет:
> Акт 2: наверное, у меня кардридер уже старенький, протух. Достаю и 
> расчехляю ноут lenovo x220, на котором Симли 8.2. Вставляю карточку 
> туда, она определяется как /dev/mmcblk0. Устройство на другой шине.

Конкретно по Lenovo x220 информацию нашёл. В самых обновлённых моделях 
можно работать с SD и SDHC. Про SDXC/UHS-I/II стоит забыть, не такой уж 
он и новый. Чего бы там не писали в спецификациях и в интернетах, 
практика именно такова. В BIOS'е кард-ридер включен?

https://unix.stackexchange.com/questions/190825/arch-linux-x220-sd-card-reader


-- 
Best regards,
Leonid Krivoshein.

Re: [sisyphus] Научите готовить флэшки через dd

[Alexei V. Mezin]

15.05.2018 01:37, Leonid Krivoshein пишет:
>  В BIOS'е кард-ридер включен?

Включен, он работает под Линуксом, карты в нем определяются. Только 
медленно и печально, ибо записать более 700мб не удалось.

Re: [sisyphus] Научите готовить флэшки через dd

[Michael Shigorin]

On Mon, May 14, 2018 at 10:23:10PM +0300, Alexei V. Mezin wrote:
> ЧЯДНТ? Как записать образ на sd-карточку под линукс? 

Пишу примерно так:

pv ~/out/regular-lxde-20180426-x86_64.iso | sudo dd iflag=fullblock oflag=direct of=/dev/sdb bs=1M; date; sync

Первое для удобства, а важны oflag=direct и bs=1M.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info