[sisyphus] Новые ядра и ФС на флешках.

[sisyphus] Новые ядра и ФС на флешках.

[Sergei Epiphanov]

В последнее время много пишут об увеличении скорости работы файловых систем. 
Да, на HDD многие файловые системы очень даже ничего. Я лично давно использую 
xfs и пока жалоб на неё с моей стороны не было.

Всё бы ничего, но недавно я приобрел флешку Kingston HyperX 256G USB3.0, 
которую отформатировал в xfs, ожидая её высокой скорости. И упёрся в 
совершенно непотребные цифры: скорость записи файлов (даже гигабайтных) идёт 
со скоростью 2-5МБайт/с, а чтение порядка 20МБайт/с. Записывал и читал срез 
Сизифа, а это 170 ГБайт. Флешка воткнута в разъём USB3.0. И это наблюдается на 
двух компьютерах, доступных мне для проверки. Также очень тормозит 
монтирование/отмонтирование флешки. Причём ядро тут же сообщает об исключении 
точки монтирования из списка рабочих, а udisksctl ещё 3-5 секунд не возвращает 
управление в консоль, сбрасывая что-то на флешку.

Ради интереса я прочитал и записал большой кусок данных через dd (то есть в 
обход драйвера файловой системы флешки). И получил запись 60МБайт/с (с 
виртуального диска в оперативной памяти), а чтение 180МБайт/с (в /dev/null). 
То есть явно чудит драйвер xfs. На флешке нужна именно линуксовая ФС, поэтому 
начал поиски информации в интернете, но в этой части я не добился успеха.

Может, есть какие соображения, как лучше форматировать (или монтировать) 
флешку? Предполагаю, что монтирование надо будет описывать в правилах udev. 

Хотел попробовать btrfs, но статус экспериментального и показавшаяся трудность 
в настройке отпугнули. С ext2/3/4 хочется связываться только после 
рассмотрения других претендентов.

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] Новые ядра и ФС на флешках.

[Alexey Borisenkov]

25.10.2012 11:32, Sergei Epiphanov пишет:
> То есть явно чудит драйвер xfs. На флешке нужна именно линуксовая ФС, поэтому
> начал поиски информации в интернете, но в этой части я не добился успеха.

Если что, то меня не устраивает скорость работы с USB-флешками даже с 
виндовыми ФС. По-крайней мере с NTFS. Причём dd и Windows показывают 
замечательные скорости, а копирование на флешку силами linux иногда 
начинает бесить. USB-HDD с NTFS вполне прилично работает.

Re: [sisyphus] Новые ядра и ФС на флешках.

[Sergei Epiphanov]

On 25 октября 2012 11:44 Alexey Borisenkov wrote:
> Если что, то меня не устраивает скорость работы с USB-флешками даже с 
> виндовыми ФС. По-крайней мере с NTFS. Причём dd и Windows показывают 
> замечательные скорости, а копирование на флешку силами linux иногда 
> начинает бесить. USB-HDD с NTFS вполне прилично работает.

У меня есть SSD в USB3.0 - с ним таких проблем не было. Вроде, в обоих стоит 
флеш-память, оба через USB3.0 (SSD через SATA-USB3.0 переходник), но SSD, 
можно сказать, летает, в флешка ползает. И это при том, что заявленные 
скорости у них схожи.

К сожалению, SSD слишком заметен, чтобы его брать с собой. :(

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] Новые ядра и ФС на флешках.

[Michael Shigorin]

On Thu, Oct 25, 2012 at 11:32:56AM +0400, Sergei Epiphanov wrote:
> Всё бы ничего, но недавно я приобрел флешку Kingston HyperX 256G USB3.0, 
> которую отформатировал в xfs, ожидая её высокой скорости.

Это про выравнивание на erase block -- USB-флэшки повально
затачиваются под fat (в начале ожидается частая запись мелочи,
что-то около 4MB, и обрабатывается иначе; а дальше --
выровненная).  Поэтому как минимум стоит сохранять заводское
форматирование (gzip < /dev/sdX > usbflash-NAME-empty.img.gz),
чтоб не подбирать заново.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Новые ядра и ФС на флешках.

[Sergei Epiphanov]

On 25 октября 2012 11:23 Michael Shigorin wrote:
> Это про выравнивание на erase block -- USB-флэшки повально
> затачиваются под fat (в начале ожидается частая запись мелочи,
> что-то около 4MB, и обрабатывается иначе; а дальше --
> выровненная).  Поэтому как минимум стоит сохранять заводское
> форматирование (gzip < /dev/sdX > usbflash-NAME-empty.img.gz),
> чтоб не подбирать заново.

В таблице разделов на флешке я лишь сменил тип раздела с FAT на Linux. 
Переразбиение не проводил.

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] Новые ядра и ФС на флешках.

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2259 bytes --]

On Thu, Oct 25, 2012 at 01:59:59PM +0400, Sergei Epiphanov wrote:
> On 25 октября 2012 11:23 Michael Shigorin wrote:
> > Это про выравнивание на erase block -- USB-флэшки повально
> > затачиваются под fat (в начале ожидается частая запись мелочи,
> > что-то около 4MB, и обрабатывается иначе; а дальше --
> > выровненная).  Поэтому как минимум стоит сохранять заводское
> > форматирование (gzip < /dev/sdX > usbflash-NAME-empty.img.gz),
> > чтоб не подбирать заново.
> 
> В таблице разделов на флешке я лишь сменил тип раздела с FAT на Linux. 
> Переразбиение не проводил.

На самом деле в случае FAT недостаточно сохранить только позицию раздела
на диске, поскольку у FAT есть ещё несколько параметров, влияющих на
выравнивание данных:

 - изменение числа зарезервированных секторов позволяет менять позицию
   начального сектора FAT;

 - размер FAT в секторах, указанный в BPB, может быть больше, чем
   минимально необходимый для имеющегося на диске количества кластеров;
   изменение этого размера позволяем менять позицию начального сектора
   второй копии FAT и начального сектора области данных;

 - для FAT12/16 между FAT и областью данных ещё находится корневой
   каталог, размер которого тоже может быть выбран произвольно в некоторых
   пределах, что также влияет на размещение начального сектора области
   данных.

Изменением этих параметров можно, например, обеспечить нужное выравнивание
данных даже при невыровненном разделе с FAT; с большинством других ФС так
сделать нельзя.

Что же касается отвратительной скорости записи на USB-Flash - к сожалению,
с этим мало что можно поделать, кроме либо тщательного подбора моделей по
результатам свежих отзывов, обращая внимание в первую очередь на
показатели при случайной записи блоками по 4 КБ (хотя и тут можно
нарваться на другую партию вроде бы той же самой модели, куда поставили
уже другие чипы), либо использования ФС, под которые оптимизирован этот
накопитель.  Как раз недавно разработчики из Samsung опубликовали
реализацию файловой системы F2FS, специально предназначенной для подобных
устройств:

  http://lwn.net/Articles/518717/

Ещё информация для размышления:

  https://wiki.linaro.org/WorkingGroups/Kernel/Projects/FlashCardSurvey

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 190 bytes --]

[sisyphus] [[USB Flash]] (was: Новые ядра и ФС на флешках)

[Michael Shigorin]

On Thu, Oct 25, 2012 at 06:14:01PM +0400, Sergey Vlasov wrote:
> На самом деле в случае FAT недостаточно сохранить только
> позицию раздела на диске, поскольку у FAT есть ещё несколько
> параметров, влияющих на выравнивание данных:

Спасибо; http://www.altlinux.org/USB_Flash

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Новые ядра и ФС на флешках.

[Sergei Epiphanov]

On 25 октября 2012 18:14 Sergey Vlasov wrote:
> На самом деле в случае FAT недостаточно сохранить только позицию раздела
> на диске, поскольку у FAT есть ещё несколько параметров, влияющих на
> выравнивание данных:

Спасибо за развернутый ответ!

Вот только тест проводился на записи на пустой раздел данных объемом 170 ГБ, 
что явно прячет все  проблемы начальных секторов флешек. Повторная запись 
данных через dd (в обход драйвера ФС) даёт гораздо лучшие результаты.

Получается, что самые нагруженные блоки в системе xfs не совпадают с той 
областью, которая зарезервирована на флешке под таблицы FAT и корневой раздел? 
И поэтому идёт жуткий тормоз?

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] Новые ядра и ФС на флешках.

[Michael Shigorin]

On Fri, Oct 26, 2012 at 09:48:42AM +0400, Sergei Epiphanov wrote:
> Вот только тест проводился на записи на пустой раздел данных
> объемом 170 ГБ, что явно прячет все  проблемы начальных
> секторов флешек.

Необязательно, почитайте всё же про выравнивание.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Новые ядра и ФС на флешках.

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 461 bytes --]

On Fri, Oct 26, 2012 at 01:13:44PM +0300, Michael Shigorin wrote:
> On Fri, Oct 26, 2012 at 09:48:42AM +0400, Sergei Epiphanov wrote:
> > Вот только тест проводился на записи на пустой раздел данных
> > объемом 170 ГБ, что явно прячет все  проблемы начальных
> > секторов флешек.
> 
> Необязательно, почитайте всё же про выравнивание.

Насколько заметно это выравнивание может влиять на производительность операции
dd bs=4G count=много?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] Новые ядра и ФС на флешках.

[Michael Shigorin]

On Fri, Oct 26, 2012 at 03:10:34PM +0400, Dmitry V. Levin wrote:
> > > Вот только тест проводился на записи на пустой раздел данных
> > > объемом 170 ГБ, что явно прячет все  проблемы начальных
> > > секторов флешек.
> > Необязательно, почитайте всё же про выравнивание.
> Насколько заметно это выравнивание может влиять на
> производительность операции dd bs=4G count=много?

Если of находится на [файловой системе на] разделе, начало
которого не выровнено, то контроллер будет вынужден работать
в постоянном read-modify-write.  А ещё попалась такая ссылочка:
http://wiki.laptop.org/go/How_to_Damage_a_FLASH_Storage_Device#How_to_win

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Новые ядра и ФС на флешках.

[Michael Shigorin]

On Thu, Oct 25, 2012 at 01:59:59PM +0400, Sergei Epiphanov wrote:
> > Это про выравнивание на erase block -- USB-флэшки повально
> > затачиваются под fat
> Переразбиение не проводил.

А это про ФС, не про разделы... (с ними тоже актуально,
но обычно всё-таки на SSD)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/