[Comm] Опыт работы с flash в качестве основного устройства

[Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

Много месячный опыт использования flash в качестве жесткого диска 
показал наличие проблемы не успевания сбрасывания буферов перед 
выключением компьютера. Глюки проявляются очень по-разному: то пропадают 
куда-то файлы, то перестают загружаться модули ядра, то граф оболочка не 
стартует. При этом диагностика показывает очень странные и не объяснимые 
ошибки и таких глючностей со временем становится всё больше и больше.
Долго ломая голову над этой проблемой, мне вспомнилось, что лет ~10 
назад, когда только стали появляться винчестеры с большим кэшем, при 
выключении питания этот кеш не успевал записываться на блины.

В связи с этим, в скрипт /etc/rc.d/init.d/halt перед размотированием 
устройств была вставлена команда sync, которая принудительно сбрасывает 
буфера устройства и ожидает окончания этой операции.
И перед командой, которая выключает питание (самая последняя в этом 
скрипте) была вставлена команда sleep 10.
С такими изменениями на протяжении 3-х месяцев каких-либо странностей не 
наблюдаю. Всё работает стабильно и надёжно.

Вероятно, что современные винчестеры также могут страдать от этой 
особенности и эти рекомендации справедливы и для них.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Damir]

> В связи с этим, в скрипт /etc/rc.d/init.d/halt перед размотированием
> устройств была вставлена команда sync, которая принудительно сбрасывает
> буфера устройства и ожидает окончания этой операции.
Если делается корректный umount, то sync не нужен.

> И перед командой, которая выключает питание (самая последняя в этом скрипте)
> была вставлена команда sleep 10.
Скорее всего именно это и приводит к исчезновению проблем.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

20.04.2011 17:46, Damir пишет:
>> В связи с этим, в скрипт /etc/rc.d/init.d/halt перед размотированием
>> устройств была вставлена команда sync, которая принудительно сбрасывает
>> буфера устройства и ожидает окончания этой операции.
> Если делается корректный umount, то sync не нужен.
rsync перед размонтированием сильно снижает объём данных, которые 
необходимо скинуть на диск, особенно если речь идёт о reiserfs, с её 
развесистыми метаданными.
>> И перед командой, которая выключает питание (самая последняя в этом скрипте)
>> была вставлена команда sleep 10.
> Скорее всего именно это и приводит к исчезновению проблем.
Эта команда добавлена на всякий случай от паранои. Я думаю иначе.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Mykola S. Grechukh]

011/4/20 Kharitonov A. Dmitry <>:
>> Если делается корректный umount, то sync не нужен.
> rsync перед размонтированием сильно снижает объём данных, которые необходимо
> скинуть на диск, особенно если речь идёт о reiserfs, с её развесистыми
> метаданными.

какая разница, скидывать в sync или в umount ?

>>> И перед командой, которая выключает питание (самая последняя в этом
>>> скрипте)
>>> была вставлена команда sleep 10.
>>
>> Скорее всего именно это и приводит к исчезновению проблем.
>
> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.

Надо не думать, а читать:

According to the standard specification (e.g., POSIX.1-2001), sync()
schedules the writes, but _may_return_ before the actual writing is
done. However, since version 1.3.20 Linux does actually wait. (This
still _does_not_ guarantee data integrity: modern disks have large
_caches_.)

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Damir]

>>> В связи с этим, в скрипт /etc/rc.d/init.d/halt перед размотированием
>>> устройств была вставлена команда sync, которая принудительно сбрасывает
>>> буфера устройства и ожидает окончания этой операции.
>>
>> Если делается корректный umount, то sync не нужен.
>
> rsync перед размонтированием сильно снижает объём данных, которые необходимо
> скинуть на диск, особенно если речь идёт о reiserfs, с её развесистыми
> метаданными.
sync != rsync
umount делает то же, что и sync. Просто могут быть кеши в самом
устройстве, поэтому и необходимо какое-то время перед выключением.

см. man 2 sync, секцию Баги

>> Скорее всего именно это и приводит к исчезновению проблем.
>
> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
Уберите ее и посмотрите, что получится.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[REAL]

20.04.2011 21:32, Mykola S. Grechukh пишет:
>> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
>
> Надо не думать, а читать:

да думать вообще вредно. особенно о том, что у флэшки намного больше 
вероятность накрыться в любой момент, чем у харда...

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Mykola S. Grechukh]

2011/4/20 REAL <>:
> 20.04.2011 21:32, Mykola S. Grechukh пишет:
>>>
>>> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
>>
>> Надо не думать, а читать:
>
> да думать вообще вредно. особенно о том, что у флэшки намного больше
> вероятность накрыться в любой момент, чем у харда...

Ой ли? Харды нынче такие харды....

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 378 bytes --]

On Wed, Apr 20, 2011 at 09:44:22PM +0700, REAL wrote:

R> да думать вообще вредно. особенно о том, что у флэшки намного больше 
R> вероятность накрыться в любой момент, чем у харда...

Я вот собираюсь уползти на связку мобильный SSD + Dropbox.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

20.04.2011 18:32, Mykola S. Grechukh пишет:
> 011/4/20 Kharitonov A. Dmitry<>:
>>> Если делается корректный umount, то sync не нужен.
>> rsync перед размонтированием сильно снижает объём данных, которые необходимо
>> скинуть на диск, особенно если речь идёт о reiserfs, с её развесистыми
>> метаданными.
> какая разница, скидывать в sync или в umount ?
разница принципиальная.
>>>> И перед командой, которая выключает питание (самая последняя в этом
>>>> скрипте)
>>>> была вставлена команда sleep 10.
>>> Скорее всего именно это и приводит к исчезновению проблем.
>> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
> Надо не думать, а читать:
>
> According to the standard specification (e.g., POSIX.1-2001), sync()
> schedules the writes, but _may_return_ before the actual writing is
> done. However, since version 1.3.20 Linux does actually wait. (This
> still _does_not_ guarantee data integrity: modern disks have large
> _caches_.)
Поэтому и нужно стремиться к снижению нагрузки на umount, особенно перед 
обесточиванием.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Mykola S. Grechukh]

2011/4/20 Kharitonov A. Dmitry <>:
>> According to the standard specification (e.g., POSIX.1-2001), sync()
>> schedules the writes, but _may_return_ before the actual writing is
>> done. However, since version 1.3.20 Linux does actually wait. (This
>> still _does_not_ guarantee data integrity: modern disks have large
>> _caches_.)
>
> Поэтому и нужно стремиться к снижению нагрузки на umount, особенно перед
> обесточиванием.

Здесь написано примерно то, что sync без слипа не спасает.

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

20.04.2011 18:42, Damir пишет:
>>>> В связи с этим, в скрипт /etc/rc.d/init.d/halt перед размотированием
>>>> устройств была вставлена команда sync, которая принудительно сбрасывает
>>>> буфера устройства и ожидает окончания этой операции.
>>> Если делается корректный umount, то sync не нужен.
>> rsync перед размонтированием сильно снижает объём данных, которые необходимо
>> скинуть на диск, особенно если речь идёт о reiserfs, с её развесистыми
>> метаданными.
> sync != rsync
> umount делает то же, что и sync. Просто могут быть кеши в самом
> устройстве, поэтому и необходимо какое-то время перед выключением.
sync обеспечивает основную выгрузку данных и при размотировании 
потребуется меньше времени, чтобы выгрузить всё остальное.
> см. man 2 sync, секцию Баги
>
>>> Скорее всего именно это и приводит к исчезновению проблем.
>> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
> Уберите ее и посмотрите, что получится.
Уже убирал. Не влияет. Но у кого-то может быть другое оборудование, где 
может влиять.

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

20.04.2011 18:44, REAL пишет:
> 20.04.2011 21:32, Mykola S. Grechukh пишет:
>>> Эта команда добавлена на всякий случай от паранои. Я думаю иначе.
>>
>> Надо не думать, а читать:
>
> да думать вообще вредно. особенно о том, что у флэшки намного больше 
> вероятность накрыться в любой момент, чем у харда...
Вопрос очень спорный...

Re: [Comm] Опыт работы с flash в качестве основного устройства

[Kharitonov A. Dmitry]

20.04.2011 21:11, Mykola S. Grechukh пишет:
> 2011/4/20 Kharitonov A. Dmitry<>:
>>> According to the standard specification (e.g., POSIX.1-2001), sync()
>>> schedules the writes, but _may_return_ before the actual writing is
>>> done. However, since version 1.3.20 Linux does actually wait. (This
>>> still _does_not_ guarantee data integrity: modern disks have large
>>> _caches_.)
>> Поэтому и нужно стремиться к снижению нагрузки на umount, особенно перед
>> обесточиванием.
> Здесь написано примерно то, что sync без слипа не спасает.
Там написано, что sync на  работу устройства не влияет.