[sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[sergey ivanov]

[-- Attachment #1: Type: text/plain, Size: 1588 bytes --]

Привет всем,
хочу сообщить, что fuse-zfs после примерно трёх месяцев успешной
эксплуатации на  моём почтовом сервере переезжает из Дедалуса в Сизифус.

Это Solaris'ная файловая система zfs, портированная в линуксовскую FUSE.
Она даёт:
1. Двоичную совместимость с zfs дисками и разделами Солярис
2. Совместимость в обе стороны с полными и инкрементальными zfs
send/receive Солярисными снапшотами.
3. Почти все прелести zfs, а именно:
    - создание zpool томов в file, device/partition, mirror,  raidz, 
raidz1, raidz2 (варианты raid5 отличающиеся устойчивостью к одиночным
или двойным сбоям);
    - мгновенным дешёвым созданием снапшотов с отложенным до следующего
изменения файлов копированием;
    - send/receive этих снапшотов, как полных так и инкрементальных;
    - управляемыми на лету, без перемонтирования, такими параметрами как
контрольные суммы записываемых данных, сжатие данных, квоты и т.д.

Ограничения и недостатки:
1. Работает медленно.
2. Автоматическое монтирование из fstab не поддерживается, может быть
обойдено простейшим скриптом типа:
---
$ cat /usr/bin/zfs
#! /bin/sh
echo /usr/sbin/zfs set mountpoint=$2 $1
/usr/sbin/zfs set mountpoint=$2 $1
echo /usr/sbin/zfs mount $1
/usr/sbin/zfs mount $1
---
3. Не упакованы man pages, приходится смотреть в соседней Солярис или в
интернете.
4. Единственная особенность проявившаяся при эксплуатации dovecot за эти
месяцы с maildir storage на fuse-zfs - не поддерживает mmap.

Так как  git.altlinux временно не работает, пакет fuse-zfs (как и
dovecot) доступен на http://git.parkheights.dyndns.org

-- 
    Сергей Иванов.



[-- Attachment #2: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1.eml --]
[-- Type: message/rfc822, Size: 1659 bytes --]

From: Upravdom Team Robot <upravdom@altlinux.org>
To: "Sergey Ivanov" <seriv@altlinux.org>
Cc: sisyphus-incominger@lists.altlinux.org
Subject: I: incoming x86_64  success: fuse-zfs-0.4.0_beta1.hg20070527-alt1
Date: Mon, 28 May 2007 06:37:14 +0400 (MSD)
Message-ID: <20070528023714.5666F28242@hint1.office.altlinux.org>

Dear Sergey Ivanov!
The fuse-zfs-0.4.0_beta1.hg20070527-alt1 package passed thru incoming
rebuild for x86_64 architecture.
Thank you!

-- 
Rgrds, your upravdom

Re: [sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[Eugene Prokopiev]

> хочу сообщить, что fuse-zfs после примерно трёх месяцев успешной
> эксплуатации на  моём почтовом сервере переезжает из Дедалуса в Сизифус.

skip

> 1. Работает медленно.

skip

> 4. Единственная особенность проявившаяся при эксплуатации dovecot за эти
> месяцы с maildir storage на fuse-zfs - ...

skip

Так а в чем кайф? Я бы понял, если бы zfs предполагалось использовать 
так же, как ntfs, но зачем нужна медленная файловая система на почтовом 
сервере?

-- 
С уважением, Прокопьев Евгений

Re: [sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[sergey ivanov]

Eugene Prokopiev wrote:
> skip
> Так а в чем кайф? Я бы понял, если бы zfs предполагалось использовать 
> так же, как ntfs, но зачем нужна медленная файловая система на почтовом 
> сервере?
>
>   
Основная причина личная - это мои продолжающиеся попытки уйти на
Солярис. Поэтому на каждой из двух машин что выполняют по очереди
функцию почтового сервера большинство дискового пространства уже
занимают zpool'ы.
Опять же, очень удобно администрировать, копии, переносы сервера с
одного железа на другое в Солярисе мне понятны по долгу службы, а с
fuse-zfs и на линукс временно откатиться не представляет сложности.

Хотя наверно снашоты и их удобство хранить и транспортировать позволяют
не бояться экспериментировать с почтовым сервером, - восстановить в
случае чего данные я могу так что клиенты наверно ничего не заметят.

Но с другой стороны, медленность реализации zfs в fuse - это около двух
раз по сравнению с ext3fs. По сравнению с тем замедлением, которое люди
испытывают при использвании courier-imap по сравнению с dovecot'ом оно
невелико.


-- 
   Сергей

Re: [sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[Eugene Prokopiev]

sergey ivanov пишет:
> Eugene Prokopiev wrote:
> 
>>skip
>>Так а в чем кайф? Я бы понял, если бы zfs предполагалось использовать 
>>так же, как ntfs, но зачем нужна медленная файловая система на почтовом 
>>сервере?
>>
>>  
> 
> Основная причина личная - это мои продолжающиеся попытки уйти на
> Солярис. Поэтому на каждой из двух машин что выполняют по очереди
> функцию почтового сервера большинство дискового пространства уже
> занимают zpool'ы.
> Опять же, очень удобно администрировать, копии, переносы сервера с
> одного железа на другое в Солярисе мне понятны по долгу службы, а с
> fuse-zfs и на линукс временно откатиться не представляет сложности.

Солярис имеет какие-то объективные преимущества в данном случае, или 
причина личная/служебная? ;)

> Хотя наверно снашоты и их удобство хранить и транспортировать позволяют
> не бояться экспериментировать с почтовым сервером, - восстановить в
> случае чего данные я могу так что клиенты наверно ничего не заметят.
> 
> Но с другой стороны, медленность реализации zfs в fuse - это около двух
> раз по сравнению с ext3fs. По сравнению с тем замедлением, которое люди
> испытывают при использвании courier-imap по сравнению с dovecot'ом оно
> невелико.

А есть методика тестирования, дающая воспроизводимые и измеряемые 
результаты сравнения courier-imap и dovecot? Очччень интересно, я бы не 
отказался и DBMail с ними сравнить, хоть его преимущества и несколько в 
ином, а производительность для меня пока просто достаточна ...

-- 
С уважением, Прокопьев Евгений

Re: [sisyphus] [Fwd: I: incoming x86_64 success: fuse-zfs-0.4.0_beta1.hg20070527-alt1]

[sergey ivanov]

Eugene Prokopiev wrote:
> sergey ivanov пишет:
>   
>> Eugene Prokopiev wrote:
>>
>>     
>>> skip
>>> Так а в чем кайф? Я бы понял, если бы zfs предполагалось использовать 
>>> так же, как ntfs, но зачем нужна медленная файловая система на почтовом 
>>> сервере?
>>>
>>>  
>>>       
>> Основная причина личная - это мои продолжающиеся попытки уйти на
>> Солярис. Поэтому на каждой из двух машин что выполняют по очереди
>> функцию почтового сервера большинство дискового пространства уже
>> занимают zpool'ы.
>> Опять же, очень удобно администрировать, копии, переносы сервера с
>> одного железа на другое в Солярисе мне понятны по долгу службы, а с
>> fuse-zfs и на линукс временно откатиться не представляет сложности.
>>     
>
> Солярис имеет какие-то объективные преимущества в данном случае, или 
> причина личная/служебная? ;)
>   
наверно все преимущества Соляриса, если они и есть, можно постепенно
перетаскивать в Линукс.
DTrace уже говорят в линуксе лучше чем в в Солярисе, вот сейчас уже и
zfs появляется ;)
>
>   
>>
>> Но с другой стороны, медленность реализации zfs в fuse - это около двух
>> раз по сравнению с ext3fs. По сравнению с тем замедлением, которое люди
>> испытывают при использвании courier-imap по сравнению с dovecot'ом оно
>> невелико.
>>     
>
> А есть методика тестирования, дающая воспроизводимые и измеряемые 
> результаты сравнения courier-imap и dovecot? Очччень интересно, я бы не 
> отказался и DBMail с ними сравнить, хоть его преимущества и несколько в 
> ином, а производительность для меня пока просто достаточна ...
>
>   
Как раз сравнение с DBMail - пожалуйста, см.
http://dovecot.org/list/dovecot/2007-May/022599.html
Итог там - при добавлении почты DBMail версии 2.2.4 (MySQL-5.0.30,
innodb) так же быстр как maildir dovecot'а на ext3fs; если запись новой
почты чередовать с чтением то отставание DBMail составляет 1.6 раз, при
использовании кешируемых метаданных dovecot обгоняет DBMail в 4 раза. 
Это - один клиент, в следующих сообщениях в этом обсуждении есть
аналогичные данные про паралельно работающих 30 и 100 клиентов.
Методика тестирования описана в
http://dovecot.org/list/dovecot/2007-January/018956.html и
http://dovecot.org/list/dovecot/2007-January/018953.html
Про сравнение dovecot/uw-imap я результатов тестов не видел, зато помню
письма от мигрировавших с uw-imap на dovecot людей в рассылке dovecot'а
с их ощущением что производительность выросла в десятки раз.

Однако же, как вы правильно заметили - если производительность
достаточна - другие факторы становятся важными. Я вот ещё вспомнил что
zfs compression позволила мне почти вдвое уменьшить место на диске
занимаемое почтовыми ящиками. Тоже ведь фактор, иногда может повлиять на
выбор.

-- 
    Сергей

[sisyphus] Mail server perfomance

[Eugene Prokopiev]

>>А есть методика тестирования, дающая воспроизводимые и измеряемые 
>>результаты сравнения courier-imap и dovecot? Очччень интересно, я бы не 
>>отказался и DBMail с ними сравнить, хоть его преимущества и несколько в 
>>ином, а производительность для меня пока просто достаточна ...
>>
>>  
> 
> Как раз сравнение с DBMail - пожалуйста, см.
> http://dovecot.org/list/dovecot/2007-May/022599.html
> Итог там - при добавлении почты DBMail версии 2.2.4 (MySQL-5.0.30,
> innodb) так же быстр как maildir dovecot'а на ext3fs; если запись новой
> почты чередовать с чтением то отставание DBMail составляет 1.6 раз, при
> использовании кешируемых метаданных dovecot обгоняет DBMail в 4 раза. 
> Это - один клиент, в следующих сообщениях в этом обсуждении есть
> аналогичные данные про паралельно работающих 30 и 100 клиентов.
> Методика тестирования описана в
> http://dovecot.org/list/dovecot/2007-January/018956.html и
> http://dovecot.org/list/dovecot/2007-January/018953.html
> Про сравнение dovecot/uw-imap я результатов тестов не видел, зато помню
> письма от мигрировавших с uw-imap на dovecot людей в рассылке dovecot'а
> с их ощущением что производительность выросла в десятки раз.

Очень интересно, спасибо, надо будет попробовать воспроизвести, а то 
"ext3 created as a 1GB file inside XFS" для innodb вместо xfs/jfs или 
raw device - это выглядит нечестно ;)

Объяснение "3-7x faster with ext3" по сравнению с xfs - это совсем 
странно, что-то тут не так, мой небольшой опыт эксплуатации разных СУБД 
безотносительно DBMail говорит об обратном ...

> Однако же, как вы правильно заметили - если производительность
> достаточна - другие факторы становятся важными. Я вот ещё вспомнил что
> zfs compression позволила мне почти вдвое уменьшить место на диске
> занимаемое почтовыми ящиками. Тоже ведь фактор, иногда может повлиять на
> выбор.

Да :)

-- 
С уважением, Прокопьев Евгений

Re: [sisyphus] Mail server perfomance

[Sergey]

Eugene Prokopiev wrote:
[skip]
> Очень интересно, спасибо, надо будет попробовать воспроизвести, а то 
> "ext3 created as a 1GB file inside XFS" для innodb вместо xfs/jfs или 
> raw device - это выглядит нечестно ;)
Сейчас отправил в Daedalus пакет dovecot-1.1-alt0.hg20070530.src.rpm
который provides среди прочего imaptest для тестирования imap серверов.

-- 
	Сергей

Re: [sisyphus] Mail server perfomance

[sergey ivanov]

Eugene Prokopiev wrote:
> Sergey пишет:
>   
>> Eugene Prokopiev wrote:
>> [skip]
>>     
>>> Очень интересно, спасибо, надо будет попробовать воспроизвести, а то 
>>> "ext3 created as a 1GB file inside XFS" для innodb вместо xfs/jfs или 
>>> raw device - это выглядит нечестно ;)
>>>       
>> Сейчас отправил в Daedalus пакет dovecot-1.1-alt0.hg20070530.src.rpm
>> который provides среди прочего imaptest для тестирования imap серверов.
>>     
>
> его бы лучше в отдельный пакет, он ведь не завязан на dovecot?
>
> и, кстати, в исходниках параметры (адрес, имя, пароль и т.д.) прошиты 
> через #define, т.о., чтобы его использовать, нужно либо пересобирать 
> (зачем тогда пакет?), либо выносить параметры в конфиг, например.
>
>   
Так оно и упаковано. Бинарный пакет отдельный, из одного srpm получается
несколько бинарных.
---
[seriv@parkheights ~]$ rpm -qa |grep '^dovecot'
dovecot-sieve-1.0.1.cvs20070222-alt1
dovecot-1.0-alt12.hg20070527
dovecot-doc-1.0-alt12.hg20070527
dovecot-benchmark-1.1-alt0.hg20070530
dovecot-devel-1.0-alt12.hg20070527
[seriv@parkheights ~]$ rpm -ql dovecot-benchmark
/usr/bin/imaptest
[seriv@parkheights ~]$ imaptest --help
imaptest [user=USER] [host=HOST] [port=PORT] [pass=PASSWORD]
[mbox=MBOX]          [clients=CC] [msgs=NMSG] [box=MAILBOX]
[copybox=DESTBOX]
         [-] [<state>[=<n%>[,<m%>]]] [random] [no_pipelining]
 USER = template for username. "u%04d" will generate users "u0001" to
        "u0099". "u%04d@d%04d" will generate also "d0001" to "d0099".
 MBOX = path to mbox from which we read mails to append.
 MAILBOX = Mailbox name where to do all the work (default = INBOX).
 DESTBOX = Mailbox name where to copy messages.
 CC   = number of concurrent clients. [10]
 NMSG = target number of messages in the mailbox. [30]

 -    = Sets all probabilities to 0% except for LOGIN, LOGOUT and SELECT
 <state> = Sets state's probability to n% and repeated probability to m%
---
Чтобы тестировать я создаю, например, сотню тестовых аккаунтов с
одинаковым паролем, типа:
---
$ useradd test0; passwd test0;
<<ввожу пароль напримаер 'testing'>>
$ for i in `seq 0 9`; do for j in `seq 0 9`; do
N=test00${i}${j}; useradd $N;
cp /etc/tcb/test0/shadow /etc/tcb/$N/shadow;
chown $N /etc/tcb/$N/shadow;
done; done;
---
и после этого можно запускать
---
$ imaptest user="test%04d" host=localhost port=143 pass=testing
mbox=/home/seriv/devel/dovecot/dovecot.mbox

-- 
    Сергей

Re: [sisyphus] Mail server perfomance

[Led]

В сообщении от Thursday 31 May 2007 15:03:14 sergey ivanov написал(а):

> Чтобы тестировать я создаю, например, сотню тестовых аккаунтов с
> одинаковым паролем, типа:
> ---
> $ useradd test0; passwd test0;
> <<ввожу пароль напримаер 'testing'>>
> $ for i in `seq 0 9`; do for j in `seq 0 9`; do
> N=test00${i}${j}; useradd $N;
> cp /etc/tcb/test0/shadow /etc/tcb/$N/shadow;
> chown $N /etc/tcb/$N/shadow;
> done; done;

Это вместо такого:

for i in `seq -w 0 99`; do
	useradd -M -p testing test00$i
done

?

___
Led

Re: [sisyphus] Mail server perfomance

[Eugene Ostapets]

2007/5/31, Led <ledest gmail.com>:
> В сообщении от Thursday 31 May 2007 15:03:14 sergey ivanov написал(а):
> Это вместо такого:
>
> for i in `seq -w 0 99`; do
>         useradd -M -p testing test00$i
> done
А давно у нас useradd начал принимать пароль в чистом виде, а не в хеше?

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [sisyphus] Mail server perfomance

[Led]

В сообщении от Thursday 31 May 2007 15:41:37 Eugene Ostapets написал(а):
> 2007/5/31, Led <ledest gmail.com>:
> > В сообщении от Thursday 31 May 2007 15:03:14 sergey ivanov написал(а):
> > Это вместо такого:
> >
> > for i in `seq -w 0 99`; do
> >         useradd -M -p testing test00$i
> > done
>
> А давно у нас useradd начал принимать пароль в чистом виде, а не в хеше?

Виноват, нужно хэш, вместо "testing"

___
Led

Re: [sisyphus] Mail server perfomance

[Sergey]

Eugene Prokopiev wrote:
> Sergey пишет:
>> Eugene Prokopiev wrote:
>> [skip]
>>> Очень интересно, спасибо, надо будет попробовать воспроизвести, а то 
>>> "ext3 created as a 1GB file inside XFS" для innodb вместо xfs/jfs или 
>>> raw device - это выглядит нечестно ;)
>> Сейчас отправил в Daedalus пакет dovecot-1.1-alt0.hg20070530.src.rpm
>> который provides среди прочего imaptest для тестирования imap серверов.
> 
> его бы лучше в отдельный пакет, он ведь не завязан на dovecot?
Вот я попробовал. rpm -ivh \
http://ftp.altlinux.com/pub/distributions/ALTLinux/Daedalus/i586/RPMS.daedalus/dovecot-benchmark-1.1-alt0.hg20070530.i586.rpm
На почти дефолтной установке dovecot'а
(задал mail_location: mbox:~/mail) имею:
---
$ imaptest user="test%04d" host=localhost port=143 pass=testing
mbox=/home/seriv/dovecot.mbox
[skip 120 seconds of testing uttil <Ctrl+C> pressed]
Totals:
Logi List Stat Sele Fetc Fet2 Stor Dele Expu Appe Logo
100%  50%  50% 100% 100% 100%  50% 100% 100% 100% 100%
                          30%                  5%
 415  212  190  410  388  561  113   15  388  410  820
---

Смысл цифр: за время теста - 120 секунд, из ста возможных юзеров в
среднем 10 одновременно соединяются с сервером, пытаясь записать к себе
в INBOX или скопировать в другой ящик письма, или их прочитать или
удалить, в среднем поддержвивая 30 писем в INBOXе, и за эти 120 секунд
смогли 415 раз аутентифицироваться, записать 410 писем и т.д - первая
строка описывает imap commands, вторая даёт вероятности в процентах что
они попробуют выполнить эту команду после входа, и самая нижняя -
сколько раз эа 120 секунд эта команда была выполнена.

При установленном сегодня из сизифа dbmail (rpm -qa |grep '^dbmail'
dbmail-2.2.4.git200704092140-alt1
dbmail-mysql-2.2.4.git200704092140-alt1)
Тот же тест даёт следующее:
---
Totals:
Logi List Stat Sele Fetc Fet2 Stor Dele Expu Appe Logo
100%  50%  50% 100% 100% 100%  50% 100% 100% 100% 100%
                          30%                  5%
 120   65   52  120   96  127    6    1   81  102  202
---
DBMail  и MySQL установки тоже дефолтные, единственное что пришлось
изменить - s/latin1/utf8/ в установках DBMail иначе он не мог
соединиться с MySQL сервером.

Такк и должно быть или я что-то в установках DBMail надо менять чтобы он
стал работать скорее? Мне кажется что замедление в три раза может
оказаться связанным неправильным употреблением DBMail.

Для сравнения, dovecot с Maildir на zfs даёт:
Totals:
Logi List Stat Sele Fetc Fet2 Stor Dele Expu Appe Logo
100%  50%  50% 100% 100% 100%  50% 100% 100% 100% 100%
                          30%                  5%
 338  174  174  328  230  327   47    1  230  328  655


-- 
	Сергей Иванов.

Re: [sisyphus] Mail server perfomance

[Eugene Prokopiev]

Sergey пишет:
> Eugene Prokopiev wrote:
> [skip]
>> Очень интересно, спасибо, надо будет попробовать воспроизвести, а то 
>> "ext3 created as a 1GB file inside XFS" для innodb вместо xfs/jfs или 
>> raw device - это выглядит нечестно ;)
> Сейчас отправил в Daedalus пакет dovecot-1.1-alt0.hg20070530.src.rpm
> который provides среди прочего imaptest для тестирования imap серверов.

его бы лучше в отдельный пакет, он ведь не завязан на dovecot?

и, кстати, в исходниках параметры (адрес, имя, пароль и т.д.) прошиты 
через #define, т.о., чтобы его использовать, нужно либо пересобирать 
(зачем тогда пакет?), либо выносить параметры в конфиг, например.

-- 
С уважением,
Прокопьев Евгений

Re: [sisyphus] Mail server perfomance

[Eugene Prokopiev]

> Такк и должно быть или я что-то в установках DBMail надо менять чтобы он
> стал работать скорее? Мне кажется что замедление в три раза может
> оказаться связанным неправильным употреблением DBMail.

Нет, тюнинг DBMail - это в первую очередь тюнинг СУБД, т.е. крутить 
нужно  MySQL - менять файловую систему, тип хранилища (для MySQL), 
кэширование и т.д. Может и СУБД менять ;)


-- 
С уважением, Прокопьев Евгений

[sisyphus] Q: хэш для пароля

[Sergey]

Led wrote:
> В сообщении от Thursday 31 May 2007 15:41:37 Eugene Ostapets написал(а):
>> 2007/5/31, Led <ledest gmail.com>:
>>> В сообщении от Thursday 31 May 2007 15:03:14 sergey ivanov написал(а):
>>> Это вместо такого:
>>>
>>> for i in `seq -w 0 99`; do
>>>         useradd -M -p testing test00$i
>>> done
>> А давно у нас useradd начал принимать пароль в чистом виде, а не в хеше?
> 
> Виноват, нужно хэш, вместо "testing"
> 
Скажите пожалуйста, чем можно произвести хэш для useradd -p?
-- 
	Сергей.

Re: [sisyphus] Q: хэш для пароля

[Eugene Ostapets]

01.06.07, Sergey<seriv parkheights.dyndns.org> написал(а):
> Led wrote:
> > В сообщении от Thursday 31 May 2007 15:41:37 Eugene Ostapets написал(а):
> >> 2007/5/31, Led <ledest gmail.com>:
> >>> В сообщении от Thursday 31 May 2007 15:03:14 sergey ivanov написал(а):
> >>> Это вместо такого:
> >>>
> >>> for i in `seq -w 0 99`; do
> >>>         useradd -M -p testing test00$i
> >>> done
> >> А давно у нас useradd начал принимать пароль в чистом виде, а не в хеше?
> >
> > Виноват, нужно хэш, вместо "testing"
> >
> Скажите пожалуйста, чем можно произвести хэш для useradd -p?
Перлом, man crypt... Да и в сети куча готовых генераторов хешей...

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [sisyphus] Q: хэш для пароля

[Michael A. Kangin]

В сообщении от Saturday 02 June 2007 00:21:40 Sergey написал(а):

> >> А давно у нас useradd начал принимать пароль в чистом виде, а не в хеше?
> > Виноват, нужно хэш, вместо "testing"
> Скажите пожалуйста, чем можно произвести хэш для useradd -p?

Можно useradd делать без пароля, а потом запускать chpasswd. Оно умеет 
принимать пароль чистым текстом.



-- 
wbr, Michael A. Kangin