[Sysadmins] btrfs

[Sysadmins] btrfs

[Alexei Takaseev]

Приветствую!

А что могут сказать многоуважаемые коллеги по-поводу файловой системы btrfs?

У кого-нибудь есть опыт боевого применения этой ФС?

Re: [Sysadmins] btrfs

[Anton Farygin]

06.07.2011 14:57, Alexei Takaseev пишет:
> Приветствую!
>
> А что могут сказать многоуважаемые коллеги по-поводу файловой системы btrfs?
>
> У кого-нибудь есть опыт боевого применения этой ФС?

https://bugzilla.altlinux.org/show_bug.cgi?id=25674

проверить можно, но в production всё-таки стрёмно.

Re: [Sysadmins] btrfs

[Дмитрий Дегтярев]

06.07.2011 16:57, Alexei Takaseev пишет:
> Приветствую!
>
> А что могут сказать многоуважаемые коллеги по-поводу файловой системы btrfs?
>
> У кого-нибудь есть опыт боевого применения этой ФС?
Пробовал ставить под postgres.. Весь инет трещит что она быстрее других 
на порядок и меньше кушает ресурсов системы. Разве что смущала надпись 
большими красными буквами на сайте разработчиков: "НЕ ИСПОЛЬЗУЙТЕ ДАННУЮ 
ФС В БОЕВЫХ ЦЕЛЯХ, Т.К. МЫ САМИ НЕ ЗНАЕМ КАК ОНА РАБОТАЕТ". Но всё равно 
решил попробовать, это не было сильно опасно т.к. на этом сервере была 
все го лишь репликация.

Итак:
Диски с блинами, данные, индексы, журнал и логи на разных винтах попарно 
в райде
12 процов
24Гб оперативы
база 150 Гб
600-700 запросов в секунду
Под разделяемую память выделено 15Гб
На эту реплику идут запросы подобранные таким образом чтобы наиболее 
эффективно использовать разделяемую память и поминимому диск.
Средняя скорость чтения
btrfs       2М/с
ext4    0,5М/с
Средняя скорость записи
btrfs    12М/с
ext4      2М/с
Т.к. входящий поток данных на запись был одинаков и записанный на диск 
так же одинаков, а скорость записи btrfs больше в 6 раз это означает что 
btrfs гоняла головки диска в дофига раз больше по диску чем ext4, а это 
сильно повлияло на скорость чтения. Не смотря на то что btrfs читает на 
несколько порядков быстрее чем ext4 при условии отсутсвия записи, то при 
активной записи на диск она и читаем много дольше, и соответственно 
физические характеристики диска ухудшаются гораздо быстрее, поросту 
говоря быстро сдохнет.

В результате при btrfs эта реплика себя даже не оправдывала, если её 
просто отключить, то система без неё справлялась лучше. Вернулся на ext4 
и всё стало хорошо.


PS: как ведёт себя на SSD не знаю, возможно картина абсолютно 
противоположная!

Re: [Sysadmins] btrfs

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 344 bytes --]

On Fri, Jul 08, 2011 at 09:27:16AM +0600, Дмитрий Дегтярев wrote:

> Пробовал ставить под postgres.. 

ext4 + data=journal (на отдельном диске или лучше SSD) the best.

btrfs совсем для другого предназначена.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] btrfs

[Maks Re]

 
> ext4 + data=journal (на отдельном диске или лучше SSD) the best.


а что будет с данными, если  журнал накроется? ну там диск/ссд сдохнут и
это будет замечено, например через несколько часов

извините, если вопрос простоват...

Re: [Sysadmins] btrfs

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 709 bytes --]

On Fri, Jul 08, 2011 at 03:42:12PM +0400, Maks Re wrote:

MR> а что будет с данными, если  журнал накроется? ну там диск/ссд сдохнут и
MR> это будет замечено, например через несколько часов
MR> извините, если вопрос простоват...

Если надежности SSD недостаточно -- таки RAID. Правда с журналом на SSD
надежность весьма высокая, ибо журнал обычно относительно небольшой по
сравнению с современными SSD, а "вытираются" они равномерно, так что
если взять SSD и отдать небольшой раздел под журнал, а остальное не
использовать -- срок службы вырастает более чем на порядок.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

[Sysadmins] ipsec

[Patlasov YuriI]

Здравствуйте.

У кого получилось построить VPN сеть: с одной стороны Windows клиенты по 
протоколу L2tp ipsec с другой alt linux сервер ???

Борюсь уже долго racoon.
С помощью xl2tpd сервера подсоединяться получилось, но ipsec прикрутить 
не в какую.


Почему выбрано именно это протокол.
pptp - протокол из-за очень хороших провайдеров не всегда подымается.
openVPN - для Винды нужно ставить клиент.
L2tp с ipsec - только остается.

Юрий.

Re: [Sysadmins] ipsec

[Dmitriy Kruglikov]

21 июля 2011 г. 1:27 пользователь Patlasov YuriI  написал:
> Здравствуйте.
>
> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по
> протоколу L2tp ipsec с другой alt linux сервер ???

Было дело...
Racoon с нашей стороны,  "Зеленый бубен"
(http://www.thegreenbow.com/vpn), или Shrew (http://www.shrew.net/),
или еще пару подобных...

Работает как-то...
Thegreenbow платный, но вполне удобный.
Shrew - свободный, но с прибабахами.
Штатные виндовые средства не поднялись вроде как по их дебильным
экспортным политикам на
средства шифрования...

Точно уже не помню.

> но ipsec прикрутить не в какую.
Потому что не "не в какую", а "ни в какую"...
;)

А в чем проблема-то?

> Почему выбрано именно это протокол.
> pptp - протокол из-за очень хороших провайдеров не всегда подымается.
> openVPN - для Винды нужно ставить клиент.
> L2tp с ipsec - только остается.
Так и для IPSec у меня клиент получается...
Но OpenVPN попроще будет...

-- 
Best regards,
 Dmitriy Kruglikov.
    QString at, dot, mail, XMPP;
    at = "@";
    dot = ".";
    mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
    XMPP = $mail;

Re: [Sysadmins] ipsec

[Patlasov YuriI]

21.07.2011 8:55, Dmitriy Kruglikov пишет:
>> но ipsec прикрутить не в какую.
> Потому что не "не в какую", а "ни в какую"...
> ;)
>
> А в чем проблема-то?
>
>> Почему выбрано именно это протокол.
>> pptp - протокол из-за очень хороших провайдеров не всегда подымается.
>> openVPN - для Винды нужно ставить клиент.
>> L2tp с ipsec - только остается.
> Так и для IPSec у меня клиент получается...
> Но OpenVPN попроще будет...
>
> да попроще . Когда linux клиенту работает на ура. Когда настраевал и понял все её кухни. Сейчас доволен.

Что имеем инет шлюз на alt linux.
1) Ядро  2.6.32-un-def-alt16
2) Вход два провайдера выход одна сетка. Маршрутизация настроена правильно.
3) В iptables 500 и 4500 порты открыты. GRE пакеты тоже открыты. 1701 
порт для xl2tpd тоже открыт.
Теперь про racoon:
Конфиг минимальный.
             При запуске выдает:
                  racoon: ERROR: racoon: MLS support is not enabled.
         Что за ошибка и как от неё избавиться не нашел!!! Может не там 
искал ??? подскажите где???

Авторизация идет по предварительный ключам по IP.  Anonymius  - пока не 
получилось (главное пока поднять VPN)

При авторизации вот такой лог:
Jul 21 10:45:46 ya01 racoon: ERROR: invalid DH group 20.
Jul 21 10:45:46 ya01 racoon: ERROR: invalid DH group 19.
Jul 21 10:45:46 ya01 racoon: phase1(ident R msg1): 0.011274
Jul 21 10:45:46 ya01 racoon: INFO: Hashing 11.111.111.111[500] with algo #2
Jul 21 10:45:46 ya01 racoon: INFO: NAT-D payload #0 verified
Jul 21 10:45:46 ya01 racoon: INFO: Hashing 22.222.222.222[500] with algo #2
Jul 21 10:45:46 ya01 racoon: INFO: NAT-D payload #1 doesn't match
Jul 21 10:45:46 ya01 racoon: INFO: NAT detected: PEER
Jul 21 10:45:46 ya01 racoon: oakley_dh_generate(MODP1024): 0.011265
Jul 21 10:45:46 ya01 racoon: INFO: Hashing 22.222.222.222[500] with algo #2
Jul 21 10:45:46 ya01 racoon: INFO: Hashing 11.111.111.111[500] with algo #2
Jul 21 10:45:46 ya01 racoon: INFO: Adding remote and local NAT-D payloads.
Jul 21 10:45:46 ya01 racoon: oakley_dh_compute(MODP1024): 0.013252
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=64): 
0.000024
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=145): 
0.000009
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=165): 
0.000008
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=165): 
0.000008
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=1): 
0.000008
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=20): 
0.000008
Jul 21 10:45:46 ya01 racoon: phase1(ident R msg2): 0.028991
Jul 21 10:45:46 ya01 racoon: INFO: NAT-T: ports changed to: 
22.222.222.222[4500]<->11.111.111.111[4500]
Jul 21 10:45:46 ya01 racoon: INFO: KA list add: 
11.111.111.111[4500]->22.222.222.222[4500]
Jul 21 10:45:46 ya01 racoon: alg_oakley_encdef_decrypt(3des klen=192 
size=40): 0.000043
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=488): 
0.000012
Jul 21 10:45:46 ya01 racoon: oakley_validate_auth(pre-shared key): 0.000776
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=488): 
0.000011
Jul 21 10:45:46 ya01 racoon: alg_oakley_encdef_encrypt(3des klen=192 
size=40): 0.000010
Jul 21 10:45:46 ya01 racoon: phase1(ident R msg3): 0.004970
Jul 21 10:45:46 ya01 racoon: phase1(Identity Protection): 0.080822
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=32): 
0.000009
Jul 21 10:45:46 ya01 racoon: alg_oakley_encdef_encrypt(3des klen=192 
size=56): 0.000012
Jul 21 10:45:46 ya01 racoon: INFO: ISAKMP-SA established 
11.111.111.111[4500]-22.222.222.222[4500] 
spi:3a54e74acf05edb8:c8de6340cf8ecb0e
Jul 21 10:45:46 ya01 racoon: INFO: respond new phase 2 negotiation: 
11.111.111.111[4500]<=>22.222.222.222[4500]
Jul 21 10:45:46 ya01 racoon: alg_oakley_encdef_decrypt(3des klen=192 
size=304): 0.000031
Jul 21 10:45:46 ya01 racoon: alg_oakley_hmacdef_one(hmac_sha1 size=276): 
0.000010
Jul 21 10:45:46 ya01 racoon: INFO: no policy found, try to generate the 
policy : 192.168.0.150/32[1701] 11.111.111.111/32[1701] proto=udp dir=in
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: pfs group mismatched: my:1 peer:0
Jul 21 10:45:46 ya01 racoon: ERROR: not matched
Jul 21 10:45:46 ya01 racoon: ERROR: no suitable policy found.
Jul 21 10:45:46 ya01 racoon: ERROR: failed to pre-process packet.


11.111.111.111  - ip сервара куда подключаемся
22.222.222.222  - ip сервера откуда подключаемся
192.168.0.150 - ip клиента за натом откуда подключаемся

pfs group - черный ящик ))))

Могу выложить конфигурацию или еще сто-то если поможет.

Жду помощи.

Re: [Sysadmins] ipsec

[Ilia Menchikh]

В Чт., 21/07/2011 в 01:27 +0300, Patlasov YuriI пишет:
> Здравствуйте.
> 
> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по 
> протоколу L2tp ipsec с другой alt linux сервер ???
> 

Работает такое, только  на сервер Debian :) 

Клиенты - Mac, Windows, Linux, Android

 The strongSwan VPN suite is based on the IPsec stack in standard Linux
2.6  kernels. It supports both the IKEv1 and IKEv2 protocols.
 
 StrongSwan is one of the two remaining forks of the original FreeS/WAN
 project and focuses on IKEv2 support, X.509 authentication and complete
PKI  support. For a focus on Opportunistic Encryption (OE) and
interoperability  with non-standard IPsec features, see Openswan.
 .
 This metapackage installs the packages required to maintain IKEv1 and
IKEv2  connections via ipsec.conf or ipsec.secrets.
Homepage: http://www.strongswan.org


> Борюсь уже долго racoon.
> С помощью xl2tpd сервера подсоединяться получилось, но ipsec прикрутить 
> не в какую.
> 
> 
> Почему выбрано именно это протокол.
> pptp - протокол из-за очень хороших провайдеров не всегда подымается.
> openVPN - для Винды нужно ставить клиент.
> L2tp с ipsec - только остается.
> 
> Юрий.
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

Re: [Sysadmins] ipsec

[Patlasov YuriI]

21.07.2011 13:22, Ilia Menchikh пишет:
> В Чт., 21/07/2011 в 01:27 +0300, Patlasov YuriI пишет:
>> Здравствуйте.
>>
>> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по
>> протоколу L2tp ipsec с другой alt linux сервер ???
>>
> Работает такое, только  на сервер Debian :)
>
> Клиенты - Mac, Windows, Linux, Android
>
Сносить Alt и ставить Debian???

strongswan - есть в репозитариях. он не подходит?

Re: [Sysadmins] ipsec

[Ilia Menchikh]

В Чт., 21/07/2011 в 13:52 +0300, Patlasov YuriI пишет:
> 21.07.2011 13:22, Ilia Menchikh пишет:
> > В Чт., 21/07/2011 в 01:27 +0300, Patlasov YuriI пишет:
> >> Здравствуйте.
> >>
> >> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по
> >> протоколу L2tp ipsec с другой alt linux сервер ???
> >>
> > Работает такое, только  на сервер Debian :)
> >
> > Клиенты - Mac, Windows, Linux, Android
> >
> Сносить Alt и ставить Debian???
> 

Зачем топором-то? Настроить можно практически все, просто сделал из того
что было. К тому же политика компании...

> strongswan - есть в репозитариях. он не подходит?

Для начала прочитать документацию и понять что это и как работает.

Re: [Sysadmins] ipsec

[Mikhail]

Здравствуйте, Patlasov.

Вы писали 21 июля 2011 г., 2:27:26:

> Здравствуйте.

> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по
> протоколу L2tp ipsec с другой alt linux сервер ???

> Борюсь уже долго racoon.
> С помощью xl2tpd сервера подсоединяться получилось, но ipsec прикрутить
> не в какую.

Под  BSD  систему  такое  получилось  прикрутить сразу, по ходу чтения
гугля.  Под Alt такое замутить не получилось, даже после долгих плясок
с бубном.


-- 
С уважением,
 Mikhail                          mailto:lists@mishel.tk

Re: [Sysadmins] ipsec

[Patlasov YuriI]

22.07.2011 10:54, Mikhail пишет:
> Здравствуйте, Patlasov.
>
> Вы писали 21 июля 2011 г., 2:27:26:
>
>> Здравствуйте.
>> У кого получилось построить VPN сеть: с одной стороны Windows клиенты по
>> протоколу L2tp ipsec с другой alt linux сервер ???
>> Борюсь уже долго racoon.
>> С помощью xl2tpd сервера подсоединяться получилось, но ipsec прикрутить
>> не в какую.
> Под  BSD  систему  такое  получилось  прикрутить сразу, по ходу чтения
> гугля.  Под Alt такое замутить не получилось, даже после долгих плясок
> с бубном.
>
>
Это блин прикол какой то. На шлюзе стояла Фряха. её снес поставил Alt 
настроил все кроме VPN
Теперь обратно откатываться )))

Спасибо всех за информацию.

Re: [Sysadmins] ipsec

[Michael Shigorin]

On Fri, Jul 22, 2011 at 05:45:18PM +0300, Patlasov YuriI wrote:
> >>У кого получилось построить VPN сеть: с одной стороны Windows
> >>клиенты по протоколу L2tp ipsec с другой alt linux сервер ???
> >>Борюсь уже долго racoon.  С помощью xl2tpd сервера
> >>подсоединяться получилось, но ipsec прикрутить не в какую.
> >Под  BSD  систему  такое  получилось  прикрутить сразу, по
> >ходу чтения гугля.  Под Alt такое замутить не получилось, даже
> >после долгих плясок с бубном.
> Это блин прикол какой то. На шлюзе стояла Фряха. её снес
> поставил Alt настроил все кроме VPN
> Теперь обратно откатываться )))

JFYI, racoon на линуксе с таковым же на фре не с полпинка,
но состыковался.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] ipsec

[Denis Kuznetsov]

On Friday 22 July 2011 18:00:33 Michael Shigorin wrote:
> JFYI, racoon на линуксе с таковым же на фре не с полпинка,
> но состыковался.

Подозреваю что имелось ввиду именно "с полпинка", без отрицания "не".
Потому что как с FreeBSD так и с Cisco IOS проблем не наблюдал, последние 4
года. Хотя конечно нехватает такой-же скриптовой обвязки для поднятия ipsec 
туннелей как в network-scripts, но это уже дело вкуса.


-- 
Denis E. Kuznetsov

Re: [Sysadmins] ipsec

[Patlasov YuriI]

25.07.2011 9:21, Denis Kuznetsov пишет:
>
> On Friday 22 July 2011 18:00:33 Michael Shigorin wrote:
>> JFYI, racoon на линуксе с таковым же на фре не с полпинка,
>> но состыковался.
> Подозреваю что имелось ввиду именно "с полпинка", без отрицания "не".
> Потому что как с FreeBSD так и с Cisco IOS проблем не наблюдал, последние 4
> года. Хотя конечно нехватает такой-же скриптовой обвязки для поднятия ipsec
> туннелей как в network-scripts, но это уже дело вкуса.
>
>

Скинь конфигурацию racoon.
После долгий проб. Затык в том что после двух фаз аутентификации дальше 
не чего не происходит. Обе фазы проходят, а туннель не подымается!!!
Толи маршруты какие то не подымаются., то ли еще надо подумать.
Может кто на пальцах может описать как!!
Зачем нужен /etc/racoon/script/p1_up_down ??

Re: [Sysadmins] btrfs

[Vladimir V. Kamarzin]

>>>>> On 08 Jul 2011 at 14:33 "m" == mithraen  writes:

m> On Fri, Jul 08, 2011 at 09:27:16AM +0600, Дмитрий Дегтярев wrote:
>> Пробовал ставить под postgres.. 
m> ext4 + data=journal (на отдельном диске или лучше SSD) the best.

Для postgres не надо journal.

Tip: Because WAL restores database file contents after a crash, journaled file
systems are not necessary for reliable storage of the data files or WAL
files. In fact, journaling overhead can reduce performance, especially if
journaling causes file system data to be flushed to disk. Fortunately, data
flushing during journaling can often be disabled with a file system mount
option, e.g. data=writeback on a Linux ext3 file system. Journaled file
systems do improve boot speed after a crash.

http://www.postgresql.org/docs/9.0/interactive/wal-intro.html

Лучше выключить write cache, если нету всяких BBU.
http://www.postgresql.org/docs/9.0/interactive/wal-reliability.html

-- 
vvk

Re: [Sysadmins] btrfs

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 702 bytes --]

On Mon, Aug 01, 2011 at 06:01:08PM +0600, Vladimir V. Kamarzin wrote:

VVK> Для postgres не надо journal.

Помнится проводили эксперименты, и по крайней мере на ext3 оказывалось что
производительность при использовании журнала выше. Кто именно проводил
эксперименты уже не помню :(

А вот вынос журнала (вне зависимости от использования data=journal) на
отдельную SSD штука весьма полезная.

VVK> Лучше выключить write cache, если нету всяких BBU.
VVK> http://www.postgresql.org/docs/9.0/interactive/wal-reliability.html

А вот это действительно обязательно.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] ipsec

[Michael Shigorin]

On Mon, Jul 25, 2011 at 09:21:41AM +0300, Denis Kuznetsov wrote:
> > JFYI, racoon на линуксе с таковым же на фре не с полпинка,
> > но состыковался.
> Подозреваю что имелось ввиду именно "с полпинка", без отрицания "не".
> Потому что как с FreeBSD так и с Cisco IOS проблем не наблюдал,
> последние 4 года. Хотя конечно нехватает такой-же скриптовой
> обвязки для поднятия ipsec туннелей как в network-scripts, но
> это уже дело вкуса.

Возможно, кто захочет сделать по мотивам
/etc/net/scripts/*-ipsectun?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/