[room] Linux, FreeBSD, Solaris

[room] Linux, FreeBSD, Solaris

[Michael Shigorin]

http://www.trinity.su/news/280.htm
http://www.opennet.ru/opennews/art.shtml?num=7239

С целью выбора операционной системы для установки на нагруженном
Web-сервере, было проведено тестирование производительности
работы связки Apache 1.3.34, PHP 4.4.2 и MySQL 4.1.18 на
операционных системах FreeBSD 6.0 STABLE AMD64, SLES 9 SP3 AMD64
и Solaris 10 01/06 AMD64.

На тестовом сайте был установлен форум phpBB 2.0.19 и
сгенерирована база из 150000 сообщений. Нагрузка генерировалась
при помощи ПО Apache JMeter 2.1.1.

Как ни прискорбно, но несмотря на все усилия автора по
оптимизации (сборка с lpthread, включение ULE планировщика),
FreeBSD продемонстрировала значительно отставание по
производительности на многопроцессорной системе.

В результате, можно отметить победу Linux при низких и средних
нагрузках и подавляющее лидерство Solaris при больших.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[Anatoly Yakushin]

Michael Shigorin пишет:
> http://www.trinity.su/news/280.htm
> http://www.opennet.ru/opennews/art.shtml?num=7239
> 
<skip>

> Как ни прискорбно, но несмотря на все усилия автора по
> оптимизации (сборка с lpthread, включение ULE планировщика),
> FreeBSD продемонстрировала значительно отставание по
> производительности на многопроцессорной системе.
> 
> В результате, можно отметить победу Linux при низких и средних
> нагрузках и подавляющее лидерство Solaris при больших.

http://bash.org.ru/quote.php?num=16292
Сцылко в тему :)



-- 
Rgrds,
Anatoly A. Yakushin aka DOC

Re: [room] Linux, FreeBSD, Solaris

[Денис Смирнов]

On Thu, Mar 30, 2006 at 09:24:39PM +0300, Michael Shigorin wrote:

MS> Как ни прискорбно, но несмотря на все усилия автора по
MS> оптимизации (сборка с lpthread, включение ULE планировщика),
MS> FreeBSD продемонстрировала значительно отставание по
MS> производительности на многопроцессорной системе.
MS> В результате, можно отметить победу Linux при низких и средних
MS> нагрузках и подавляющее лидерство Solaris при больших.

Linux не может столь существенно выигрывать именно на этой задаче при
правильном тюнинге обеих систем.

Основной вывод этого теста, увы -- "Apache мерзкая дешевая поделка". Но
это я и без теста знаю :)

Вот если бы сравнили поставив спереди фронтенд вроде того же nginx
(который как минимум на Linux и FreeBSD умеет эффективно использовать
новомодные фичи обеих систем), тогда это было бы действительно интересно.

А человек, ставящий столь нагруженый web-сервер, что ему нужен
четырехголовый оптерон без reverse proxy либо ламер, либо немножко не в
курсе что нужно сделать, чтобы не выкидывать столько денег впустую.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Неопределимые ошибки бесконечны, а определимые ограничены способностями
компилятора.

Re: [room] Linux, FreeBSD, Solaris

[Michael Shigorin]

On Fri, Mar 31, 2006 at 12:45:41PM +0400, Денис Смирнов wrote:
> MS> Как ни прискорбно, но несмотря на все усилия автора по
> MS> оптимизации (сборка с lpthread, включение ULE планировщика),
> MS> FreeBSD продемонстрировала значительно отставание по
> MS> производительности на многопроцессорной системе.
> Linux не может столь существенно выигрывать именно на этой
> задаче при правильном тюнинге обеих систем.

Это с какого перепугу?  Если ты не следил последние лет пять за
тем, как происходит развитие этих ядер по части SMP, то более чем
предсказуемый результат.  BKL, который у нас ещё в 2.2 довольно
сильно изгнали, у них до сих пор местами водится (называется
giant lock, правда).

В контексте того, что основной нагрузкой был таки apache1, а не
mysql или дисковая подсистема.  Бишь даже то, что на фре до сих
пор не могут с тредами разобраться (если не пользовать
линуксовые, тихонько и не выпячиваясь) -- сильно не влияло.

> Основной вывод этого теста, увы -- "Apache мерзкая дешевая
> поделка". Но это я и без теста знаю :)

Да ты гонишь.  Там первый :)

> Вот если бы сравнили поставив спереди фронтенд вроде того же
> nginx (который как минимум на Linux и FreeBSD умеет эффективно
> использовать новомодные фичи обеих систем), тогда это было бы
> действительно интересно.

(подумав) nginx бы нагрузки не создавал, т.е. можно считать этот
тест на то, сколько бэкендов выдерживает такая система.

> А человек, ставящий столь нагруженый web-сервер, что ему нужен
> четырехголовый оптерон без reverse proxy либо ламер, либо
> немножко не в курсе что нужно сделать, чтобы не выкидывать
> столько денег впустую.

Он вовсе не простак, почитай сам тест и форум, если интересно.
Ссылка внизу, первые три страницы и два сообщения на четвёртой, 
что были на момент заглядывания -- со стороны автора теста более
чем адекватны.  И фронтэнд он тоже упоминает.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[Денис Смирнов]

On Fri, Mar 31, 2006 at 01:50:21PM +0300, Michael Shigorin wrote:

MS> Это с какого перепугу?  Если ты не следил последние лет пять за
MS> тем, как происходит развитие этих ядер по части SMP, то более чем
MS> предсказуемый результат.  BKL, который у нас ещё в 2.2 довольно
MS> сильно изгнали, у них до сих пор местами водится (называется
MS> giant lock, правда).
MS> В контексте того, что основной нагрузкой был таки apache1, а не
MS> mysql или дисковая подсистема.  Бишь даже то, что на фре до сих
MS> пор не могут с тредами разобраться (если не пользовать
MS> линуксовые, тихонько и не выпячиваясь) -- сильно не влияло.

Дисковая и SMP действительно однозначно лучше сейчас в Linux. Но мне
что-то не верится что 256 тредов это существенно для четырехголового
оптерона.

Уперлись во фре они наверняка именно в кривое SMP, но при правильной
настройке там и один процессор справился бы.

Во фре есть kevent, который судя по словам того же Сысоева заметно лучшее
API чем epoll имеет. В смысле меньше syscall'ов для того же результата
нужно. Это раз.

Во вторых, вечно забываю как называется решение, вроде socket filters --
то получения целиком заголовка http-запроса этот самый event сгенерирован
не будет, таким образом, если запрос был GET а не POST, то больше читать
из сокета нам не надо совсем. Одним read'ом читаем весь запрос, генерируем
ответ, отдаем. syscall'ы экономим, однако.

Ещё одна тонкость -- PHP. Часть времени ушло внутри него (напоминаю, что
php читает с диска/из кэша файл при каждом его запуске, если не
используется никаких "ускорителей").

>> Основной вывод этого теста, увы -- "Apache мерзкая дешевая
>> поделка". Но это я и без теста знаю :)
MS> Да ты гонишь.  Там первый :)

Первый тоже мерзкая поделка для задачи быстрой раздачи многими потоками.
Потому как там как раз на переключения контекста большая часть времени и
уходит (не забывай, процесс == одно соединение). 

>> Вот если бы сравнили поставив спереди фронтенд вроде того же
>> nginx (который как минимум на Linux и FreeBSD умеет эффективно
>> использовать новомодные фичи обеих систем), тогда это было бы
>> действительно интересно.
MS> (подумав) nginx бы нагрузки не создавал, т.е. можно считать этот
MS> тест на то, сколько бэкендов выдерживает такая система.

Именно.

Только, насколько я помню, всю жизнь разумное правило было ~4 процесса на
ядро. 4*4*2 = 32. Тест успешно показал, что для солярки это правило не
верно (что, в общем-то, тоже было известно, правда я не ожидал такой
разницы).

>> А человек, ставящий столь нагруженый web-сервер, что ему нужен
>> четырехголовый оптерон без reverse proxy либо ламер, либо
>> немножко не в курсе что нужно сделать, чтобы не выкидывать
>> столько денег впустую.
MS> Он вовсе не простак, почитай сам тест и форум, если интересно.
MS> Ссылка внизу, первые три страницы и два сообщения на четвёртой, 
MS> что были на момент заглядывания -- со стороны автора теста более
MS> чем адекватны.  И фронтэнд он тоже упоминает.

Я не так выразился. Именно _ставящий столь нагруженый web-сервер_, а не
проводящий тест. То бишь ты нашел самое правильное определение "тест
столько бэкендов держит система". Но никак не "какую нагрузку выдержит
web-сервер", просто потому что веб-сервера так не делают :)

Я уточню -- бэкендов на типичном хостинге одного нагруженного сайта без
использования акселераторов. Если бы это был простой виртуальный хостинг,
то заметно большая нагрузка была бы на дисковую подсистему.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
У нас нет пpогpаммного обеспечения, зато есть беспечное
пpогpаммиpование.

Re: [room] Linux, FreeBSD, Solaris

[Michael Shigorin]

On Fri, Mar 31, 2006 at 10:47:23PM +0400, Денис Смирнов wrote:
> Дисковая и SMP действительно однозначно лучше сейчас в Linux.
> Но мне что-то не верится что 256 тредов это существенно для
> четырехголового оптерона.

Если ядро деревянное -- ещё как.  Попробуй на досуге взгромоздить
Linux 2.0 или 2.2 на 4-way, ну или поищи, что получалось из этого.

> Уперлись во фре они наверняка именно в кривое SMP, но при
> правильной настройке там и один процессор справился бы.

Не смешно.  Впрочем, на одном сравнимом ядрышке могу попробовать
(3000+, это 2GHz/512k).

> Во фре есть kevent, который судя по словам того же Сысоева
> заметно лучшее API чем epoll имеет. В смысле меньше syscall'ов
> для того же результата нужно. Это раз.

Апачу-то до того что?  Или php?

> Ещё одна тонкость -- PHP. Часть времени ушло внутри него
> (напоминаю, что php читает с диска/из кэша файл при каждом его
> запуске, если не используется никаких "ускорителей").

Дисковая активность у них не влияла.

> >> Основной вывод этого теста, увы -- "Apache мерзкая дешевая
> >> поделка". Но это я и без теста знаю :)
> MS> Да ты гонишь.  Там первый :)
> Первый тоже мерзкая поделка для задачи быстрой раздачи многими
> потоками.  Потому как там как раз на переключения контекста
> большая часть времени и уходит (не забывай, процесс == одно
> соединение). 

Там не статика.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[Денис Смирнов]

On Fri, Mar 31, 2006 at 10:23:24PM +0300, Michael Shigorin wrote:
>> Дисковая и SMP действительно однозначно лучше сейчас в Linux.
>> Но мне что-то не верится что 256 тредов это существенно для
>> четырехголового оптерона.
MS> Если ядро деревянное -- ещё как.  Попробуй на досуге взгромоздить
MS> Linux 2.0 или 2.2 на 4-way, ну или поищи, что получалось из этого.

Ну в общем да.

>> Уперлись во фре они наверняка именно в кривое SMP, но при
>> правильной настройке там и один процессор справился бы.
MS> Не смешно.  Впрочем, на одном сравнимом ядрышке могу попробовать
MS> (3000+, это 2GHz/512k).

Это интересно. 

>> Во фре есть kevent, который судя по словам того же Сысоева
>> заметно лучшее API чем epoll имеет. В смысле меньше syscall'ов
>> для того же результата нужно. Это раз.
MS> Апачу-то до того что?  Или php?

Дык нынче уже не модно ставить голый апач, см. ниже.

>> Ещё одна тонкость -- PHP. Часть времени ушло внутри него
>> (напоминаю, что php читает с диска/из кэша файл при каждом его
>> запуске, если не используется никаких "ускорителей").
MS> Дисковая активность у них не влияла.

Обрати внимание на слова "из кэша".

> >>> Основной вывод этого теста, увы -- "Apache мерзкая дешевая
> >>> поделка". Но это я и без теста знаю :)
> MS>> Да ты гонишь.  Там первый :)
>> Первый тоже мерзкая поделка для задачи быстрой раздачи многими
>> потоками.  Потому как там как раз на переключения контекста
>> большая часть времени и уходит (не забывай, процесс == одно
>> соединение). 
MS> Там не статика.

nginx мне на динамике в разы нагрузку на f.i снизил. Я до сих пор не
удосужился собственно его возможности под раздачу статики заюзать для
чего-либо кроме ftp.freesource.info.

Он же сам небольшим количеством процессов обрабатывает параллельно
множество соединений, и на бэкенды отправляет уже гораздо меньшее
количество потоков. За счет этого нужно много меньше бэкендов, и
экономится время на переключениях контекста.

Про то что истинные маньяки для задачи "сервер одного сайта" таки будут
запускать php как fastcgi, то будет ещё интереснее.

Собственно, как я понял, у нас нет противоречий в том, что это тест не
веб-сайта а максимального количества бэкендов?

Мне вот интересно протестировать FreeBSD и linux на одном ядре именно по
скорости работы фронтенда -- это было бы очччень интересно. Что в
остальном BSD уже давно проиграла понятно.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Тяжело в писании, легко в гугленьи :-)
		-- mike in devel@

Re: [room] Linux, FreeBSD, Solaris

[Michael Shigorin]

On Fri, Mar 31, 2006 at 11:49:06PM +0400, Денис Смирнов wrote:
> nginx мне на динамике в разы нагрузку на f.i снизил.

Да в курсе, сам же ж переехал.

> Собственно, как я понял, у нас нет противоречий в том, что это
> тест не веб-сайта а максимального количества бэкендов?

О чём и спич.

> Мне вот интересно протестировать FreeBSD и linux на одном ядре

Не, фрякой пачкать нет ни времени, ни желания. (предсказуемый
результат будет +/- сопоставимый, btw)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[Денис Смирнов]

On Sat, Apr 01, 2006 at 08:02:35AM +0300, Michael Shigorin wrote:

>> Мне вот интересно протестировать FreeBSD и linux на одном ядре
MS> Не, фрякой пачкать нет ни времени, ни желания. (предсказуемый
MS> результат будет +/- сопоставимый, btw)

Интересно, насколько он будет действительно предсказуемый. Вопрос ведь ещё
в заточке nginx (ты помнишь что Сысоев BSD-шник?). Я ещё в фидо читал его
объяснения, почему ему подобные вещи писать для BSD много проще (ещё
тогда, когда nginx опубликован не был, а были только внутрирамблеровские
разработки).

Мне действительно интересен порядок этой разницы. Потому как если
процессорное ядро одно (а для фронтенда больше не надо) реализация SMP во
фре роли играть не будет, дисковая подсистема не будет вообще никак
участвовать. Только вот боюсь протестировать будет сложно, так как со
100-мегабитным потоком обе системы справятся, а на гигабите будут играть
роль ещё и игрушки вроде NAPI.

В любом случае ты прав, опять же, в том что интерес-интересом, а время
дополнительного обучения и затрат на администрирования будет стоить
больше, чем поставить на линуксячью машину-фронтенд второй процессор.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

Re: [room] Linux, FreeBSD, Solaris

[Michael Shigorin]

On Sat, Apr 01, 2006 at 12:49:30PM +0400, Денис Смирнов wrote:
> >> Мне вот интересно протестировать FreeBSD и linux на одном ядре
> MS> Не, фрякой пачкать нет ни времени, ни желания. (предсказуемый
> MS> результат будет +/- сопоставимый, btw)
> Интересно, насколько он будет действительно предсказуемый.
> Вопрос ведь ещё в заточке nginx (ты помнишь что Сысоев
> BSD-шник?).

Помню-помню, да только не в nginx дело будет.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[mithraen]

On Sat, Apr 01, 2006 at 01:40:09PM +0300, Michael Shigorin wrote:
>>>> Мне вот интересно протестировать FreeBSD и linux на одном ядре
MS>>> Не, фрякой пачкать нет ни времени, ни желания. (предсказуемый
MS>>> результат будет +/- сопоставимый, btw)
>> Интересно, насколько он будет действительно предсказуемый.
>> Вопрос ведь ещё в заточке nginx (ты помнишь что Сысоев
>> BSD-шник?).
MS> Помню-помню, да только не в nginx дело будет.

?

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Нет желающих подхватить пакет, который никому не нужен?
		-- ldv in devel@

--===============1874815525==--

Re: [room] Linux, FreeBSD, Solaris

[Michael Shigorin]

On Tue, Apr 04, 2006 at 12:30:37AM +0400, mithraen@freesource.info wrote:
> >> Вопрос ведь ещё в заточке nginx (ты помнишь что Сысоев
> >> BSD-шник?).
> MS> Помню-помню, да только не в nginx дело будет.
> ?

В апачах. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] Linux, FreeBSD, Solaris

[Денис Смирнов]

On Tue, Apr 04, 2006 at 11:27:40AM +0300, Michael Shigorin wrote:
>>>> Вопрос ведь ещё в заточке nginx (ты помнишь что Сысоев
>>>> BSD-шник?).
> MS>> Помню-помню, да только не в nginx дело будет.
>> ?
MS> В апачах. :)

Апачей можно и совсем чуть-чуть запустить, чтобы не наглели :)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------