[Sysadmins] Несколько соединений в одно (не vpn).

[Sysadmins] Несколько соединений в одно (не vpn).

[Denis Klimov]

Добрый день!

допустим, есть две системы, которые обмениваются довольно интенсивно
между собой xml запросами через HTTP POST. При этом возникает много
установлений соединений и на это теряется время.. есть ли какое то
решение, не затрагивающее сами системы и позволяющее созать постоянное
(в идеале одно) соединение, по которому и гонялись бы данные? Это бы
решило проблему производительности..

--
Климов Денис
zver

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Michael Shigorin]

On Fri, Aug 22, 2008 at 11:00:09AM +0600, Denis Klimov wrote:
> допустим, есть две системы, которые обмениваются довольно
> интенсивно между собой xml запросами через HTTP POST. При этом
> возникает много установлений соединений и на это теряется
> время.. есть ли какое то решение, не затрагивающее сами системы
> и позволяющее созать постоянное (в идеале одно) соединение, по
> которому и гонялись бы данные? Это бы решило проблему
> производительности..

В чём именно выражаются проблемы производительности?
Если не "допустим", то сколько систем коннектится и 
каков характер линков до них?

(не совсем, но) nginx уже прикручен как reverse proxy,
а то и с (включая автоугадав) php-cgi+eaccelerator?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Denis Klimov]

On Fri, 22 Aug 2008 10:15:20 +0300 Michael Shigorin wrote:

> On Fri, Aug 22, 2008 at 11:00:09AM +0600, Denis Klimov wrote:
> > допустим, есть две системы, которые обмениваются довольно
> > интенсивно между собой xml запросами через HTTP POST. При этом
> > возникает много установлений соединений и на это теряется
> > время.. есть ли какое то решение, не затрагивающее сами системы
> > и позволяющее созать постоянное (в идеале одно) соединение, по
> > которому и гонялись бы данные? Это бы решило проблему
> > производительности..
> 
> В чём именно выражаются проблемы производительности?
> Если не "допустим", то сколько систем коннектится и 
> каков характер линков до них?
> 
> (не совсем, но) nginx уже прикручен как reverse proxy,
> а то и с (включая автоугадав) php-cgi+eaccelerator?
Хорошо. конкретизирую.
Есть сайт на php он через curl обращается к другому сайту-ядру. На
каждую отдачу страницы идет около 10-15 запросов к ядру. При
тестировании производительности с помощью ab или siege всего 30
запросов в сек. Обе системы (сайт и ядро) находятся на разных серверах.
Причем сайт - на двух под nginx'ом. и ядро на 4х серверах за nginx.
Севрера достаточно очень мощные, но и они не загружены при
тестировании. Все в объединены Gigabit-Ethernet.

При профилировании кода с помощью xDebug было выяснено, то большая
часть времени уходит на вызовы к ядру через curl.

Есть предложения?

--
Denis Klimov 
zver

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Denis Klimov]

Забыл сказать. eAccelerator используется. Кстати до него нагрузка на
сервера была больше. но не сильно большая.
Так же используется memcached.

--
Denis Klimov 
zver

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Michael Shigorin]

On Fri, Aug 22, 2008 at 01:39:45PM +0600, Denis Klimov wrote:
> При профилировании кода с помощью xDebug было выяснено, то
> большая часть времени уходит на вызовы к ядру через curl.
> Есть предложения?

Ммм... разве что ab с по возможности подобными curl'овым
запросами и профилировать ядро.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Denis Klimov]

On Sat, 23 Aug 2008 22:34:33 +0300 Michael Shigorin wrote:

> On Fri, Aug 22, 2008 at 01:39:45PM +0600, Denis Klimov wrote:
> > При профилировании кода с помощью xDebug было выяснено, то
> > большая часть времени уходит на вызовы к ядру через curl.
> > Есть предложения?
> 
> Ммм... разве что ab с по возможности подобными curl'овым
> запросами и профилировать ядро.
да профилировали.. осталось узкое место в том что идет много
соединений..
Вот я и спрашивал про решение.. наподобие pgbouncer для postresql.

--
Klimov Denis
zver

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Ivan Fedorov]

2008/8/22 Denis Klimov <zver@altlinux.org>:
> On Fri, 22 Aug 2008 10:15:20 +0300 Michael Shigorin wrote:
>
>> On Fri, Aug 22, 2008 at 11:00:09AM +0600, Denis Klimov wrote:
>> > допустим, есть две системы, которые обмениваются довольно
>> > интенсивно между собой xml запросами через HTTP POST. При этом
>> > возникает много установлений соединений и на это теряется
>> > время.. есть ли какое то решение, не затрагивающее сами системы
>> > и позволяющее созать постоянное (в идеале одно) соединение, по
>> > которому и гонялись бы данные? Это бы решило проблему
>> > производительности..
>>
>> В чём именно выражаются проблемы производительности?
>> Если не "допустим", то сколько систем коннектится и
>> каков характер линков до них?
>>
>> (не совсем, но) nginx уже прикручен как reverse proxy,
>> а то и с (включая автоугадав) php-cgi+eaccelerator?
> Хорошо. конкретизирую.
> Есть сайт на php он через curl обращается к другому сайту-ядру. На
> каждую отдачу страницы идет около 10-15 запросов к ядру. При
> тестировании производительности с помощью ab или siege всего 30
> запросов в сек. Обе системы (сайт и ядро) находятся на разных серверах.
> Причем сайт - на двух под nginx'ом. и ядро на 4х серверах за nginx.
> Севрера достаточно очень мощные, но и они не загружены при
> тестировании. Все в объединены Gigabit-Ethernet.
>
> При профилировании кода с помощью xDebug было выяснено, то большая
> часть времени уходит на вызовы к ядру через curl.
>
> Есть предложения?

использовать keep-alive?.. после чего отказаться от HTTP как транспорта...

PS: Я для подобных целей использую ZeroC Ice.

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Ivan Fedorov]

2008/8/22 Denis Klimov <zver@altlinux.org>:
> On Fri, 22 Aug 2008 10:15:20 +0300 Michael Shigorin wrote:
>
>> On Fri, Aug 22, 2008 at 11:00:09AM +0600, Denis Klimov wrote:
>> > допустим, есть две системы, которые обмениваются довольно
>> > интенсивно между собой xml запросами через HTTP POST. При этом
>> > возникает много установлений соединений и на это теряется
>> > время.. есть ли какое то решение, не затрагивающее сами системы
>> > и позволяющее созать постоянное (в идеале одно) соединение, по
>> > которому и гонялись бы данные? Это бы решило проблему
>> > производительности..
>>
>> В чём именно выражаются проблемы производительности?
>> Если не "допустим", то сколько систем коннектится и
>> каков характер линков до них?
>>
>> (не совсем, но) nginx уже прикручен как reverse proxy,
>> а то и с (включая автоугадав) php-cgi+eaccelerator?
> Хорошо. конкретизирую.
> Есть сайт на php он через curl обращается к другому сайту-ядру. На
> каждую отдачу страницы идет около 10-15 запросов к ядру. При
> тестировании производительности с помощью ab или siege всего 30
> запросов в сек. Обе системы (сайт и ядро) находятся на разных серверах.
> Причем сайт - на двух под nginx'ом. и ядро на 4х серверах за nginx.
> Севрера достаточно очень мощные, но и они не загружены при
> тестировании. Все в объединены Gigabit-Ethernet.
>
> При профилировании кода с помощью xDebug было выяснено, то большая
> часть времени уходит на вызовы к ядру через curl.
>
> Есть предложения?

использовать keep-alive?.. после чего отказаться от HTTP как транспорта...

PS: Я для подобных целей использую ZeroC Ice.

Re: [Sysadmins] Несколько соединений в одно (не vpn).

[Denis Klimov]

On Mon, 25 Aug 2008 15:25:25 +0400 Ivan Fedorov wrote:

> 
> использовать keep-alive?.. после чего отказаться от HTTP как транспорта...
> 
Настолько я знаю, в HTTP 1.1 и так постоянный коннект по дефолту.
Но keep-alive тоже пробовали ставить - все так же.
По поводу ZeroC Ice - спасибо - почитаю.

--
Denis Klimov 
zver