RE: [sisyphus] Как ускорить работу с потоками?

RE: [sisyphus] Как ускорить работу с потоками?

[Boronin Sergey]

> к ниткам имеет отношение другие цифры
> $ cat /proc/sys/kernel/threads-max
> 3967
> и то, что в linuxThreads на каждую нитку выделяется стек в 2M, тебе
просто
> не хватает памяти.
>

Хм.. У меня 512Мб, если грубо считать, что на один поток выделяется 2Мб,
то у меня должно было запуститься 256 потоков, а спокойно запускалось
1012.
Причем, в swap система не лазила...

А значение $ cat /proc/sys/kernel/threads-max в своей системе
обязательно проверю, когда очередной раз в линуксе буду отлаживать, а то
может это у вас 3967, а у меня может 1024, тогда будет ясно где собака
порылась.

Есть ли ограничение на число потоков для пользователя?

Кстати можно ли увеличить максимальное число потоков без переборки ядра?

> Или переходить на NPTL, там можно задавать размер стека
> или двигать по пути mysql-ведов, они патчат linuxThreads на предмет
более 
> разумного размера дефолта - 256K
>

Где можно почитать про это?


С уважением,
Боронин Сергей

-----Original Message-----
From: Serge Ryabchun [mailto:sr@ustar.ua] 
Sent: Tuesday, August 31, 2004 1:03 PM
To: analisys@quality.s2.ru; ALT Linux Sisyphus discussion list
Subject: Re: [sisyphus] Как ускорить работу с потоками?


В сообщении от вівторок, 31-сер-2004 11:51 Boronin Sergey написал(a):
> >ulimit -u?
>
> 128 процессов на одного пользователя. Если учеть что потоки
> обрабатываются ядром по аналогии с процессами у меня должно было
> запуститься всего 100 с небольшим потоков, а спокойно запускается
1012,
> и валится на 1015 потоках.

к ниткам имеет отношение другие цифры
$ cat /proc/sys/kernel/threads-max
3967
и то, что в linuxThreads на каждую нитку выделяется стек в 2M, тебе
просто
не хватает памяти. Или переходить на NPTL, там можно задавать размер
стека
или двигать по пути mysql-ведов, они патчат linuxThreads на предмет
более 
разумного размера дефолта - 256K

RE: [sisyphus] Как ускорить работу с потоками?

[Serge Pavlovsky]

On Втр, 2004-08-31 at 13:23 +0400, Boronin Sergey wrote:
> > к ниткам имеет отношение другие цифры
> > $ cat /proc/sys/kernel/threads-max
> > 3967
> > и то, что в linuxThreads на каждую нитку выделяется стек в 2M, тебе
> просто
> > не хватает памяти.
> >
> 
> Хм.. У меня 512Мб, если грубо считать, что на один поток выделяется 2Мб,
> то у меня должно было запуститься 256 потоков, а спокойно запускалось
> 1012.
> Причем, в swap система не лазила...

это 2м виртуальной а не физической памяти

> 
> А значение $ cat /proc/sys/kernel/threads-max в своей системе
> обязательно проверю, когда очередной раз в линуксе буду отлаживать, а то
> может это у вас 3967, а у меня может 1024, тогда будет ясно где собака
> порылась.
> 
> Есть ли ограничение на число потоков для пользователя?
> 
> Кстати можно ли увеличить максимальное число потоков без переборки ядра?
> 
> > Или переходить на NPTL, там можно задавать размер стека
> > или двигать по пути mysql-ведов, они патчат linuxThreads на предмет
> более 
> > разумного размера дефолта - 256K
> >
> 
> Где можно почитать про это?

почитайте лучше info libc на предмет pthread_attr_setstacksize

RE: [sisyphus] Как ускорить работу с потоками?

[Boronin Sergey]

>это 2м виртуальной а не физической памяти
>

в swap система не лазила...

>.....pthread_attr_setstacksize
>

Дело оказалось не в размере стека потока см.
http://sources.redhat.com/ml/libc-alpha/2001-12/msg00112.html

Скажите, а что может дать использование NTPL вместо стандартного
механизма потоков? Увеличение быстродействия, экономию памяти? 

Имеет ли смысл переходить на использование NTPL?

Не подскажете, где почитать про то как установить и настроить NTPL,
желательно на русском, т.к. не располагаю большим запасом времени на
изучение данной темы?

С уважением,
Боронин Сергей

-----Original Message-----
From: Serge Pavlovsky [mailto:pal@interexc.com] 
Sent: Tuesday, August 31, 2004 7:07 PM
To: analisys@quality.s2.ru; ALT Linux Sisyphus discussion list
Subject: RE: [sisyphus] Как ускорить работу с потоками?

On Втр, 2004-08-31 at 13:23 +0400, Boronin Sergey wrote:
> > к ниткам имеет отношение другие цифры
> > $ cat /proc/sys/kernel/threads-max
> > 3967
> > и то, что в linuxThreads на каждую нитку выделяется стек в 2M, тебе
> просто
> > не хватает памяти.
> >
> 
> Хм.. У меня 512Мб, если грубо считать, что на один поток выделяется
2Мб,
> то у меня должно было запуститься 256 потоков, а спокойно запускалось
> 1012.
> Причем, в swap система не лазила...

это 2м виртуальной а не физической памяти

> 
> А значение $ cat /proc/sys/kernel/threads-max в своей системе
> обязательно проверю, когда очередной раз в линуксе буду отлаживать, а
то
> может это у вас 3967, а у меня может 1024, тогда будет ясно где собака
> порылась.
> 
> Есть ли ограничение на число потоков для пользователя?
> 
> Кстати можно ли увеличить максимальное число потоков без переборки
ядра?
> 
> > Или переходить на NPTL, там можно задавать размер стека
> > или двигать по пути mysql-ведов, они патчат linuxThreads на предмет
> более 
> > разумного размера дефолта - 256K
> >
> 
> Где можно почитать про это?

почитайте лучше info libc на предмет pthread_attr_setstacksize

RE: [sisyphus] Как ускорить работу с потоками?

[Serge Pavlovsky]

On Втр, 2004-08-31 at 19:31 +0400, Boronin Sergey wrote:
> >это 2м виртуальной а не физической памяти
> >
> 
> в swap система не лазила...

и не должна
это 2м выделенной а не использованной памяти

> 
> >.....pthread_attr_setstacksize
> >
> 
> Дело оказалось не в размере стека потока см.
> http://sources.redhat.com/ml/libc-alpha/2001-12/msg00112.html
> 
> Скажите, а что может дать использование NTPL вместо стандартного
> механизма потоков? Увеличение быстродействия, экономию памяти? 
> 
> Имеет ли смысл переходить на использование NTPL?

надо проверить

> Не подскажете, где почитать про то как установить и настроить NTPL,
> желательно на русском, т.к. не располагаю большим запасом времени на
> изучение данной темы?

в гугле, вестимо