[Comm] Кончились дескрипторы или еще что?

[Comm] Кончились дескрипторы или еще что?

[Andy Gorev]

Недавно начала беспокоить довольно известная проблема. Сквид в логи 
пишет WARNING! Your cache is running out of filedescriptors. При этом 
все тормозит безбожно.

Принял все известные меры, а именно:
1) fs.file-max = 16384 в sysctl
2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
3) cache dir живет на разделе с reiserfs notail, noatime
4) стираю кэш, имею:
[root@inter init.d]# df /home/squid
Файловая система    Размер  Испол Дост  Исп%Подключено к
/dev/sda8            		 8.0G   89M  8.0G   2%   /home
5) squid-2.4.STABLE6-alt1 && kernel24-up-2.4.20-alt5

Через некоторое время после запуска сквида в логе многократно наблюдаю 
обозначенный warning.
Что можно предпринять?

-- 
С Уважением,
Андрей Горев

Re: [Comm] Кончились дескрипторы или еще что?

[Andriy Dobrovol's'kii]

Andy Gorev wrote:
> Недавно начала беспокоить довольно известная проблема. Сквид в логи 
> пишет WARNING! Your cache is running out of filedescriptors. При этом 
> все тормозит безбожно.
> 
> Принял все известные меры, а именно:
> 1) fs.file-max = 16384 в sysctl
> 2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
> 3) cache dir живет на разделе с reiserfs notail, noatime
> 4) стираю кэш, имею:
> [root@inter init.d]# df /home/squid
> Файловая система    Размер  Испол Дост  Исп%Подключено к
> /dev/sda8                     8.0G   89M  8.0G   2%   /home
> 5) squid-2.4.STABLE6-alt1 && kernel24-up-2.4.20-alt5
> 
> Через некоторое время после запуска сквида в логе многократно наблюдаю 
> обозначенный warning.
> Что можно предпринять?
> 
У меня, в подобной ситуации, под FreeBSD диск через неделю сдох. 
Может что с диском не так?

-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua            Kyiv, Ukraine
Phone: (380-44)   265-7824            Department of Gas Electronics
Fax:   (380-44)   265-2329             Institute of Physics of NASU
*********************************************************************

Re: [Comm] Кончились дескрипторы или еще что?

[Andy Gorev]

Andriy Dobrovol's'kii wrote:
> Andy Gorev wrote:
> 
>> Недавно начала беспокоить довольно известная проблема. Сквид в логи 
>> пишет WARNING! Your cache is running out of filedescriptors. При этом 
>> все тормозит безбожно.
>>
>> Принял все известные меры, а именно:
>> 1) fs.file-max = 16384 в sysctl
>> 2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
>> 3) cache dir живет на разделе с reiserfs notail, noatime
>> 4) стираю кэш, имею:
>> [root@inter init.d]# df /home/squid
>> Файловая система    Размер  Испол Дост  Исп%Подключено к
>> /dev/sda8                     8.0G   89M  8.0G   2%   /home
>> 5) squid-2.4.STABLE6-alt1 && kernel24-up-2.4.20-alt5
>>
>> Через некоторое время после запуска сквида в логе многократно наблюдаю 
>> обозначенный warning.
>> Что можно предпринять?
>>
> У меня, в подобной ситуации, под FreeBSD диск через неделю сдох. Может 
> что с диском не так?

Если окажется, что посыпался рейзер, на какую fs для кеша посоветуете 
перейти?

-- 
С Уважением,
Андрей Горев

Re: [Comm] Кончились дескрипторы или еще что?

[Andy Gorev]

Владимир wrote:
> Andy Gorev пишет:
> 
>> Недавно начала беспокоить довольно известная проблема. Сквид в логи 
>> пишет WARNING! Your cache is running out of filedescriptors. При этом 
>> все тормозит безбожно.
>>
>> Принял все известные меры, а именно:
>> 1) fs.file-max = 16384 в sysctl
>> 2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
>> 3) cache dir живет на разделе с reiserfs notail, noatime 
> 
> 
> 
> noatime для кэша squid противопоказан, но не уверен что  причина в этом.
Сильно в этом сомневаюсь. Покажите пожалуйста источник таких данных.

> Пробуйте ядро alt7 из update  - на больших скростях I/O с alt5 у меня 
> тоже были вопросы.
Обновлю ядро и сам сквид. Спасибо.

-- 
С Уважением,
Андрей Горев

Re: [Comm] Кончились дескрипторы или еще что?

[Владимир]

Andy Gorev пишет:

> Владимир wrote:
>
>> Andy Gorev пишет:
>>
>>> Недавно начала беспокоить довольно известная проблема. Сквид в логи 
>>> пишет WARNING! Your cache is running out of filedescriptors. При 
>>> этом все тормозит безбожно.
>>>
>>> Принял все известные меры, а именно:
>>> 1) fs.file-max = 16384 в sysctl
>>> 2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
>>> 3) cache dir живет на разделе с reiserfs notail, noatime 
>>
>>
>>
>>
>> noatime для кэша squid противопоказан, но не уверен что  причина в этом.
>
> Сильно в этом сомневаюсь. Покажите пожалуйста источник таких данных. 



Смотрите документацию на squid. Кэш периодически должен чистится.
Как Вы считаете, на основании чего это делается?
1. Удаляются страницы, кэшированные раньше остальных.
2. Удаляются страницы, к которым дольше всего небыло обращений.
На анализе какого файлового атрибута возможно второе?

Очень мало приложений, которые реально пользуются атрибутом atime, но 
они есть.
Самое обидное, что вызванные этим "глюки" очень сложно отлавливаются.
Документация по этому аспекту, увы, не всегда на уровне.


>
>
>> Пробуйте ядро alt7 из update  - на больших скростях I/O с alt5 у меня 
>> тоже были вопросы.
>
> Обновлю ядро и сам сквид. Спасибо.
>


-- 
Best regards
Vladimir

Re: [Comm] Кончились дескрипторы или еще что?

[Andy Gorev]

Владимир wrote:
> Andy Gorev пишет:
> 
>> Владимир wrote:
>>
>>> Andy Gorev пишет:
>>>
>>>> Недавно начала беспокоить довольно известная проблема. Сквид в логи 
>>>> пишет WARNING! Your cache is running out of filedescriptors. При 
>>>> этом все тормозит безбожно.
>>>>
>>>> Принял все известные меры, а именно:
>>>> 1) fs.file-max = 16384 в sysctl
>>>> 2) ulimit -u 1024 && ulimit -HSn 8192 перед запуском демона
>>>> 3) cache dir живет на разделе с reiserfs notail, noatime 
>>>
>>> noatime для кэша squid противопоказан, но не уверен что  причина в этом.
>>
>>
>> Сильно в этом сомневаюсь. Покажите пожалуйста источник таких данных. 
> 
> Смотрите документацию на squid. Кэш периодически должен чистится.
> Как Вы считаете, на основании чего это делается?
> 1. Удаляются страницы, кэшированные раньше остальных.
> 2. Удаляются страницы, к которым дольше всего небыло обращений.
> На анализе какого файлового атрибута возможно второе?
> 
> Очень мало приложений, которые реально пользуются атрибутом atime, но 
> они есть.
> Самое обидное, что вызванные этим "глюки" очень сложно отлавливаются.
> Документация по этому аспекту, увы, не всегда на уровне.
> 
> 

ОК, спасибо за идеи.

>>
>>> Пробуйте ядро alt7 из update  - на больших скростях I/O с alt5 у меня 
>>> тоже были вопросы.
>>
>>
>> Обновлю ядро и сам сквид. Спасибо.

Это не помогло. Повесил в BTS.
http://bugs.altlinux.ru/view_bug_page.php?f_id=0002684

-- 
С Уважением,
Андрей Горев