[Comm] squid выражается в cache.log

[Comm] squid выражается в cache.log

[Mike Lykov]

Здравствуйте. 

Кто может обьяснить такое:
(при перезапуске при обновлении)

2003/12/03 12:06:31|   store_swap_size = 2171312k                               

Что это значит? откуда это накопилось?

2003/12/03 12:06:31| WARNING: Disk space over limit: 2170636 KB > 2097152 KB    
2003/12/03 12:06:31| storeLateRelease: released 3 objects                       
2003/12/03 12:06:42| WARNING: Disk space over limit: 2164412 KB > 2097152 KB    
2003/12/03 12:06:53| WARNING: Disk space over limit: 2154920 KB > 2097152 KB    
2003/12/03 12:07:04| WARNING: Disk space over limit: 2147220 KB > 2097152 KB    
2003/12/03 12:07:15| WARNING: Disk space over limit: 2138528 KB > 2097152 KB    
2003/12/03 12:07:26| WARNING: Disk space over limit: 2131116 KB > 2097152 KB    
2003/12/03 12:07:37| WARNING: Disk space over limit: 2123452 KB > 2097152 KB    
2003/12/03 12:07:48| WARNING: Disk space over limit: 2115396 KB > 2097152 KB    
2003/12/03 12:07:59| WARNING: Disk space over limit: 2103640 KB > 2097152 KB 

после чего успокоился (видимо, все лишнее поудалял).
Откуда взялись эти обьекты, которые овер лимит?
у меня все время в конфиге одно и то же:
cache_dir diskd /var/spool/squid 2048 16 256  

и еще:
периодически возникает такое:

2003/12/03 12:04:06| WARNING! Your cache is running out of filedescriptors

Тоже сразу после перезапуска возникло
всего дескрипторов 1024 (как я понимаю, это задается при сборке), и, например, 
сейчас их:
File descriptor usage for squid:
        Maximum number of file descriptors:   1024
        Largest file desc currently in use:    224
        Number of file desc currently in use:  192
        Files queued for open:                   0
        Available number of file descriptors:  832
        Reserved number of file descriptors:   100

если при обычной работе их около 200, то почему сразу после перезапуска они 
running out ?

-- 
Mike

Re: [Comm] squid выражается в cache.log

[crux]

Mike Lykov пишет:

>2003/12/03 12:06:31|   store_swap_size = 2171312k                               
>
>Что это значит? откуда это накопилось?
>
>2003/12/03 12:06:31| WARNING: Disk space over limit: 2170636 KB > 2097152 KB    
>2003/12/03 12:06:31| storeLateRelease: released 3 objects                       
>2003/12/03 12:06:42| WARNING: Disk space over limit: 2164412 KB > 2097152 KB    
>....
>после чего успокоился (видимо, все лишнее поудалял).
>Откуда взялись эти обьекты, которые овер лимит?
>у меня все время в конфиге одно и то же:
>cache_dir diskd /var/spool/squid 2048 16 256  
>
>  
>
Очевидно (имхо), обычная работа прокси по удалению излишних объектов..

>и еще:
>периодически возникает такое:
>
>2003/12/03 12:04:06| WARNING! Your cache is running out of filedescriptors
>
>Тоже сразу после перезапуска возникло
>всего дескрипторов 1024 (как я понимаю, это задается при сборке)
>  
>
Максимально количество файловых дескрипторов крутить через sysctl.
Посмотреть так: $ cat /proc/sys/fs/file-max
Изменить так: sysctl -w fs.file-max=4096  (увеличить в 4 раза, и 
увеличивать далее при необходимости)

-- 
crux

Re: [Comm] squid выражается в cache.log

[Mike Lykov]

В сообщении от Среда 03 Декабрь 2003 18:06 crux написал:
> Очевидно (имхо), обычная работа прокси по удалению излишних объектов..

Как же она "обычная"? он должен успевать удалять обьекты таким образом, чтобы 
заполненность кеша была 95%. Почему она превысила 100% ?
Кто напихал туда столько обьектов? ;)

> >2003/12/03 12:04:06| WARNING! Your cache is running out of filedescriptors

> Максимально количество файловых дескрипторов крутить через sysctl.
> Посмотреть так: $ cat /proc/sys/fs/file-max
> Изменить так: sysctl -w fs.file-max=4096  (увеличить в 4 раза, и
> увеличивать далее при необходимости)

Не все так просто. 
1. в /proc/ стоит число, большее 50000 (точно не помню, вчера смотрел ;)
2. при компиляции squid макс. число фд задается, в сборке альта оно 1024

Т.е. в fs-max число, заведомо большее, чем задано при компиляции, поэтому оно 
не влияет.

-- 
Mike

Re: [Comm] squid выражается в cache.log

[Shawkat Nizamov]

> В сообщении от Среда 03 Декабрь 2003 18:06 crux написал:
> 
>>Очевидно (имхо), обычная работа прокси по удалению излишних объектов..
> 
> 
> Как же она "обычная"? он должен успевать удалять обьекты таким образом, чтобы 
> заполненность кеша была 95%. Почему она превысила 100% ?
> Кто напихал туда столько обьектов? ;)

Представьте себе ситуацию когда кэшируется один _большой_ объект при 
заполненности кэша 95 %. Когда этот объект полностью скачается и потом 
пропишется в кэше, то объем кэша вполне возможно превысит 100 %.
Это если размер объекта > 5 % кэша. Тогда то сквид и зашевелится - судя 
по логам произошло моментальное переполнение кэша и сквид по очереди 
поудалял объекты пока объем кэша не упал ло допустимого уровня.

ИМХО

Re: [Comm] squid выражается в cache.log

[crux]

Mike Lykov пишет:

>>Максимально количество файловых дескрипторов крутить через sysctl.
>>Посмотреть так: $ cat /proc/sys/fs/file-max
>>Изменить так: sysctl -w fs.file-max=4096  (увеличить в 4 раза, и
>>увеличивать далее при необходимости)
>>    
>>
>
>Не все так просто. 
>1. в /proc/ стоит число, большее 50000 (точно не помню, вчера смотрел ;)
>2. при компиляции squid макс. число фд задается, в сборке альта оно 1024
>
>Т.е. в fs-max число, заведомо большее, чем задано при компиляции, поэтому оно 
>не влияет.
>
>  
>
В конфе сквида по этому поводу предлагают крутить следующие параметры:
read_timeout, request_timeout, persistent_request_timeout, quick_abort.
Попробуйте выставить значения по меньше (особенно для read_timeout), 
значения которые выставлены по умолчанию мне показались подходят только 
для ситуации, когда на дохлом 33k модеме сидят пару сотен пользователей...

-- 
crux                     

Re: [Comm] squid выражается в cache.log

[Andy Gorev]

Mike Lykov wrote:
> В сообщении от Среда 03 Декабрь 2003 18:06 crux написал:
> 
>>Очевидно (имхо), обычная работа прокси по удалению излишних объектов..
> 
> 
> Как же она "обычная"? он должен успевать удалять обьекты таким образом, чтобы 
> заполненность кеша была 95%. Почему она превысила 100% ?
> Кто напихал туда столько обьектов? ;)
> 
> 
>>>2003/12/03 12:04:06| WARNING! Your cache is running out of filedescriptors
> 
> 
>>Максимально количество файловых дескрипторов крутить через sysctl.
>>Посмотреть так: $ cat /proc/sys/fs/file-max
>>Изменить так: sysctl -w fs.file-max=4096  (увеличить в 4 раза, и
>>увеличивать далее при необходимости)
> 
> 
> Не все так просто. 
> 1. в /proc/ стоит число, большее 50000 (точно не помню, вчера смотрел ;)
> 2. при компиляции squid макс. число фд задается, в сборке альта оно 1024
> 
> Т.е. в fs-max число, заведомо большее, чем задано при компиляции, поэтому оно 
> не влияет.
> 

На эту тему давно висит бага 
http://bugzilla.altlinux.ru/show_bug.cgi?id=2684

-- 
С Уважением,
Андрей Горев

Re: [Comm] squid выражается в cache.log

[Mike Lykov]

В сообщении от Четверг 04 Декабрь 2003 17:59 Andy Gorev написал:

> > Т.е. в fs-max число, заведомо большее, чем задано при компиляции, поэтому
> > оно не влияет.
>
> На эту тему давно висит бага
> http://bugzilla.altlinux.ru/show_bug.cgi?id=2684

А если она там висит уже полгода, то что ее никак не того?

-- 
Mike

Re: [Comm] squid выражается в cache.log

[Andy Gorev]

Mike Lykov wrote:
> В сообщении от Четверг 04 Декабрь 2003 17:59 Andy Gorev написал:
> 
> 
>>>Т.е. в fs-max число, заведомо большее, чем задано при компиляции, поэтому
>>>оно не влияет.
>>
>>На эту тему давно висит бага
>>http://bugzilla.altlinux.ru/show_bug.cgi?id=2684
> 
> 
> А если она там висит уже полгода, то что ее никак не того?

Видимо никак :( Во всяком случае у меня в свое время не получилось.

-- 
С Уважением,
Андрей Горев