ALT Linux sysadmins discussion
 help / color / mirror / Atom feed
* [Sysadmins] squid + cache
@ 2008-06-02 11:12 Andrey V. Samopal
  2008-06-02 11:48 ` Serge
                   ` (2 more replies)
  0 siblings, 3 replies; 24+ messages in thread
From: Andrey V. Samopal @ 2008-06-02 11:12 UTC (permalink / raw)
  To: sysadmins

Здравствуйте, sysadmins.

подскажите пожалуйста как порешать проблему.
выставил кеш сквида на 20 гиг.
месяц держится нормально, потом кеш резко выростает и занемает все
свободное дисковое пространство, буквально за день - два.
что это может быть и как его порешать????

-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua





^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 11:12 [Sysadmins] squid + cache Andrey V. Samopal
@ 2008-06-02 11:48 ` Serge
  2008-06-02 15:39   ` Vasyl Tereshko
  2008-06-03  7:20 ` Aleksey Avdeev
  2008-06-04 11:41 ` Andrii Dobrovol`s`kii
  2 siblings, 1 reply; 24+ messages in thread
From: Serge @ 2008-06-02 11:48 UTC (permalink / raw)
  To: Andrey V. Samopal, ALT Linux sysadmin discuss

В сообщении от Monday 02 June 2008 14:12:38 Andrey V. Samopal написал(а):
> Здравствуйте, sysadmins.
>
> подскажите пожалуйста как порешать проблему.
> выставил кеш сквида на 20 гиг.
> месяц держится нормально, потом кеш резко выростает и занемает все
> свободное дисковое пространство, буквально за день - два.
> что это может быть и как его порешать????
лично я решал данную проблемму путем 
service squid stop
rm -rf /var/spool/squid/*
service squid start


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 11:48 ` Serge
@ 2008-06-02 15:39   ` Vasyl Tereshko
  2008-06-03  4:32     ` Andrey V. Samopal
  2008-06-03  4:44     ` Serge
  0 siblings, 2 replies; 24+ messages in thread
From: Vasyl Tereshko @ 2008-06-02 15:39 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Serge пишет:
> В сообщении от Monday 02 June 2008 14:12:38 Andrey V. Samopal написал(а):
>   
>> Здравствуйте, sysadmins.
>>
>> подскажите пожалуйста как порешать проблему.
>> выставил кеш сквида на 20 гиг.
>> месяц держится нормально, потом кеш резко выростает и занемает все
>> свободное дисковое пространство, буквально за день - два.
>> что это может быть и как его порешать????
>>     
> лично я решал данную проблемму путем 
> service squid stop
> rm -rf /var/spool/squid/*
> service squid start
>   
Хм. Лет 7 пользуюсь сквидом и никогда такого не было. Может проблема не
в кэше, а в каких-нибудь лог-файлах? Смотреть, что именно всё место
заняло, не пробовали ?

-- 
Толми



^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 15:39   ` Vasyl Tereshko
@ 2008-06-03  4:32     ` Andrey V. Samopal
  2008-06-03 22:18       ` Michael Shigorin
  2008-06-03  4:44     ` Serge
  1 sibling, 1 reply; 24+ messages in thread
From: Andrey V. Samopal @ 2008-06-03  4:32 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Здравствуйте, Vasyl.

Вы писали 2 июня 2008 г., 18:39:39:

> Serge пишет:
>> В сообщении от Monday 02 June 2008 14:12:38 Andrey V. Samopal написал(а):
>>   
>>> Здравствуйте, sysadmins.
>>>
>>> подскажите пожалуйста как порешать проблему.
>>> выставил кеш сквида на 20 гиг.
>>> месяц держится нормально, потом кеш резко выростает и занемает все
>>> свободное дисковое пространство, буквально за день - два.
>>> что это может быть и как его порешать????
>>>     
>> лично я решал данную проблемму путем 
>> service squid stop
>> rm -rf /var/spool/squid/*
>> service squid start
по ночам не хотелось бы ездить...
а если упадет то прийдется.
сейчас у меня около 750 юзеров
>>
> Хм. Лет 7 пользуюсь сквидом и никогда такого не было. Может проблема не
> в кэше, а в каких-нибудь лог-файлах? Смотреть, что именно всё место
> заняло, не пробовали ?

основную часть лога, перед окончанием места на VAR,занимает сообщения такого рода.

2008/06/02 13:31:20| WARNING: All url_rewriter processes are busy.
2008/06/02 13:31:20| WARNING: up to 9 pending requests queued
2008/06/02 13:31:20| Consider increasing the number of url_rewriter processes to at least 14 in your config file.
2008/06/02 13:31:28| sslWriteServer: FD 197: write failure: (104) Connection reset by peer.
2008/06/02 13:31:33| Store rebuilding is 806.3% complete
2008/06/02 13:31:48| Store rebuilding is 796.7% complete
2008/06/02 13:31:55| WARNING: All url_rewriter processes are busy.
2008/06/02 13:31:55| WARNING: up to 9 pending requests queued
2008/06/02 13:31:55| Consider increasing the number of url_rewriter processes to at least 14 in your config file.
2008/06/02 13:32:03| Store rebuilding is 789.3% complete
2008/06/02 13:32:18| Store rebuilding is 780.6% complete
2008/06/02 13:32:33| Store rebuilding is 78359.2% complete
2008/06/02 13:32:43| WARNING: All url_rewriter processes are busy.
2008/06/02 13:32:43| WARNING: up to 9 pending requests queued
2008/06/02 13:32:43| Consider increasing the number of url_rewriter processes to at least 14 in your config file.
2008/06/02 13:32:48| Store rebuilding is 33588.6% complete
2008/06/02 13:32:52| WARNING: newer swaplog entry for dirno 0, fileno 000E30B5
2008/06/02 13:33:03| Store rebuilding is 21446.7% complete
2008/06/02 13:33:14| WARNING: All url_rewriter processes are busy.
2008/06/02 13:33:14| WARNING: up to 15 pending requests queued
2008/06/02 13:33:14| Consider increasing the number of url_rewriter processes to at least 20 in your config file.
2008/06/02 13:33:18| Store rebuilding is 16165.8% complete
2008/06/02 13:33:33| Store rebuilding is 12316.2% complete
2008/06/02 13:33:48| Store rebuilding is 10394.3% complete
2008/06/02 13:33:50| WARNING: All url_rewriter processes are busy.
2008/06/02 13:33:50| WARNING: up to 9 pending requests queued
ток подскажите ПЛЗ что это что это такое и как лечить...

-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua





^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 15:39   ` Vasyl Tereshko
  2008-06-03  4:32     ` Andrey V. Samopal
@ 2008-06-03  4:44     ` Serge
  1 sibling, 0 replies; 24+ messages in thread
From: Serge @ 2008-06-03  4:44 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

В сообщении от Monday 02 June 2008 18:39:39 Vasyl Tereshko написал(а):
> Serge пишет:
> > В сообщении от Monday 02 June 2008 14:12:38 Andrey V. Samopal написал(а):
> >> Здравствуйте, sysadmins.
> >>
> >> подскажите пожалуйста как порешать проблему.
> >> выставил кеш сквида на 20 гиг.
> >> месяц держится нормально, потом кеш резко выростает и занемает все
> >> свободное дисковое пространство, буквально за день - два.
> >> что это может быть и как его порешать????
> >
> > лично я решал данную проблемму путем
> > service squid stop
> > rm -rf /var/spool/squid/*
> > service squid start
>
> Хм. Лет 7 пользуюсь сквидом и никогда такого не было. Может проблема не
> в кэше, а в каких-нибудь лог-файлах? Смотреть, что именно всё место
> заняло, не пробовали ?
пробовал просматривать файл cache.log, но ничего военного увидеть не удалось.
у меня такая проблемма встречалась раза 2-3, победить я ее смог только с 
помощью команд, приведенные выше


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 11:12 [Sysadmins] squid + cache Andrey V. Samopal
  2008-06-02 11:48 ` Serge
@ 2008-06-03  7:20 ` Aleksey Avdeev
  2008-06-03  7:28   ` Serge
  2008-06-04 11:41 ` Andrii Dobrovol`s`kii
  2 siblings, 1 reply; 24+ messages in thread
From: Aleksey Avdeev @ 2008-06-03  7:20 UTC (permalink / raw)
  To: Andrey V. Samopal, ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 391 bytes --]

Andrey V. Samopal пишет:
> Здравствуйте, sysadmins.
> 
> подскажите пожалуйста как порешать проблему.
> выставил кеш сквида на 20 гиг.
> месяц держится нормально, потом кеш резко выростает и занемает все
> свободное дисковое пространство, буквально за день - два.
> что это может быть и как его порешать????

  Кеш squid`а на отдельном разделе?

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 544 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03  7:20 ` Aleksey Avdeev
@ 2008-06-03  7:28   ` Serge
  2008-06-03  7:55     ` Aleksey Avdeev
  0 siblings, 1 reply; 24+ messages in thread
From: Serge @ 2008-06-03  7:28 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
> Andrey V. Samopal пишет:
> > Здравствуйте, sysadmins.
> >
> > подскажите пожалуйста как порешать проблему.
> > выставил кеш сквида на 20 гиг.
> > месяц держится нормально, потом кеш резко выростает и занемает все
> > свободное дисковое пространство, буквально за день - два.
> > что это может быть и как его порешать????
>
>   Кеш squid`а на отдельном разделе?
у меня нет


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03  7:28   ` Serge
@ 2008-06-03  7:55     ` Aleksey Avdeev
  2008-06-03  9:39       ` Andrey V. Samopal
  0 siblings, 1 reply; 24+ messages in thread
From: Aleksey Avdeev @ 2008-06-03  7:55 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 745 bytes --]

Serge пишет:
> В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
>> Andrey V. Samopal пишет:
>>> Здравствуйте, sysadmins.
>>>
>>> подскажите пожалуйста как порешать проблему.
>>> выставил кеш сквида на 20 гиг.
>>> месяц держится нормально, потом кеш резко выростает и занемает все
>>> свободное дисковое пространство, буквально за день - два.
>>> что это может быть и как его порешать????
>>   Кеш squid`а на отдельном разделе?
> у меня нет

  Тогда стоит проверить объём свободного места на разделе (+ фактический
объём, занятый кешем squid`а): не исключено что его слишком мало для
работы с текучими настройками кеша...

PS: Если кеш отдельным разделом -- всё проще.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 544 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03  7:55     ` Aleksey Avdeev
@ 2008-06-03  9:39       ` Andrey V. Samopal
  2008-06-03 12:46         ` Aleksey Avdeev
  0 siblings, 1 reply; 24+ messages in thread
From: Andrey V. Samopal @ 2008-06-03  9:39 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Здравствуйте, Aleksey.

Вы писали 3 июня 2008 г., 10:55:58:

> Serge пишет:
>> В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
>>> Andrey V. Samopal пишет:
>>>> Здравствуйте, sysadmins.
>>>>
>>>> подскажите пожалуйста как порешать проблему.
>>>> выставил кеш сквида на 20 гиг.
>>>> месяц держится нормально, потом кеш резко выростает и занемает все
>>>> свободное дисковое пространство, буквально за день - два.
>>>> что это может быть и как его порешать????
>>>   Кеш squid`а на отдельном разделе?
>> у меня нет

>   Тогда стоит проверить объём свободного места на разделе (+ фактический
> объём, занятый кешем squid`а): не исключено что его слишком мало для
> работы с текучими настройками кеша...

> PS: Если кеш отдельным разделом -- всё проще.

/var у меня отдельный диск
/dev/sdb1              74G  6.0G   64G   9% /var
я вчера грохнул кеш, сейчас он весит
# du -s /var/spool/squid/
3.8G    /var/spool/squid/


-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua





^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03  9:39       ` Andrey V. Samopal
@ 2008-06-03 12:46         ` Aleksey Avdeev
  2008-06-03 13:10           ` Andrey V. Samopal
  0 siblings, 1 reply; 24+ messages in thread
From: Aleksey Avdeev @ 2008-06-03 12:46 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 1261 bytes --]

Andrey V. Samopal пишет:
> Здравствуйте, Aleksey.
> 
> Вы писали 3 июня 2008 г., 10:55:58:
> 
> 
>>Serge пишет:
>>
>>>В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
>>>
>>>>Andrey V. Samopal пишет:
>>>>
>>>>>Здравствуйте, sysadmins.
>>>>>
>>>>>подскажите пожалуйста как порешать проблему.
>>>>>выставил кеш сквида на 20 гиг.
>>>>>месяц держится нормально, потом кеш резко выростает и занемает все
>>>>>свободное дисковое пространство, буквально за день - два.
>>>>>что это может быть и как его порешать????
>>>>
>>>>  Кеш squid`а на отдельном разделе?
>>>
>>>у меня нет
> 
> 
>>  Тогда стоит проверить объём свободного места на разделе (+ фактический
>>объём, занятый кешем squid`а): не исключено что его слишком мало для
>>работы с текучими настройками кеша...
> 
> 
>>PS: Если кеш отдельным разделом -- всё проще.
> 
> 
> /var у меня отдельный диск
> /dev/sdb1              74G  6.0G   64G   9% /var
> я вчера грохнул кеш, сейчас он весит
> # du -s /var/spool/squid/
> 3.8G    /var/spool/squid/

1. А какова картина в момент тормозов (достаточен ли резерв места)?

2. Какая ФС на /var

3. Соответствует ли store_avg_object_size реальному содержимому кеша?

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 556 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03 12:46         ` Aleksey Avdeev
@ 2008-06-03 13:10           ` Andrey V. Samopal
  2008-06-03 13:40             ` Aleksey Avdeev
  0 siblings, 1 reply; 24+ messages in thread
From: Andrey V. Samopal @ 2008-06-03 13:10 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Здравствуйте, Aleksey.

Вы писали 3 июня 2008 г., 15:46:39:

> Andrey V. Samopal пишет:
>> Здравствуйте, Aleksey.
>> 
>> Вы писали 3 июня 2008 г., 10:55:58:
>> 
>> 
>>>Serge пишет:
>>>
>>>>В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
>>>>
>>>>>Andrey V. Samopal пишет:
>>>>>
>>>>>>Здравствуйте, sysadmins.
>>>>>>
>>>>>>подскажите пожалуйста как порешать проблему.
>>>>>>выставил кеш сквида на 20 гиг.
>>>>>>месяц держится нормально, потом кеш резко выростает и занемает все
>>>>>>свободное дисковое пространство, буквально за день - два.
>>>>>>что это может быть и как его порешать????
>>>>>
>>>>>  Кеш squid`а на отдельном разделе?
>>>>
>>>>у меня нет
>> 
>> 
>>>  Тогда стоит проверить объём свободного места на разделе (+ фактический
>>>объём, занятый кешем squid`а): не исключено что его слишком мало для
>>>работы с текучими настройками кеша...
>> 
>> 
>>>PS: Если кеш отдельным разделом -- всё проще.
>> 
>> 
>> /var у меня отдельный диск
>> /dev/sdb1              74G  6.0G   64G   9% /var
>> я вчера грохнул кеш, сейчас он весит
>> # du -s /var/spool/squid/
>> 3.8G    /var/spool/squid/

> 1. А какова картина в момент тормозов (достаточен ли резерв места)?
Тормозов никаких нет, просто в один момент резко заканчивается место.
> 2. Какая ФС на /var
ext3
> 3. Соответствует ли store_avg_object_size реальному содержимому кеша?
подскажи ПЛЗ как проверить...



-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua





^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03 13:10           ` Andrey V. Samopal
@ 2008-06-03 13:40             ` Aleksey Avdeev
  0 siblings, 0 replies; 24+ messages in thread
From: Aleksey Avdeev @ 2008-06-03 13:40 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 1980 bytes --]

Andrey V. Samopal пишет:
> Здравствуйте, Aleksey.
> 
> Вы писали 3 июня 2008 г., 15:46:39:
> 
> 
>>Andrey V. Samopal пишет:
>>
>>>Здравствуйте, Aleksey.
>>>
>>>Вы писали 3 июня 2008 г., 10:55:58:
>>>
>>>
>>>
>>>>Serge пишет:
>>>>
>>>>
>>>>>В сообщении от Tuesday 03 June 2008 10:20:07 Aleksey Avdeev написал(а):
>>>>>
>>>>>
>>>>>>Andrey V. Samopal пишет:
>>>>>>
>>>>>>
>>>>>>>Здравствуйте, sysadmins.
>>>>>>>
>>>>>>>подскажите пожалуйста как порешать проблему.
>>>>>>>выставил кеш сквида на 20 гиг.
>>>>>>>месяц держится нормально, потом кеш резко выростает и занемает все
>>>>>>>свободное дисковое пространство, буквально за день - два.
>>>>>>>что это может быть и как его порешать????
>>>>>>
>>>>>> Кеш squid`а на отдельном разделе?
>>>>>
>>>>>у меня нет
>>>
>>>
>>>> Тогда стоит проверить объём свободного места на разделе (+ фактический
>>>>объём, занятый кешем squid`а): не исключено что его слишком мало для
>>>>работы с текучими настройками кеша...
>>>
>>>
>>>>PS: Если кеш отдельным разделом -- всё проще.
>>>
>>>
>>>/var у меня отдельный диск
>>>/dev/sdb1              74G  6.0G   64G   9% /var
>>>я вчера грохнул кеш, сейчас он весит
>>># du -s /var/spool/squid/
>>>3.8G    /var/spool/squid/
> 
> 
>>1. А какова картина в момент тормозов (достаточен ли резерв места)?
> 
> Тормозов никаких нет, просто в один момент резко заканчивается место.

  Каков размер кеша в этот момент? Может squid и не причём вовсе.

> 
>>2. Какая ФС на /var
> 
> ext3
> 
>>3. Соответствует ли store_avg_object_size реальному содержимому кеша?
> 
> подскажи ПЛЗ как проверить...

  Такую задачу не решал. Есть только идеи:

1. Можно посмотреть в сторону встроенного Cache Manager (см.
<http://www.bog.pp.ru/work/squid.html>). Но я не знаю, выдаёт ли он
такую информацию (т. к. данное средство не использовал).

2. Сделать скрипт считающий фактический средний размер содержимого кеша...

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 556 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-03  4:32     ` Andrey V. Samopal
@ 2008-06-03 22:18       ` Michael Shigorin
  0 siblings, 0 replies; 24+ messages in thread
From: Michael Shigorin @ 2008-06-03 22:18 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

On Tue, Jun 03, 2008 at 07:32:53AM +0300, Andrey V. Samopal wrote:
> по ночам не хотелось бы ездить...
> а если упадет то прийдется.

Рекомендую monit (умеет и дисковое пространство проверять)
и collectd для анализа динамики.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-02 11:12 [Sysadmins] squid + cache Andrey V. Samopal
  2008-06-02 11:48 ` Serge
  2008-06-03  7:20 ` Aleksey Avdeev
@ 2008-06-04 11:41 ` Andrii Dobrovol`s`kii
  2008-06-04 11:53   ` Aleksey Avdeev
  2008-06-04 12:16   ` Владимир
  2 siblings, 2 replies; 24+ messages in thread
From: Andrii Dobrovol`s`kii @ 2008-06-04 11:41 UTC (permalink / raw)
  To: Andrey V. Samopal, ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 944 bytes --]

Andrey V. Samopal пишет:
> Здравствуйте, sysadmins.
> 
> подскажите пожалуйста как порешать проблему.
> выставил кеш сквида на 20 гиг.
При таком размере в конфиге, кеш может потребовать себе на диске до
200 Гиг места. Оно там есть? И зачем Вам такой громадный кеш? Сейчас
очень многие сайты вообще динамически формируют, что увидят
пользователи. А что они увидят при таком кеше -- вопрос...
> месяц держится нормально, потом кеш резко выростает и занемает все
> свободное дисковое пространство, буквально за день - два.
> что это может быть и как его порешать????
> 
-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua            Kyiv, Ukraine
Phone: (380-44)   525-7824            Department of Gas Electronics
Fax:   (380-44)   525-2329             Institute of Physics of NASU
*********************dobrATjabber.iop.kiev.ua************************


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-04 11:41 ` Andrii Dobrovol`s`kii
@ 2008-06-04 11:53   ` Aleksey Avdeev
  2008-06-04 14:00     ` Andrii Dobrovol`s`kii
  2008-06-04 12:16   ` Владимир
  1 sibling, 1 reply; 24+ messages in thread
From: Aleksey Avdeev @ 2008-06-04 11:53 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 444 bytes --]

Andrii Dobrovol`s`kii пишет:
> Andrey V. Samopal пишет:
> 
>>Здравствуйте, sysadmins.
>>
>>подскажите пожалуйста как порешать проблему.
>>выставил кеш сквида на 20 гиг.
> 
> При таком размере в конфиге, кеш может потребовать себе на диске до
> 200 Гиг места. Оно там есть?
  ^^^^^^^

  Прошу обосновать данную цифру, если не сложно -- пока не понимаю
откуда она взялась (что-то не знаю, похоже).

-- 

С уважением. Алексей.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 556 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-04 11:41 ` Andrii Dobrovol`s`kii
  2008-06-04 11:53   ` Aleksey Avdeev
@ 2008-06-04 12:16   ` Владимир
  2008-06-05 15:03     ` Vasyl Tereshko
  1 sibling, 1 reply; 24+ messages in thread
From: Владимир @ 2008-06-04 12:16 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Andrii Dobrovol`s`kii пишет:
> Andrey V. Samopal пишет:
>   
>> Здравствуйте, sysadmins.
>>
>> подскажите пожалуйста как порешать проблему.
>> выставил кеш сквида на 20 гиг.
>>     
> При таком размере в конфиге, кеш может потребовать себе на диске до
> 200 Гиг места. Оно там есть? И зачем Вам такой громадный кеш? Сейчас
> очень многие сайты вообще динамически формируют, что увидят
> пользователи. А что они увидят при таком кеше -- вопрос...
>   

У меня сколько указано, столько и занимает (2 Gb на 4 Gb разделе).
А вот 20 Gb это явно перебор. В свое время подбирал и убедился,
что иметь кэш больше 2 Gb смысла нет (да и 2 много).

А неконтролируемый рост кэша наблюдал давно, на перегруженном
шлюзе с малым размером оперативки.


-- 
Vladimir Kholmanov
fmfm@mmascience.ru
fmfm@mma.ru



^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-04 11:53   ` Aleksey Avdeev
@ 2008-06-04 14:00     ` Andrii Dobrovol`s`kii
  0 siblings, 0 replies; 24+ messages in thread
From: Andrii Dobrovol`s`kii @ 2008-06-04 14:00 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

[-- Attachment #1: Type: text/plain, Size: 1306 bytes --]

Aleksey Avdeev пишет:
> Andrii Dobrovol`s`kii пишет:
>> Andrey V. Samopal пишет:
>>
>>> Здравствуйте, sysadmins.
>>>
>>> подскажите пожалуйста как порешать проблему.
>>> выставил кеш сквида на 20 гиг.
>> При таком размере в конфиге, кеш может потребовать себе на диске до
>> 200 Гиг места. Оно там есть?
>   ^^^^^^^
> 
>   Прошу обосновать данную цифру, если не сложно -- пока не понимаю
> откуда она взялась (что-то не знаю, похоже).
> 
Увы, сейчас обосновать не смогу. Возможно уже всё стало лучше и
Сквид строго соблюдает ограничение на размер кеша. Однако, когда ещё
первые разы настраивал этого зверя, читал в нескольких описаниях,
что реально на диске может оказаться занято в восемь раз больше
места, чем Вы указали в конфиге.
Один раз, тогда же ещё, сам на такое нарвался. С тех пор стараюсь
этот момент учитывать. Пока не подводило. :) Да и в большом кеше уже
давно необходимости нет. Он скорее мешает сейчас.
-- 
Rgrds,
Andriy
*********************************************************************
email: dobr at iop dot kiev dot ua            Kyiv, Ukraine
Phone: (380-44)   525-7824            Department of Gas Electronics
Fax:   (380-44)   525-2329             Institute of Physics of NASU
*********************dobrATjabber.iop.kiev.ua************************


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-04 12:16   ` Владимир
@ 2008-06-05 15:03     ` Vasyl Tereshko
  2008-06-05 15:26       ` Алексей Шенцев
  0 siblings, 1 reply; 24+ messages in thread
From: Vasyl Tereshko @ 2008-06-05 15:03 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Владимир пишет:
>
> У меня сколько указано, столько и занимает (2 Gb на 4 Gb разделе).
> А вот 20 Gb это явно перебор. В свое время подбирал и убедился,
> что иметь кэш больше 2 Gb смысла нет (да и 2 много).
Почему ? У меня в двух местах кэш 50-100Gb на отдельных разделах, в 
конфигах сквида указан размер на 10-15% меньше реального размера 
раздела, и в таком виде оно существует не один год, кэш практически под 
завязку забит. А складывать туда есть что - винды новые поставил, а они 
давай апдейты тянуть из инета. Со скоростью 60-70 мбит ;) Не, я знаю про 
существование WUS и SUS, но зачем, если есть более простое и тоже 
действенное решение, которое неплохо работает и для других случаев тоже? 
А одних виндовых апдейтов на гиг 5-7 легко насобирается.
> А неконтролируемый рост кэша наблюдал давно, на перегруженном
> шлюзе с малым размером оперативки.
Я лично никогда не сталкивался. cachemgr.cgi от сквида - вполне 
информативная утилита, для нахождения проблем со сквидом, и с 
настройками памяти в том числе.

--
Толми


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-05 15:03     ` Vasyl Tereshko
@ 2008-06-05 15:26       ` Алексей Шенцев
  2008-06-05 15:48         ` Motsyo Gennadi aka Drool
    0 siblings, 2 replies; 24+ messages in thread
From: Алексей Шенцев @ 2008-06-05 15:26 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

В сообщении от Thursday 05 June 2008 19:03:49 Vasyl Tereshko написал(а):
> А складывать туда есть что - винды новые поставил, а они
> давай апдейты тянуть из инета.
Я такое как только увижу, сразу отрубаю на фиг. Не чего винде баловаться, да 
трафик тратить ... ;)
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-05 15:26       ` Алексей Шенцев
@ 2008-06-05 15:48         ` Motsyo Gennadi aka Drool
  2008-06-06  6:16           ` Алексей Шенцев
    1 sibling, 1 reply; 24+ messages in thread
From: Motsyo Gennadi aka Drool @ 2008-06-05 15:48 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Алексей Шенцев пишет:
> В сообщении от Thursday 05 June 2008 19:03:49 Vasyl Tereshko написал(а):
>> А складывать туда есть что - винды новые поставил, а они
>> давай апдейты тянуть из инета.
> Я такое как только увижу, сразу отрубаю на фиг. Не чего винде баловаться, да 
> трафик тратить ... ;)

	Отрубаешь путем закрывания портов? Или вообще сервер обновлений дяди 
Билли в блэклистах? Т.к. отрубание в форточках обновления еще не 
показатель, что она не будет обновляться ;-)


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-05 15:48         ` Motsyo Gennadi aka Drool
@ 2008-06-06  6:16           ` Алексей Шенцев
  0 siblings, 0 replies; 24+ messages in thread
From: Алексей Шенцев @ 2008-06-06  6:16 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

В сообщении от Thursday 05 June 2008 19:48:27 Motsyo Gennadi aka Drool 
написал(а):
> 	Отрубаешь путем закрывания портов? Или вообще сервер обновлений дяди
> Билли в блэклистах? Т.к. отрубание в форточках обновления еще не
> показатель, что она не будет обновляться ;-)
Всё вместе.
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  @ 2008-06-06  6:18           ` Алексей Шенцев
  2008-06-06 22:15             ` Vasyl Tereshko
  0 siblings, 1 reply; 24+ messages in thread
From: Алексей Шенцев @ 2008-06-06  6:18 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

В сообщении от Friday 06 June 2008 03:07:39 Vasily Tereshko написал(а):
> А наверно лучше, когда винды непропатченные представляют собой
> замечательный рассадник для всяких троянов. 
Для этого есть антивирусы.

> Нет уж, уж лучше пусть трафик на апдейты жрут, чем потом будут спамить.
Поверьте не лучше. Не раз наблюдал как винды после автообновления вываливаются 
в BSD.
PS: Прошу прощения за оффтоп.
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-06  6:18           ` Алексей Шенцев
@ 2008-06-06 22:15             ` Vasyl Tereshko
  2008-06-09  7:24               ` Andrey V. Samopal
  0 siblings, 1 reply; 24+ messages in thread
From: Vasyl Tereshko @ 2008-06-06 22:15 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Алексей Шенцев пишет:
> В сообщении от Friday 06 June 2008 03:07:39 Vasily Tereshko написал(а):
>   
>> А наверно лучше, когда винды непропатченные представляют собой
>> замечательный рассадник для всяких троянов. 
>>     
> Для этого есть антивирусы.
>   
Антивирусы тоже есть, но это уже ВТОРАЯ линия обороны. Лучше, чтобы 
обеизвестных дыр в системе не было.
>> Нет уж, уж лучше пусть трафик на апдейты жрут, чем потом будут спамить.
>>     
> Поверьте не лучше. Не раз наблюдал как винды после автообновления вываливаются 
> в BSD.
>   
BSOD ;)
BSD - это из другой оперы. ;)  Бывало и такое. В основном из-за левых 
китайских драйверов под железо, типа д-линковского вайфая. Обычный 
офисный комп без лишних приблуд вполне нормально автоапдейтится, да и 
иначе быть не может, иначе мелкомягких давно бы съели с потрохами.


Возвращаясь к теме, всё же ещё раз замечу, что [ИМХО] большой (50-100 
гиг) кеш в конторе, где больше 50 компов - однозначно полезная штука.
Опять же ИМХО, чтобы сквид работал стабильно, размер в директиве 
cache_dir в squid.conf должен быть на 10-15% меньше того реального 
места, которое вы под этот кеш выделяете, тогда сквид работает вполне 
стабильно.


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [Sysadmins] squid + cache
  2008-06-06 22:15             ` Vasyl Tereshko
@ 2008-06-09  7:24               ` Andrey V. Samopal
  0 siblings, 0 replies; 24+ messages in thread
From: Andrey V. Samopal @ 2008-06-09  7:24 UTC (permalink / raw)
  To: ALT Linux sysadmin discuss

Здравствуйте, Vasyl.

Вы писали 7 июня 2008 г., 1:15:07:

> Алексей Шенцев пишет:
>> В сообщении от Friday 06 June 2008 03:07:39 Vasily Tereshko написал(а):
>>   
>>> А наверно лучше, когда винды непропатченные представляют собой
>>> замечательный рассадник для всяких троянов. 
>>>     
>> Для этого есть антивирусы.
>>   
> Антивирусы тоже есть, но это уже ВТОРАЯ линия обороны. Лучше, чтобы 
> обеизвестных дыр в системе не было.
>>> Нет уж, уж лучше пусть трафик на апдейты жрут, чем потом будут спамить.
>>>     
>> Поверьте не лучше. Не раз наблюдал как винды после автообновления вываливаются 
>> в BSD.
>>   
> BSOD ;)
> BSD - это из другой оперы. ;)  Бывало и такое. В основном из-за левых 
> китайских драйверов под железо, типа д-линковского вайфая. Обычный 
> офисный комп без лишних приблуд вполне нормально автоапдейтится, да и 
> иначе быть не может, иначе мелкомягких давно бы съели с потрохами.


> Возвращаясь к теме, всё же ещё раз замечу, что [ИМХО] большой (50-100 
> гиг) кеш в конторе, где больше 50 компов - однозначно полезная штука.
У меня примерно 750 пользователей
> Опять же ИМХО, чтобы сквид работал стабильно, размер в директиве 
> cache_dir в squid.conf должен быть на 10-15% меньше того реального 
> места, которое вы под этот кеш выделяете, тогда сквид работает вполне 
> стабильно.
сейчас на варе
/dev/sdb1              74G   20G   50G  29% /var
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua





^ permalink raw reply	[flat|nested] 24+ messages in thread

end of thread, other threads:[~2008-06-09  7:24 UTC | newest]

Thread overview: 24+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2008-06-02 11:12 [Sysadmins] squid + cache Andrey V. Samopal
2008-06-02 11:48 ` Serge
2008-06-02 15:39   ` Vasyl Tereshko
2008-06-03  4:32     ` Andrey V. Samopal
2008-06-03 22:18       ` Michael Shigorin
2008-06-03  4:44     ` Serge
2008-06-03  7:20 ` Aleksey Avdeev
2008-06-03  7:28   ` Serge
2008-06-03  7:55     ` Aleksey Avdeev
2008-06-03  9:39       ` Andrey V. Samopal
2008-06-03 12:46         ` Aleksey Avdeev
2008-06-03 13:10           ` Andrey V. Samopal
2008-06-03 13:40             ` Aleksey Avdeev
2008-06-04 11:41 ` Andrii Dobrovol`s`kii
2008-06-04 11:53   ` Aleksey Avdeev
2008-06-04 14:00     ` Andrii Dobrovol`s`kii
2008-06-04 12:16   ` Владимир
2008-06-05 15:03     ` Vasyl Tereshko
2008-06-05 15:26       ` Алексей Шенцев
2008-06-05 15:48         ` Motsyo Gennadi aka Drool
2008-06-06  6:16           ` Алексей Шенцев
2008-06-06  6:18           ` Алексей Шенцев
2008-06-06 22:15             ` Vasyl Tereshko
2008-06-09  7:24               ` Andrey V. Samopal

ALT Linux sysadmins discussion

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
		sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
	public-inbox-index sysadmins

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.sysadmins


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git