* Re: [Sysadmins] Использование swap
@ 2019-08-27 7:16 alexei
0 siblings, 1 reply; 3+ messages in thread
From: alexei @ 2019-08-27 7:16 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге?
Там есть одна не сильно очевидная особенность - указанный объем выделяется
в целом по формуле work_mem*[количество операция слияния, хэширования,
сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в виде
подзапросов, процесс влет может отхватить всю доступную память и полезть в свап.
----- Исходное сообщение -----
> От: "Yuri Khachaturyan" <yukh@yukh.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Вторник, 27 Август 2019 г 15:01:07
> Тема: Re: [Sysadmins] Использование swap
> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда
> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема
> пропала, но все равно хочется узнать кто регулярно его использует (сейчас
> использовано 660М из 2G). При этом памяти свободно ровно половина:
>
> # free -m
> total used free shared buff/cache available
> Mem: 7970 1121 1034 1650 5814 4895
> Swap: 2047 666 1381
>
> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет
> вместо того, чтобы использовать свободную память...
> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В
> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и
> не заметил.
>
>
> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto:stanislav.v.v@gmail.com
> | stanislav.v.v@gmail.com ] >:
>
>
> 27.08.2019, [ mailto:alexei@taf.ru | alexei@taf.ru ] < [ mailto:alexei@taf.ru |
> alexei@taf.ru ] > написал(а):
>
>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним
>>> процентов.
>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у
>>> только
>>> ночные всплески...
>>
>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного
>> использования
>> свапа (тем более время заббиксом локализовано)
>
> А может, atop поставить?
> Всё ж штатное средство, а не top по крону
^ permalink raw reply [flat|nested] 3+ messages in thread
* Re: [Sysadmins] Использование swap
@ 2019-08-27 7:42 ` alexei
2019-08-27 8:08 ` alexei
1 sibling, 0 replies; 3+ messages in thread
From: alexei @ 2019-08-27 7:42 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
----- Исходное сообщение -----
> От: "Yuri Khachaturyan" <yukh@yukh.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Вторник, 27 Август 2019 г 15:21:42
> Тема: Re: [Sysadmins] Использование swap
> Вот настройки, которые рекомендовал pgtune:
>
> default_statistics_target = 50 # pgtune wizard 2018-12-19
> maintenance_work_mem = 480MB # pgtune wizard 2018-12-19
> constraint_exclusion = on # pgtune wizard 2018-12-19
> checkpoint_completion_target = 0.9 # pgtune wizard 2018-12-19
> effective_cache_size = 5632MB # pgtune wizard 2018-12-19
> work_mem = 48MB # pgtune wizard 2018-12-19
> wal_buffers = 8MB # pgtune wizard 2018-12-19
> shared_buffers = 1920MB # pgtune wizard 2018-12-19
> max_connections = 80 # pgtune wizard 2018-12-19
>
> Как по вашему, стоит что-то изменить здесь?
Смотрите, памяти у вас 8 гигов, при указанных настройках просто прикидочно имеем:
48*80 = 3840 то есть фактически половина ОЗУ, и это на простых запросах с сортировкой.
В сложных запросах со слиянием-хэшированием потребность в ОЗУ будет возрастать кратно
48 мегабайт на каждую операцию. Неужели у вас в запросах молотятся такие данные, где
результат выполнения запроса не помещается в дефолтные 4 мегабайта?
wal_buffers лучше выставить в -1, тогда он будет автоматически оптимально переопреляться
из заданного размера shared_buffers.
>
> вт, 27 авг. 2019 г. в 10:16, < [ mailto:alexei@taf.ru | alexei@taf.ru ] >:
>
>
> Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге?
> Там есть одна не сильно очевидная особенность - указанный объем выделяется
> в целом по формуле work_mem*[количество операция слияния, хэширования,
> сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в
> виде
> подзапросов, процесс влет может отхватить всю доступную память и полезть в свап.
>
> ----- Исходное сообщение -----
>> От: "Yuri Khachaturyan" < [ mailto:yukh@yukh.ru | yukh@yukh.ru ] >
>> Кому: "ALT Linux sysadmins' discussion" < [ mailto:sysadmins@lists.altlinux.org
>> | sysadmins@lists.altlinux.org ] >
>> Отправленные: Вторник, 27 Август 2019 г 15:01:07
>> Тема: Re: [Sysadmins] Использование swap
>
>> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда
>> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема
>> пропала, но все равно хочется узнать кто регулярно его использует (сейчас
>> использовано 660М из 2G). При этом памяти свободно ровно половина:
>>
>> # free -m
>> total used free shared buff/cache available
>> Mem: 7970 1121 1034 1650 5814 4895
>> Swap: 2047 666 1381
>>
>> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет
>> вместо того, чтобы использовать свободную память...
>> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В
>> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и
>> не заметил.
>>
>>
>> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto: [
>> mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ]
>> | [ mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] ] >:
>>
>>
>> 27.08.2019, [ mailto: [ mailto:alexei@taf.ru | alexei@taf.ru ] | [
>> mailto:alexei@taf.ru | alexei@taf.ru ] ] < [ mailto: [ mailto:alexei@taf.ru |
>> alexei@taf.ru ] |
>> [ mailto:alexei@taf.ru | alexei@taf.ru ] ] > написал(а):
>>
>>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним
>>>> процентов.
>>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у
>>>> только
>>>> ночные всплески...
>>>
>>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного
>>> использования
>>> свапа (тем более время заббиксом локализовано)
>>
>> А может, atop поставить?
>> Всё ж штатное средство, а не top по крону
> _______________________________________________
> Sysadmins mailing list
> [ mailto:Sysadmins@lists.altlinux.org | Sysadmins@lists.altlinux.org ]
> [ https://lists.altlinux.org/mailman/listinfo/sysadmins |
> https://lists.altlinux.org/mailman/listinfo/sysadmins ]
>
>
> --
> С уважением,
> Хачатурян Юрий ( [ mailto:yukh@yukh.ru | yukh@yukh.ru ] )
>
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
--
С уважением,
технический директор ООО "Телнет"
Такасеев Алексей Геннадиевич
e-mail: taf@ilimnet.ru
тел. 8 39535 61-000, 2-41-41
^ permalink raw reply [flat|nested] 3+ messages in thread
* Re: [Sysadmins] Использование swap
2019-08-27 7:42 ` alexei
@ 2019-08-27 8:08 ` alexei
1 sibling, 0 replies; 3+ messages in thread
From: alexei @ 2019-08-27 8:08 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Вообще я бы советовал не слепо доверяться левым "тюнилкам" а самостоятельно
пройтись в документации по измененным ими параметрам, чтобы знато что они
реально делают, на что влияют и уже тогда крутить их самостоятельно с
прицелом на свою ситуацию и потребности.
----- Исходное сообщение -----
> От: "Yuri Khachaturyan" <yukh@yukh.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Вторник, 27 Август 2019 г 15:21:42
> Тема: Re: [Sysadmins] Использование swap
> Вот настройки, которые рекомендовал pgtune:
>
> default_statistics_target = 50 # pgtune wizard 2018-12-19
> maintenance_work_mem = 480MB # pgtune wizard 2018-12-19
> constraint_exclusion = on # pgtune wizard 2018-12-19
> checkpoint_completion_target = 0.9 # pgtune wizard 2018-12-19
> effective_cache_size = 5632MB # pgtune wizard 2018-12-19
> work_mem = 48MB # pgtune wizard 2018-12-19
> wal_buffers = 8MB # pgtune wizard 2018-12-19
> shared_buffers = 1920MB # pgtune wizard 2018-12-19
> max_connections = 80 # pgtune wizard 2018-12-19
>
> Как по вашему, стоит что-то изменить здесь?
>
> вт, 27 авг. 2019 г. в 10:16, < [ mailto:alexei@taf.ru | alexei@taf.ru ] >:
>
>
> Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге?
> Там есть одна не сильно очевидная особенность - указанный объем выделяется
> в целом по формуле work_mem*[количество операция слияния, хэширования,
> сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в
> виде
> подзапросов, процесс влет может отхватить всю доступную память и полезть в свап.
>
> ----- Исходное сообщение -----
>> От: "Yuri Khachaturyan" < [ mailto:yukh@yukh.ru | yukh@yukh.ru ] >
>> Кому: "ALT Linux sysadmins' discussion" < [ mailto:sysadmins@lists.altlinux.org
>> | sysadmins@lists.altlinux.org ] >
>> Отправленные: Вторник, 27 Август 2019 г 15:01:07
>> Тема: Re: [Sysadmins] Использование swap
>
>> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда
>> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема
>> пропала, но все равно хочется узнать кто регулярно его использует (сейчас
>> использовано 660М из 2G). При этом памяти свободно ровно половина:
>>
>> # free -m
>> total used free shared buff/cache available
>> Mem: 7970 1121 1034 1650 5814 4895
>> Swap: 2047 666 1381
>>
>> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет
>> вместо того, чтобы использовать свободную память...
>> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В
>> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и
>> не заметил.
>>
>>
>> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto: [
>> mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ]
>> | [ mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] ] >:
>>
>>
>> 27.08.2019, [ mailto: [ mailto:alexei@taf.ru | alexei@taf.ru ] | [
>> mailto:alexei@taf.ru | alexei@taf.ru ] ] < [ mailto: [ mailto:alexei@taf.ru |
>> alexei@taf.ru ] |
>> [ mailto:alexei@taf.ru | alexei@taf.ru ] ] > написал(а):
>>
>>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним
>>>> процентов.
>>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у
>>>> только
>>>> ночные всплески...
>>>
>>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного
>>> использования
>>> свапа (тем более время заббиксом локализовано)
>>
>> А может, atop поставить?
>> Всё ж штатное средство, а не top по крону
^ permalink raw reply [flat|nested] 3+ messages in thread
end of thread, other threads:[~2019-08-27 8:08 UTC | newest]
Thread overview: 3+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2019-08-27 7:16 [Sysadmins] Использование swap alexei
2019-08-27 7:42 ` alexei
2019-08-27 8:08 ` alexei
ALT Linux sysadmins discussion
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
public-inbox-index sysadmins
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.sysadmins
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git