* Re: [Sysadmins] Использование swap
@ 2019-08-27 7:16 alexei
0 siblings, 1 reply; 3+ messages in thread
From: alexei @ 2019-08-27 7:16 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге?
Там есть одна не сильно очевидная особенность - указанный объем выделяется
в целом по формуле work_mem*[количество операция слияния, хэширования,
сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в виде
подзапросов, процесс влет может отхватить всю доступную память и полезть в свап.
----- Исходное сообщение -----
> От: "Yuri Khachaturyan" <yukh@yukh.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Вторник, 27 Август 2019 г 15:01:07
> Тема: Re: [Sysadmins] Использование swap
> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда
> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема
> пропала, но все равно хочется узнать кто регулярно его использует (сейчас
> использовано 660М из 2G). При этом памяти свободно ровно половина:
>
> # free -m
> total used free shared buff/cache available
> Mem: 7970 1121 1034 1650 5814 4895
> Swap: 2047 666 1381
>
> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет
> вместо того, чтобы использовать свободную память...
> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В
> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и
> не заметил.
>
>
> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto:stanislav.v.v@gmail.com
> | stanislav.v.v@gmail.com ] >:
>
>
> 27.08.2019, [ mailto:alexei@taf.ru | alexei@taf.ru ] < [ mailto:alexei@taf.ru |
> alexei@taf.ru ] > написал(а):
>
>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним
>>> процентов.
>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у
>>> только
>>> ночные всплески...
>>
>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного
>> использования
>> свапа (тем более время заббиксом локализовано)
>
> А может, atop поставить?
> Всё ж штатное средство, а не top по крону
^ permalink raw reply [flat|nested] 3+ messages in thread[parent not found: <CAA8E9_sD8xk5kwmeY_EJci9-qRgSLQV2Y48rfJ_YcTn=mu=UoA@mail.gmail.com>]
* Re: [Sysadmins] Использование swap @ 2019-08-27 7:42 ` alexei 2019-08-27 8:08 ` alexei 1 sibling, 0 replies; 3+ messages in thread From: alexei @ 2019-08-27 7:42 UTC (permalink / raw) To: ALT Linux sysadmins' discussion ----- Исходное сообщение ----- > От: "Yuri Khachaturyan" <yukh@yukh.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Вторник, 27 Август 2019 г 15:21:42 > Тема: Re: [Sysadmins] Использование swap > Вот настройки, которые рекомендовал pgtune: > > default_statistics_target = 50 # pgtune wizard 2018-12-19 > maintenance_work_mem = 480MB # pgtune wizard 2018-12-19 > constraint_exclusion = on # pgtune wizard 2018-12-19 > checkpoint_completion_target = 0.9 # pgtune wizard 2018-12-19 > effective_cache_size = 5632MB # pgtune wizard 2018-12-19 > work_mem = 48MB # pgtune wizard 2018-12-19 > wal_buffers = 8MB # pgtune wizard 2018-12-19 > shared_buffers = 1920MB # pgtune wizard 2018-12-19 > max_connections = 80 # pgtune wizard 2018-12-19 > > Как по вашему, стоит что-то изменить здесь? Смотрите, памяти у вас 8 гигов, при указанных настройках просто прикидочно имеем: 48*80 = 3840 то есть фактически половина ОЗУ, и это на простых запросах с сортировкой. В сложных запросах со слиянием-хэшированием потребность в ОЗУ будет возрастать кратно 48 мегабайт на каждую операцию. Неужели у вас в запросах молотятся такие данные, где результат выполнения запроса не помещается в дефолтные 4 мегабайта? wal_buffers лучше выставить в -1, тогда он будет автоматически оптимально переопреляться из заданного размера shared_buffers. > > вт, 27 авг. 2019 г. в 10:16, < [ mailto:alexei@taf.ru | alexei@taf.ru ] >: > > > Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге? > Там есть одна не сильно очевидная особенность - указанный объем выделяется > в целом по формуле work_mem*[количество операция слияния, хэширования, > сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в > виде > подзапросов, процесс влет может отхватить всю доступную память и полезть в свап. > > ----- Исходное сообщение ----- >> От: "Yuri Khachaturyan" < [ mailto:yukh@yukh.ru | yukh@yukh.ru ] > >> Кому: "ALT Linux sysadmins' discussion" < [ mailto:sysadmins@lists.altlinux.org >> | sysadmins@lists.altlinux.org ] > >> Отправленные: Вторник, 27 Август 2019 г 15:01:07 >> Тема: Re: [Sysadmins] Использование swap > >> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда >> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема >> пропала, но все равно хочется узнать кто регулярно его использует (сейчас >> использовано 660М из 2G). При этом памяти свободно ровно половина: >> >> # free -m >> total used free shared buff/cache available >> Mem: 7970 1121 1034 1650 5814 4895 >> Swap: 2047 666 1381 >> >> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет >> вместо того, чтобы использовать свободную память... >> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В >> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и >> не заметил. >> >> >> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto: [ >> mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] >> | [ mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] ] >: >> >> >> 27.08.2019, [ mailto: [ mailto:alexei@taf.ru | alexei@taf.ru ] | [ >> mailto:alexei@taf.ru | alexei@taf.ru ] ] < [ mailto: [ mailto:alexei@taf.ru | >> alexei@taf.ru ] | >> [ mailto:alexei@taf.ru | alexei@taf.ru ] ] > написал(а): >> >>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним >>>> процентов. >>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у >>>> только >>>> ночные всплески... >>> >>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного >>> использования >>> свапа (тем более время заббиксом локализовано) >> >> А может, atop поставить? >> Всё ж штатное средство, а не top по крону > _______________________________________________ > Sysadmins mailing list > [ mailto:Sysadmins@lists.altlinux.org | Sysadmins@lists.altlinux.org ] > [ https://lists.altlinux.org/mailman/listinfo/sysadmins | > https://lists.altlinux.org/mailman/listinfo/sysadmins ] > > > -- > С уважением, > Хачатурян Юрий ( [ mailto:yukh@yukh.ru | yukh@yukh.ru ] ) > > _______________________________________________ > Sysadmins mailing list > Sysadmins@lists.altlinux.org > https://lists.altlinux.org/mailman/listinfo/sysadmins -- С уважением, технический директор ООО "Телнет" Такасеев Алексей Геннадиевич e-mail: taf@ilimnet.ru тел. 8 39535 61-000, 2-41-41 ^ permalink raw reply [flat|nested] 3+ messages in thread
* Re: [Sysadmins] Использование swap 2019-08-27 7:42 ` alexei @ 2019-08-27 8:08 ` alexei 1 sibling, 0 replies; 3+ messages in thread From: alexei @ 2019-08-27 8:08 UTC (permalink / raw) To: ALT Linux sysadmins' discussion Вообще я бы советовал не слепо доверяться левым "тюнилкам" а самостоятельно пройтись в документации по измененным ими параметрам, чтобы знато что они реально делают, на что влияют и уже тогда крутить их самостоятельно с прицелом на свою ситуацию и потребности. ----- Исходное сообщение ----- > От: "Yuri Khachaturyan" <yukh@yukh.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Вторник, 27 Август 2019 г 15:21:42 > Тема: Re: [Sysadmins] Использование swap > Вот настройки, которые рекомендовал pgtune: > > default_statistics_target = 50 # pgtune wizard 2018-12-19 > maintenance_work_mem = 480MB # pgtune wizard 2018-12-19 > constraint_exclusion = on # pgtune wizard 2018-12-19 > checkpoint_completion_target = 0.9 # pgtune wizard 2018-12-19 > effective_cache_size = 5632MB # pgtune wizard 2018-12-19 > work_mem = 48MB # pgtune wizard 2018-12-19 > wal_buffers = 8MB # pgtune wizard 2018-12-19 > shared_buffers = 1920MB # pgtune wizard 2018-12-19 > max_connections = 80 # pgtune wizard 2018-12-19 > > Как по вашему, стоит что-то изменить здесь? > > вт, 27 авг. 2019 г. в 10:16, < [ mailto:alexei@taf.ru | alexei@taf.ru ] >: > > > Хм... Посмотрите, не сильно ли вы задрали значение work_mem в конфиге? > Там есть одна не сильно очевидная особенность - указанный объем выделяется > в целом по формуле work_mem*[количество операция слияния, хэширования, > сортировки]. То есть на нетривиальном запросе из пачки таблиц и осложнениями в > виде > подзапросов, процесс влет может отхватить всю доступную память и полезть в свап. > > ----- Исходное сообщение ----- >> От: "Yuri Khachaturyan" < [ mailto:yukh@yukh.ru | yukh@yukh.ru ] > >> Кому: "ALT Linux sysadmins' discussion" < [ mailto:sysadmins@lists.altlinux.org >> | sysadmins@lists.altlinux.org ] > >> Отправленные: Вторник, 27 Август 2019 г 15:01:07 >> Тема: Re: [Sysadmins] Использование swap > >> Вся проблема в том, что я это время я уже далеко не у компа и сидеть ждать когда >> оно начнется нет возможности. На сегодня увеличил swap с 1G до 2G и проблема >> пропала, но все равно хочется узнать кто регулярно его использует (сейчас >> использовано 660М из 2G). При этом памяти свободно ровно половина: >> >> # free -m >> total used free shared buff/cache available >> Mem: 7970 1121 1034 1650 5814 4895 >> Swap: 2047 666 1381 >> >> По результатам top -n 1 -o RES виновник - postgresql. Но почему он в swap лезет >> вместо того, чтобы использовать свободную память... >> Настройки памяти postgresql делал через pg_tune на основании текущего железа. В >> целом работе не мешает, если бы zabbix не обратил на это мое внимание, я бы и >> не заметил. >> >> >> вт, 27 авг. 2019 г. в 05:39, Stanislav Vlasov < [ mailto: [ >> mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] >> | [ mailto:stanislav.v.v@gmail.com | stanislav.v.v@gmail.com ] ] >: >> >> >> 27.08.2019, [ mailto: [ mailto:alexei@taf.ru | alexei@taf.ru ] | [ >> mailto:alexei@taf.ru | alexei@taf.ru ] ] < [ mailto: [ mailto:alexei@taf.ru | >> alexei@taf.ru ] | >> [ mailto:alexei@taf.ru | alexei@taf.ru ] ] > написал(а): >> >>>> Кто-то активно каждую ночь использует swap в системе под 90 с лишним >>>> процентов. >>>> Напомните, как поймать того, кто это делает? Сейчас вижу по zabbix-у >>>> только >>>> ночные всплески... >>> >>> Можно попробовать кроном запускать нечто top -n 1 -o RES во время активного >>> использования >>> свапа (тем более время заббиксом локализовано) >> >> А может, atop поставить? >> Всё ж штатное средство, а не top по крону ^ permalink raw reply [flat|nested] 3+ messages in thread
end of thread, other threads:[~2019-08-27 8:08 UTC | newest] Thread overview: 3+ messages (download: mbox.gz / follow: Atom feed) -- links below jump to the message on this page -- 2019-08-27 7:16 [Sysadmins] Использование swap alexei 2019-08-27 7:42 ` alexei 2019-08-27 8:08 ` alexei
ALT Linux sysadmins discussion This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \ sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com public-inbox-index sysadmins Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.sysadmins AGPL code for this site: git clone https://public-inbox.org/public-inbox.git