[devel] packages.altlinux.org search

[devel] packages.altlinux.org search

[Igor Zubkov]

Hi,

Вот из-за чего была проблема:

[Wed Jun 22 20:18:14.236 2016] [ 1884] WARNING: rotating index
'srpm_core': prealloc: mmap() failed: Cannot allocate memory
(length=8890869); using old index

Мы упирались в память и не обновляли данные в индексе для поиска. Я
буду мониторить ситуацию и напишу отдельно когда найду из-за чего это
происходит. И исправлю.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] packages.altlinux.org search

[Igor Zubkov]

2016-06-22 19:23 GMT+03:00 Igor Zubkov:
> Hi,
>
> Вот из-за чего была проблема:
>
> [Wed Jun 22 20:18:14.236 2016] [ 1884] WARNING: rotating index
> 'srpm_core': prealloc: mmap() failed: Cannot allocate memory
> (length=8890869); using old index
>
> Мы упирались в память и не обновляли данные в индексе для поиска. Я
> буду мониторить ситуацию и напишу отдельно когда найду из-за чего это
> происходит. И исправлю.

И так, оказалось что поисковый индекс вырос до того размера что он уже
не всегда помещается в памяти. В sphinx есть такая опция как
seamless_rotate которая отвечает за бесшовное обновления индекса для
поиска. После того как новый индекс создан, sphinx запускает searchd с
новым индексом, и только после того как он запустится, убивается
старый searchd со старым индексом. В этот момент как раз и не хватает
памяти. Отключил бесшовную миграцию индекса. Должно полегчать. Только
теперь пару минут в день поиск будет не доступен. Я думаю что мы
переживём. :)

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] packages.altlinux.org search

[Hihin Ruslan]

[-- Attachment #1: Type: text/plain, Size: 428 bytes --]

Здравствуйте Igor Zubkov
  В сообщении от 22 июня 2016 Igor Zubkov написал(a):
> Я думаю что мы
> переживём. :)

Конечно ;-) 
Спасибо вам.

-- 
  А ещё говорят так  (fortune): 
 
One nuclear bomb can ruin your whole day. 
________________________________________________________________________
С уважением Хихин Руслан 

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [devel] packages.altlinux.org search

[Michael Shigorin]

On Wed, Jun 22, 2016 at 08:01:05PM +0300, Igor Zubkov wrote:
> Отключил бесшовную миграцию индекса. Должно полегчать.
> Только теперь пару минут в день поиск будет недоступен.
> Я думаю, что мы переживём. :)

Спасибо!  Тоже так думаю :)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] packages.altlinux.org search

[Sergey Afonin]

On Wednesday 22 June 2016, Igor Zubkov wrote:

> [Wed Jun 22 20:18:14.236 2016] [ 1884] WARNING: rotating index
> 'srpm_core': prealloc: mmap() failed: Cannot allocate memory
> (length=8890869); using old index
> 
> Мы упирались в память и не обновляли данные в индексе для поиска.

Это OVZ-контейнер, или что ? Если контейнер, то полезно мониторить
/proc/user_beancounters на предмет темпа роста значений.

-- 
С уважением, Сергей Афонин.