[devel] postmortem p7 import at packages.altlinux.org

[devel] postmortem p7 import at packages.altlinux.org

[Igor Zubkov]

Hi,

Я обещал рассказать почему p7 так долго заливался и что пошло не так.

Начнём с теории. Как вообще пакеты заливаются и что происходит на
фоне. После сохранения пакета в базу, в терминологии ruby on rails это
событие (callback) называет after_save, вызывается sphinx который
обновляет delta индекс. В обычном случае, индекс пересчитывается на
лету очень быстро и дальше идёт импорт следующего пакета. Так
происходит для пакетов с исходниками и дальше для бинарных пакетов.
Это индекс (для ускорения) пересчитывается каждую ночь. В это время
поиск не доступен. Раньше он просто показывал 500-страницу, сейчас
говорит о том что индекс перестраивается и попробуйте позже. Это
занимает примерно 10 минут. Было бы классно сделать так что бы когда
он пересчитывал весь индекс, sphinx отдавал данные из старого. Но у
нового плагина thinking-sphinx (через который работает весь поиск)
версии 3.x почему такой опции больше нет.

Что же пошло не так. Как раз из-за дельта индексов всё и
застопорилось. В начале всё было ещё быстро, данные добавились в базу
и пересчитался дельта индекс. Чем больше пакетов влилось, тем
медленнее пересчитывается этот дельта индекс. Получалось на один пакет
пересчёт всего дельта индекса который к тому моменты стал очень
большим. Пришлось вмешаться в этот процесс, остановить его, добавить
код который отключал дельта индексы при заливке и пересчитывал их
после. И через день всё заработало.

На будущее, packages.altlinux.org выдержит добавление нового бранча
(t7 ведь будет?) и по времени это займёт несколько дней.
Соответствующие изменения в од я добавлю.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] postmortem p7 import at packages.altlinux.org

[Igor Zubkov]

2013/5/26 Igor Zubkov:
> На будущее, packages.altlinux.org выдержит добавление нового бранча
> (t7 ведь будет?) и по времени это займёт несколько дней.
> Соответствующие изменения в од я добавлю.

Пофиксил https://github.com/biow0lf/prometheus2.0/commit/cae285c0f1070d2edb3335a454164525b423b313

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] postmortem p7 import at packages.altlinux.org

[Igor Zubkov]

2013/10/24 Igor Zubkov:
> 2013/5/26 Igor Zubkov:
>> На будущее, packages.altlinux.org выдержит добавление нового бранча
>> (t7 ведь будет?) и по времени это займёт несколько дней.
>> Соответствующие изменения в од я добавлю.
>
> Пофиксил https://github.com/biow0lf/prometheus2.0/commit/cae285c0f1070d2edb3335a454164525b423b313

Тестовый импорт Сизифа на localhost (старенький thinkpad sl510 на
pentium dual core) показал поразительные результаты по скорости. 21
час. Это против недели (или даже больше) импорта p7 на более мощном
железе на packages.altlinux.org.

-- 
Igor Zubkov
http://hi.im/ice