[devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Igor Zubkov]

2013/1/30 Aleksey Novodvorsky:
> 30 января 2013 г., 19:45 пользователь Igor Zubkov написал:
>> 2013/1/30 Andrew Clark:
>>> On 01/30/2013 05:29 PM, REAL wrote:
>>>> привет!
>>>> то, что sisyphus.ru заброшен, знаю. но там работали обновления. теперь
>>>> обновления кто-то сломал. это кто-нибудь может исправить?
>>>
>>> А не пора ли наhttp://packages.altlinux.org/ окончательно переходить?
>>
>> На http://packages.altlinux.org/ пока нет трансфера пакетов за сутки.
>> Я пока думаю как это реализовать. Ну и для полного перехода надо
>> добиться большей стабильности p.a.o. Озвучить всё или это только меня
>> интересует?
> Конечно, озвучить.

Так, наверно хватит думать и пора написать всё что я думаю.

Начнём с sisyphus.ru. У меня давно готов код который можно запустить
на sisyphus.ru и весь траффик сразу же польётся на новый
packages.altlinux.org. В коде предусмотрено перенаправление со старых
урлов на новые. Плюс, SEO. Вся ссылочная масса переместится на
packages.altlinux.org. Это добавит ему позиций в выдаче (ну и конечно
же уберёт sisyphus.ru из неё). Более или менее, этот код готов и меня
не особо волнует. Всё что может ещё от него потребоватся, можно
дописать меньше чем за день.

Дополнительной нагрузки на меня со скидыванием на меня "нового"
sisyphus.ru не будет. Он всё равно будет стоять на heroku.com.
Ресурсов на бесплатном инстансе ему хватит, мониторить ничего не надо
(это делает сам heroku). Да и можно ещё подключить newrelic для
мониторинга скорости.

Следующий пункт, это пакетная база на которой сейчас работает
контейнер. Sisyphus крайне не стабилен что бы на нём держать ресурс от
работы которого уже сейчас много зависит (а с миграцией sisyphus.ru
станет ещё больше). p6 достаточно стабилен? Или что-то другое надо
вместо него? Если надо, я сделаю бекпорты для всего что устарело.
Скорее всего это будет redis/memcached/sphinx.

Кроме того что мне нужно знать на каком бранче (p6?) разворачивать,
мне нужен будет образ из которого будет выкатыватся контейнер что бы я
локалько обкатал это в vagrant. Или инструкции как ставить для
VirtualBox что бы получить такую же систему (vagrant использует его
для работы).

Следующий шаг это написать скрипты для разворачивания этого контейнера
с нуля через puppet. Ничего сложного, патчи для него у меня уже есть
(для правильного определения ALT Linux дистрибутива).

Ещё потребуется мелкий контейнер (тоже через puppet развёрнутый) для
штук типа nagios/ganglia/etc. Что бы это всё мониторить. Мелкий это
минимум всех ресурсов, но 512 памяти. Хотя может и меньше, на месте
посмотрим.

Ну и немного текущих проблем которые хотелось бы решить:
1. Текущий лимит на иноды не плохо было бы поднять. Иноды там утекают
из-за особеностей деплоя. Там git репозиторий и он "поедает" их
(сейчас .git весит 400 мешков).
2. Бекапы. Сейчас бекапы отключены. Из-за того что сейчас один бекап
весит 6 гигабайт -- бекапится некуда. Надо определится:
  a) Как часто делать бекапы? Сейчас бекап идёт 3 часа. Я думаю что
надо делать раз в неделю.
  б) Сколько бекапов хранить? Я думаю что два месяца. Это позволит
взять самый старый бекап и развернуть если что-то давно пошло не так.
Это 48 гигабайт + место необходимое для того что бы сделать новый.
Сейчас в контейнере 2 свободно только два.

Вроде всё. Я все вопросы задал. Задавай вопросы и давай всё это решать.

Кроме этого, я наверно сегодня решу последние проблемы со стабильостью. Ура! :)

P.S.: Майнтейнер firefox, почему проверка орфографии сломана?

P.S.S: В пакете nginx кривой logrotate скрипт:

[root@prometheus nginx]# pwd
/var/log/nginx
[root@prometheus nginx]# ls -la access.log*
-rw-r--r-- 1 prometheusapp _nginx         0 ноя 22 00:38 access.log
-rw-r--r-- 1 prometheusapp _nginx 808408177 фев 12 16:28 access.log.1
-rw-r--r-- 1 prometheusapp _nginx   2762937 ноя 21 01:11 access.log.2.bz2
-rw-r--r-- 1 prometheusapp _nginx   6315243 ноя 16 19:37 access.log.3.bz2
-rw-r--r-- 1 prometheusapp _nginx  12019308 ноя  6 19:19 access.log.4.bz2
[root@prometheus nginx]#

Получается что access.log ротейтнулся, но не зажался. И nginx в него
всё ещё пишет. Так и место когда-то закончится. Его надо рестартовать
после logrotate. Баг сейчас повешу.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Michael Shigorin]

On Tue, Feb 12, 2013 at 03:32:11PM +0200, Igor Zubkov wrote:
> Получается что access.log ротейтнулся, но не зажался. И nginx в
> него всё ещё пишет. Так и место когда-то закончится. Его надо
> рестартовать после logrotate. Баг сейчас повешу.

А теперь подумай, что будет с логами, если отодвинуть,
зажать и удалить последнее имя того файла, в который
через уже открытый fd ещё пишет какой-нить nginx.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 563 bytes --]

On Tue, Feb 12, 2013 at 03:43:56PM +0200, Michael Shigorin wrote:
> On Tue, Feb 12, 2013 at 03:32:11PM +0200, Igor Zubkov wrote:
> > Получается что access.log ротейтнулся, но не зажался. И nginx в
> > него всё ещё пишет. Так и место когда-то закончится. Его надо
> > рестартовать после logrotate. Баг сейчас повешу.
> 
> А теперь подумай, что будет с логами, если отодвинуть,
> зажать и удалить последнее имя того файла, в который
> через уже открытый fd ещё пишет какой-нить nginx.

Собственно говоря, эта фича называется delaycompress.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Igor Zubkov]

2013/2/12 Dmitry V. Levin:
> On Tue, Feb 12, 2013 at 03:43:56PM +0200, Michael Shigorin wrote:
>> On Tue, Feb 12, 2013 at 03:32:11PM +0200, Igor Zubkov wrote:
>> > Получается что access.log ротейтнулся, но не зажался. И nginx в
>> > него всё ещё пишет. Так и место когда-то закончится. Его надо
>> > рестартовать после logrotate. Баг сейчас повешу.
>>
>> А теперь подумай, что будет с логами, если отодвинуть,
>> зажать и удалить последнее имя того файла, в который
>> через уже открытый fd ещё пишет какой-нить nginx.
>
> Собственно говоря, эта фича называется delaycompress.

Что-то я не понимаю как это должно работать. По шагам:
[root@prometheus ~]# ls -la /var/log/nginx/access.log*
-rw-r--r-- 1 prometheusapp _nginx         0 ноя 22 00:38
/var/log/nginx/access.log
-rw-r--r-- 1 prometheusapp _nginx 808817073 фев 12 17:29
/var/log/nginx/access.log.1
-rw-r--r-- 1 prometheusapp _nginx   2762937 ноя 21 01:11
/var/log/nginx/access.log.2.bz2
-rw-r--r-- 1 prometheusapp _nginx   6315243 ноя 16 19:37
/var/log/nginx/access.log.3.bz2
-rw-r--r-- 1 prometheusapp _nginx  12019308 ноя  6 19:19
/var/log/nginx/access.log.4.bz2
[root@prometheus ~]#

Есть новый access.log который сейчас пустой. Есть старый access.log.1.
И есть более старый access.log.2 который от 21 ноября уже прошлого
года.

Есть:
[root@prometheus ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
exec /usr/sbin/logrotate /etc/logrotate.conf
[root@prometheus ~]# service crond status
crond is running
[root@prometheus ~]#

Т.е. есть /etc/cron.daily/logrotate и запущенный сервис crond.

[root@prometheus ~]# cat /etc/logrotate.d/nginx
/var/log/nginx/*log {
    missingok
    notifempty
    sharedscripts
    delaycompress
    create 0644 root _nginx
    postrotate
        /sbin/service nginx rotate >/dev/null
    endscript
}
[root@prometheus ~]#

Хорошо, тут есть delaycompress. И вызов service nginx rotate. В
/etc/init.d/nginx:
        rotate)
                msg_reloading nginx
                stop_daemon --pidfile "$PIDFILE" --expect-user root
-USR1 -- nginx

Согласно документации, USR1 должен заставить сделать "Reopen the log files".

[root@prometheus ~]# cat /var/log/syslog/messages | grep cron.daily
Feb 11 00:38:01 prometheus crond[32444]: (root) CMD (run-parts /etc/cron.daily)
Feb 12 00:38:01 prometheus crond[28609]: (root) CMD (run-parts /etc/cron.daily)
[root@prometheus ~]#

Согласно логам crond, он запустил /etc/cron.daily.

[root@prometheus ~]# /etc/init.d/nginx rotate
Reloading nginx service: [ DONE ]
[root@prometheus ~]#

И ничего не происходит. Делаем в упор:

[root@prometheus ~]# kill -s USR1 `cat /var/run/nginx.pid`
[root@prometheus ~]#

Тоже не работает. На лицо баг в nginx. Повесил в upsteam:
http://trac.nginx.org/nginx/ticket/297

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Sergey Y. Afonin]

On Tuesday 12 February 2013, Michael Shigorin wrote:

> > Получается что access.log ротейтнулся, но не зажался. И nginx в
> > него всё ещё пишет. Так и место когда-то закончится. Его надо
> > рестартовать после logrotate. Баг сейчас повешу.
> 
> А теперь подумай, что будет с логами, если отодвинуть,
> зажать и удалить последнее имя того файла, в который
> через уже открытый fd ещё пишет какой-нить nginx.

Надо было просто не писатть про "не зажался" :-)
Рестартовать, определённо, кого-то надо, кто должен начать
в новый лог писать.

-- 
С уважением, Сергей Афонин
asy@altlinux.ru

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Андрей Черепанов]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

12.02.2013 17:32, Igor Zubkov пишет:
> Следующий пункт, это пакетная база на которой сейчас работает 
> контейнер. Sisyphus крайне не стабилен что бы на нём держать ресурс
> от работы которого уже сейчас много зависит (а с миграцией
> sisyphus.ru станет ещё больше). p6 достаточно стабилен? Или что-то
> другое надо вместо него? Если надо, я сделаю бекпорты для всего что
> устарело. Скорее всего это будет redis/memcached/sphinx.
Лучше вскоре дождаться p7 как следующий стабильный бранч.

- -- 
Андрей Черепанов
ALT Linux
cas@altlinux.ru
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.13 (GNU/Linux)

iEYEARECAAYFAlEaSjoACgkQSGPA9Knr8TFs7gCgg/Ictm+3xGux507//+gkaqCR
yrQAoLBG5l2xrymXGVUgoDEHTlRwjDhD
=0oOw
-----END PGP SIGNATURE-----

Re: [devel] План роста packages.altlinux.org

[Michael Shigorin]

On Tue, Feb 12, 2013 at 03:32:11PM +0200, Igor Zubkov wrote:
> Дополнительной нагрузки на меня со скидыванием на меня "нового"
> sisyphus.ru не будет. Он всё равно будет стоять на heroku.com.
> Ресурсов на бесплатном инстансе ему хватит, мониторить ничего
> не надо (это делает сам heroku). Да и можно ещё подключить
> newrelic для мониторинга скорости.

IMNSHO лучше бы всё-таки не полагаться на халявность нынешнего
положения -- завтра она может закончиться либо достаточно резко
ограничиться.

> Следующий пункт, это пакетная база на которой сейчас работает
> контейнер. Sisyphus крайне не стабилен что бы на нём держать
> ресурс от работы которого уже сейчас много зависит (а с
> миграцией sisyphus.ru станет ещё больше).

Бери текущий сизиф и пока не трогай без надобности, а вскоре
перекинешь на бранч p7/t7.

> Ещё потребуется мелкий контейнер (тоже через puppet
> развёрнутый) для штук типа nagios/ganglia/etc. Что бы это всё
> мониторить. Мелкий это минимум всех ресурсов, но 512 памяти.
> Хотя может и меньше, на месте посмотрим.

Нагиос для одного контейнера -- ты точно не смеёшься?
Локальный активный monit плюс ещё один пассивный на другой
площадке в контейнере с 32M памяти и релеем под рукой -- за глаза.

> 2. Бекапы. Сейчас бекапы отключены. Из-за того что сейчас один
> бекап весит 6 гигабайт

Это полный, что ли?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] План роста packages.altlinux.org (was: Re: sisyphus.ru)

[Sergey Afonin]

On Tuesday 12 of February 2013 15:32:11 Igor Zubkov wrote:

> Кроме этого, я наверно сегодня решу последние проблемы со стабильостью. Ура! 

Что-то оно, опять, лежит... Кстати, в последнюю неделю замечал, что обновлённые
пакеты переставали находиться через поиск. quagga, mysql-workbench-gpl...

-- 
С уважением, Сергей Афонин