[sisyphus] postgres 8.4

[sisyphus] postgres 8.4

[Alexey Novikov]

Доброго времени суток!

Не дождался я пока у ns@ появится время собрать новый постгрес, а
поскольку у меня намечается миграция с древнего 8.2, то 8.4 был
подходящей кандидатурой, вот и решил собрать его самостоятельно.

Итак, по адресу
ftp://ftp.gis-auto.ru/postgresql8.4-8.4.0-alt1.gitbfb56a.src.rpm
лежит сборка вчерашнего снапшота из git.postgresql.org из
8.4_STABLE бранча. Сборка основана на 8.3.7-alt2 имени ns@.
alt-specific патчи адаптированы все за исключением одного
libpq-locale, т.к. апстрим сам додумался до подобного.
Сразу оговорюсь - даже установка не тестировалась, т.ч.
может быть все что угодно. Я это предоставляю просто как
отправную точку для того, кто захочет это протолкнуть в Сизиф
(сам я этого делать в ближайшей перспективе не буду в силу
многостраничного TODO и без участия в team).

Особенности:
1. тарбол с тэга 8.4.0
2. патчи были наложены в отдельный бранч, в который потом были
смержены последние изменения апстрима (примерно по такой схеме у
нас счас собираются ядра), поэтому вместо 4-х патчей стал 1.
Изначально я хотел ограничиться только alt-specific патчами, но в
апстриме были пофикшены достаточно чувствительные вещи, типа
locale для plperl отломанного благодаря locale per db патчем.
3. собран с setproctitle, для чего пришлось запатчить
configure.in
4. в виду отсутствия готовой документации в git пришлось ее
сгенерить, в процессе чего оторвал генерацию man7 с sql-командами
и т.д. Отвалилось оно из-за пробелов в именах файлов, а фиксить
это уже было откровенно влом. Генерить man'ы пришлось через
docbook2X, что-то странное с docbook2man.
5. Теперь файлы локализации имеют вид <компонент>-8.4.mo. Не
самый удачный вариант выбрал апстрим, учитывая, что оно либо
спокойно живет вместе разных версий (libpq и libecpg), либо
конфликтует по файлам программ. Добавил файлы локализации для
pl{pgsql,perl,python,tcl}, хотя сильно сомневаюсь, что в чрут они
скопируются.

На вчерашнем (08.07.2009) Сизифе это собирается без проблем.

-- 
WBR, Alexey Novikov
XMPP: alex-novikov@jabber.ru, shader@ya.ru

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 1997 bytes --]

Alexey Novikov <shader-o+MxOtu4lMCHXe+LvDLADg@public.gmane.org> writes:

> Доброго времени суток!
>
> Не дождался я пока у ns@ появится время собрать новый постгрес, а
> поскольку у меня намечается миграция с древнего 8.2, то 8.4 был
> подходящей кандидатурой, вот и решил собрать его самостоятельно.
>
> Итак, по адресу
> ftp://ftp.gis-auto.ru/postgresql8.4-8.4.0-alt1.gitbfb56a.src.rpm
> лежит сборка вчерашнего снапшота из git.postgresql.org из
> 8.4_STABLE бранча. Сборка основана на 8.3.7-alt2 имени ns@.
Вот это-то и печально... эта сборка несёт в себе очень много
исторического мусора...

Я в эти выходные буду делать очередной подход к снаряду, надеюсь
финальный.
> alt-specific патчи адаптированы все за исключением одного
> libpq-locale, т.к. апстрим сам додумался до подобного.
Я их в этой версии вообще решил убрать по большей части. chroot приносит
много проблем. На десктопе оно не очень критично, а на сервере проще и
надёжнее настроить виртуализацию. Собсно говоря, если openvz появится
для 2.6.30 - то я и на ноуте себе сделаю OpenVZ.

Так что работу вы сделали колоссальную, но с политикой партии она будет
пересекаться. Но зато теперь вы тоже можете тестить все новые вкусняшки
из нового Pg! :)))

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Alexey Novikov]

On Thu, Jul 09, 2009 at 02:35:19PM +0400, Ivan Fedorov wrote:
> Alexey Novikov <shader-o+MxOtu4lMCHXe+LvDLADg@public.gmane.org> writes:
> 
> > Доброго времени суток!
> >
> > Не дождался я пока у ns@ появится время собрать новый постгрес, а
> > поскольку у меня намечается миграция с древнего 8.2, то 8.4 был
> > подходящей кандидатурой, вот и решил собрать его самостоятельно.
> >
> > Итак, по адресу
> > ftp://ftp.gis-auto.ru/postgresql8.4-8.4.0-alt1.gitbfb56a.src.rpm
> > лежит сборка вчерашнего снапшота из git.postgresql.org из
> > 8.4_STABLE бранча. Сборка основана на 8.3.7-alt2 имени ns@.
> Вот это-то и печально... эта сборка несёт в себе очень много
> исторического мусора...
Ну я бы не сказал, что там так уж много мусора. :)

> Я в эти выходные буду делать очередной подход к снаряду, надеюсь
> финальный.
Это не может не радовать, т.к. я как человек достаточно ленивый
предпочитаю использовать уже "готовое", а не изобретать велосипед
заново. Только хотелось бы видеть сборку не из релизных тарболов,
а все таки из гита, т.к. changelog'и в релизах не всегда хорошо отражают
изменения.

> > alt-specific патчи адаптированы все за исключением одного
> > libpq-locale, т.к. апстрим сам додумался до подобного.
> Я их в этой версии вообще решил убрать по большей части. chroot приносит
> много проблем. На десктопе оно не очень критично, а на сервере проще и
> надёжнее настроить виртуализацию. Собсно говоря, если openvz появится
> для 2.6.30 - то я и на ноуте себе сделаю OpenVZ.
Я тоже против OpenVZ ничего не имею (именно там счас и
используется) и тоже хотел бы даже на своем eeepc использовать
подобное ядро. Но тем не менее от chroot отказываться не хотелось
бы, хотя бы пока это достается достаточно малой ценой
(соответствующий патч адаптировать практически не пришлось).
Просто это разные вещи - в OpenVZ всегда остануться бинарники
пусть даже без suid/sgid, в то время как в chroot от них можно
избавиться. Комбинация этих 2-х средств позволяет серьезно
повысить безопасность особенно в тех случаях когда приходится
выставлять достаточно сложный софт в открытый доступ.

> Так что работу вы сделали колоссальную, но с политикой партии она будет
> пересекаться. Но зато теперь вы тоже можете тестить все новые вкусняшки
> из нового Pg! :)))
:)


-- 
WBR, Alexey Novikov
XMPP: alex-novikov@jabber.ru, shader@ya.ru

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 3101 bytes --]

Alexey Novikov <shader-o+MxOtu4lMCHXe+LvDLADg@public.gmane.org> writes:

>> > Не дождался я пока у ns@ появится время собрать новый постгрес, а

>> > 8.4_STABLE бранча. Сборка основана на 8.3.7-alt2 имени ns@.
>> Вот это-то и печально... эта сборка несёт в себе очень много
>> исторического мусора...
> Ну я бы не сказал, что там так уж много мусора. :)
Много, просто возможно вы ещё не смогли осознать, что это мусор. Сборку
на основе этого спека я ещё на таге 8.4beta1 делал.

>> Я в эти выходные буду делать очередной подход к снаряду, надеюсь
>> финальный.
> Это не может не радовать, т.к. я как человек достаточно ленивый
> предпочитаю использовать уже "готовое", а не изобретать велосипед
> заново. Только хотелось бы видеть сборку не из релизных тарболов,
> а все таки из гита, т.к. changelog'и в релизах не всегда хорошо отражают
> изменения.
Да, у меня сейчас всё на основе их git.

>> > alt-specific патчи адаптированы все за исключением одного
>> > libpq-locale, т.к. апстрим сам додумался до подобного.
>> Я их в этой версии вообще решил убрать по большей части. chroot приносит
>> много проблем. На десктопе оно не очень критично, а на сервере проще и
>> надёжнее настроить виртуализацию. Собсно говоря, если openvz появится
>> для 2.6.30 - то я и на ноуте себе сделаю OpenVZ.
> Я тоже против OpenVZ ничего не имею (именно там счас и
> используется) и тоже хотел бы даже на своем eeepc использовать
> подобное ядро. Но тем не менее от chroot отказываться не хотелось
> бы, хотя бы пока это достается достаточно малой ценой
> (соответствующий патч адаптировать практически не пришлось).
Адаптация патча - самая мелкая из всех проблем.

chroot мешает нормальной работе как минимум plpython, plperl,
ident-авторизации. Да и встроенные средства логгирования начинают
работать не совсем очевидным для неопытного админа образом.

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 687 bytes --]

On Thu, Jul 09, 2009 at 04:30:22PM +0400, Ivan Fedorov wrote:

IF> chroot мешает нормальной работе как минимум plpython, plperl,
IF> ident-авторизации. Да и встроенные средства логгирования начинают
IF> работать не совсем очевидным для неопытного админа образом.

Мне нравится что это сейчас рулится через control. В большинстве случаев
ни plpython ни plperl мне не нужны, а проблемы с ident авторизацией легко
лечатся. Это мы слишком крутонадежный способ придумали, на самом деле.
Ничего не мешает passwd/groups туда целиком тащить не фильтруя.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 1093 bytes --]

Денис Смирнов <mithraen-u2l5PoMzF/Uox3rIn2DAYQ@public.gmane.org> writes:

> On Thu, Jul 09, 2009 at 04:30:22PM +0400, Ivan Fedorov wrote:
>
> IF> chroot мешает нормальной работе как минимум plpython, plperl,
> IF> ident-авторизации. Да и встроенные средства логгирования начинают
> IF> работать не совсем очевидным для неопытного админа образом.
>
> Мне нравится что это сейчас рулится через control. В большинстве случаев
> ни plpython ни plperl мне не нужны, а проблемы с ident авторизацией легко
> лечатся. Это мы слишком крутонадежный способ придумали, на самом деле.
> Ничего не мешает passwd/groups туда целиком тащить не фильтруя.

ну хорошо, уговорили, я просто сменю дефолт на "CHROOT=0"! :)

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 281 bytes --]

On Fri, Jul 10, 2009 at 11:32:12PM +0400, Ivan Fedorov wrote:

IF> ну хорошо, уговорили, я просто сменю дефолт на "CHROOT=0"! :)

Принимается :)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 2067 bytes --]

Michael Bochkaryov <misha-cEuyQfHedSu4OEkr4YyIVA@public.gmane.org>
writes:

> Приветствую!
>
> 9 июля 2009 г. 13:35 пользователь Ivan Fedorov написал:
>
>     > Не дождался я пока у ns@ появится время собрать новый постгрес, а
>     > поскольку у меня намечается миграция с древнего 8.2, то 8.4 был
>     > подходящей кандидатурой, вот и решил собрать его самостоятельно.
>     >
>     > Итак, по адресу
>     > ftp://ftp.gis-auto.ru/postgresql8.4-8.4.0-alt1.gitbfb56a.src.rpm
>     > лежит сборка вчерашнего снапшота из git.postgresql.org из
>     > 8.4_STABLE бранча. Сборка основана на 8.3.7-alt2 имени ns@.
>     Вот это-то и печально... эта сборка несёт в себе очень много
>     исторического мусора...
>
>     Я в эти выходные буду делать очередной подход к снаряду, надеюсь
>     финальный.
>
>
> Можно на git.alt опубликовать текущее состояние подхода?
> А то дублировать работу уж очень не хочется.
не, пока низзя - я уже раза 3 перепиливал репо, и не хочется его из-за
этого выкладывать.

> Кстати, а каким образом удалось теги отловить в git.postgresql ?
Ты не поверишь, но по commit-log и commit-diff :)

PS: Могу лично тебе выдать репо от Pg с тэгами :)
PPS: А вообще спешить не советую - в продакшн использовать до 8.4.1 его
не стоит. Там скорее всего есть ещё куча мелких, но неприятных багов. :)

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Michael Bochkaryov]

10 июля 2009 г. 9:54 пользователь Ivan Fedorov (ns@altlinux.org) написал:

>> Кстати, а каким образом удалось теги отловить в git.postgresql ?
> Ты не поверишь, но по commit-log и commit-diff :)

Почему-то так и предполагал, что врукопашную :)

> PS: Могу лично тебе выдать репо от Pg с тэгами :)

Не откажусь :)

> PPS: А вообще спешить не советую - в продакшн использовать до 8.4.1 его
> не стоит. Там скорее всего есть ещё куча мелких, но неприятных багов. :)

Полностью согласен, но затачивать те же pgtap и pgsnmpd я бы предпочел
уже сейчас, чтобы к выходу 8.4.1 получился быстрый старт всей связки.

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [sisyphus] postgres 8.4

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 993 bytes --]

On Thu, Jul 09, 2009 at 01:56:41PM +0400, Alexey Novikov wrote:

AN> 4. в виду отсутствия готовой документации в git пришлось ее
AN> сгенерить, в процессе чего оторвал генерацию man7 с sql-командами
AN> и т.д. Отвалилось оно из-за пробелов в именах файлов, а фиксить
AN> это уже было откровенно влом. Генерить man'ы пришлось через
AN> docbook2X, что-то странное с docbook2man.

Помочь с генерацией man'ов?

AN> 5. Теперь файлы локализации имеют вид <компонент>-8.4.mo. Не
AN> самый удачный вариант выбрал апстрим, учитывая, что оно либо
AN> спокойно живет вместе разных версий (libpq и libecpg), либо
AN> конфликтует по файлам программ. Добавил файлы локализации для
AN> pl{pgsql,perl,python,tcl}, хотя сильно сомневаюсь, что в чрут они
AN> скопируются.

Была старая идея сделать возможность установки параллельно нескольких
версий постгреса.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] postgres 8.4

[Michael Bochkaryov]

11 июля 2009 г. 7:08 пользователь Денис Смирнов написал:

> AN> 5. Теперь файлы локализации имеют вид <компонент>-8.4.mo. Не
> AN> самый удачный вариант выбрал апстрим, учитывая, что оно либо
> AN> спокойно живет вместе разных версий (libpq и libecpg), либо
> AN> конфликтует по файлам программ. Добавил файлы локализации для
> AN> pl{pgsql,perl,python,tcl}, хотя сильно сомневаюсь, что в чрут они
> AN> скопируются.
>
> Была старая идея сделать возможность установки параллельно нескольких
> версий постгреса.

Идея хороша теоретически, но вот кто будет заниматься поддержкой старых версий?
Уже сейчас ветка 8.2 никого из pgsql@ не интересует, если я правильно понял.

IMHO, куда более важна возможность безболезненной миграции на новую
ветку, а также инфраструктура вокруг постгреса.

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 1926 bytes --]

Michael Bochkaryov <misha-cEuyQfHedSu4OEkr4YyIVA@public.gmane.org>
writes:

> 11 июля 2009 г. 7:08 пользователь Денис Смирнов написал:
>
>> AN> 5. Теперь файлы локализации имеют вид <компонент>-8.4.mo. Не
>> AN> самый удачный вариант выбрал апстрим, учитывая, что оно либо
>> AN> спокойно живет вместе разных версий (libpq и libecpg), либо
>> AN> конфликтует по файлам программ. Добавил файлы локализации для
>> AN> pl{pgsql,perl,python,tcl}, хотя сильно сомневаюсь, что в чрут они
>> AN> скопируются.
>>
>> Была старая идея сделать возможность установки параллельно нескольких
>> версий постгреса.
>
> Идея хороша теоретически, но вот кто будет заниматься поддержкой
> старых версий?
> Уже сейчас ветка 8.2 никого из pgsql@ не интересует, если я правильно
> понял.
Ну если я доделаю свой гит так, как пытаюсь, то в сизифе можно будет
легко поддерживать все постгресы начиная с 8.0. А так да, никому 8.2 не
интересен особо.

> IMHO, куда более важна возможность безболезненной миграции на новую
> ветку, а также инфраструктура вокруг постгреса.

Для 8.4 уже придумал offline inplace мигратор. Но он пока ессно безо
всяких гарантий хоть какого либо успеха...

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Michael Bochkaryov]

11 июля 2009 г. 13:38 пользователь Ivan Fedorov написал:
>>> Была старая идея сделать возможность установки параллельно нескольких
>>> версий постгреса.
>>
>> Идея хороша теоретически, но вот кто будет заниматься поддержкой
>> старых версий?
>> Уже сейчас ветка 8.2 никого из pgsql@ не интересует, если я правильно
>> понял.
> Ну если я доделаю свой гит так, как пытаюсь, то в сизифе можно будет
> легко поддерживать все постгресы начиная с 8.0. А так да, никому 8.2 не
> интересен особо.

Так у меня последняя сборка 8.2.13 тоже не сильно много времени отняла.
Вот только у меня 8.2 нигде уже не применяется, чтобы им заниматься.

>> IMHO, куда более важна возможность безболезненной миграции на новую
>> ветку, а также инфраструктура вокруг постгреса.
>
> Для 8.4 уже придумал offline inplace мигратор. Но он пока ессно безо
> всяких гарантий хоть какого либо успеха...

Это ты про pg-migrator?
http://pgfoundry.org/projects/pg-migrator/

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [sisyphus] postgres 8.4

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 593 bytes --]

Michael Bochkaryov <misha-cEuyQfHedSu4OEkr4YyIVA@public.gmane.org>
writes:

>>> IMHO, куда более важна возможность безболезненной миграции на новую
>>> ветку, а также инфраструктура вокруг постгреса.
>>
>> Для 8.4 уже придумал offline inplace мигратор. Но он пока ессно безо
>> всяких гарантий хоть какого либо успеха...
>
> Это ты про pg-migrator?
> http://pgfoundry.org/projects/pg-migrator/

угу...

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] postgres 8.4

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 728 bytes --]

On Sat, Jul 11, 2009 at 03:14:57PM +0300, Michael Bochkaryov wrote:

MB> Так у меня последняя сборка 8.2.13 тоже не сильно много времени отняла.
MB> Вот только у меня 8.2 нигде уже не применяется, чтобы им заниматься.

У меня кое где еще 7-ка крутится. И так как она просто "just works" и на
проблемы security меня там не интересует (нет левых локальных
пользователей, база отвечает только на unix socket и там работает только
одно написаное мною приложение) есть причины сильно задумываться выполнять
ли миграцию, если есть вероятность хоть 1 из 100 что миграция не пройдет
успешно ;)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] postgres 8.4

[Michael Bochkaryov]

11 июля 2009 г. 18:47 пользователь Денис Смирнов (mithraen@altlinux.ru) написал:
> MB> Так у меня последняя сборка 8.2.13 тоже не сильно много времени отняла.
> MB> Вот только у меня 8.2 нигде уже не применяется, чтобы им заниматься.
>
> У меня кое где еще 7-ка крутится. И так как она просто "just works" и на
> проблемы security меня там не интересует (нет левых локальных
> пользователей, база отвечает только на unix socket и там работает только
> одно написаное мною приложение) есть причины сильно задумываться выполнять
> ли миграцию, если есть вероятность хоть 1 из 100 что миграция не пройдет
> успешно ;)

Знаешь, меня во время работы в одном большом телекоме убедили в том,
что такие апгрейды делаться должны только в исключительных случаях
(работает - не трогай) ;-)

Если же приперло, то у тебя должен быть достаточный набор тесткейсов,
утвержденный во всех инстанциях. И только после полного прохождения
всех тестов можно о миграции на новую версию задумываться. И уж точно,
устраивать тесты на боевых системах крайне не рекомендовалось.

Кстати, именно по этой причине сейчас пакую pgtap.
А то наколенные скрипты с тестами задрали :)

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [sisyphus] postgres 8.4

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 808 bytes --]

On Sat, Jul 11, 2009 at 01:35:27PM +0300, Michael Bochkaryov wrote:

MB> Идея хороша теоретически, но вот кто будет заниматься поддержкой старых версий?
MB> Уже сейчас ветка 8.2 никого из pgsql@ не интересует, если я правильно понял.
MB> IMHO, куда более важна возможность безболезненной миграции на новую
MB> ветку, а также инфраструктура вокруг постгреса.

Речь о том, что если в production уже стоит, например, 8.2, то можно
позволить мягкую миграцию на 8.4, скажем. Ставится второй экземпляр
постгреса, переносится база, тестируется все это дело. Если необходимо --
то уже силами администратора обеспечивается миграция без остановки сервиса
если понадобится.


-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] postgres 8.4

[Michael Bochkaryov]

11 июля 2009 г. 18:45 пользователь Денис Смирнов (mithraen@altlinux.ru) написал:
> MB> Идея хороша теоретически, но вот кто будет заниматься поддержкой старых версий?
> MB> Уже сейчас ветка 8.2 никого из pgsql@ не интересует, если я правильно понял.
> MB> IMHO, куда более важна возможность безболезненной миграции на новую
> MB> ветку, а также инфраструктура вокруг постгреса.
>
> Речь о том, что если в production уже стоит, например, 8.2, то можно
> позволить мягкую миграцию на 8.4, скажем. Ставится второй экземпляр
> постгреса, переносится база, тестируется все это дело. Если необходимо --
> то уже силами администратора обеспечивается миграция без остановки сервиса
> если понадобится.

Я не спорю, что поддержка нескольких версий - штука полезная.
Но у меня эта задача решается установкой другой версии в соседнем контейнере.

То бишь, тема нужная, но я лично не готов ей заниматься, т.к. есть
более актуальные для меня задачи, а на все времени банально не хватит
:)

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua