[sisyphus] sedna package

[sisyphus] sedna package

[Andrey Fomichev]

Добрый день!

Я когда-то сюда писал и хотел сделать пакет для XML СУБД Sedna.
Как говорится, не прошло и года (мы выпустили официальную версию 0.4),
я сделал первую версию пакета. Буду признателен, если кто-нибудь это
посмотрит и выскажет свои замечания (я думаю замечаний должно быть
очень много, т.к.у меня нет никакого опыта сборки пакетов и тем более
для ALT Linux).

Пакет доступен по следующему адресу:
http://modis.ispras.ru/FTPContent/tmp/sedna-0.4.59-alt1.i586.rpm
http://modis.ispras.ru/FTPContent/tmp/sedna-0.4.59-alt1.src.rpm

Несколько слов о том, что делать с Седной после установки. В текущей
версии (возможно потом изменится) надо:
1. добавить /usr/local/sedna/bin в переменную PATH (или пользоваться
   абсолютными путями)
2. установить переменную окружения SEDNA_HOME равной
   /usr/local/sedna

Далее рекомендуется воспользоваться файлом
/usr/local/sedna/doc/QuickStart.pdf (3 страницы на английском, читается
за 5 минут), чтобы понять что нужно запускать.
Прежде чем запускать, посмотрите вопрос 1, а то работать не будет.

У меня еще есть ряд вопросов, которые возникли при создании пакета.
1. Этот вопрос, пожалуй самый важный. Дело в том, что в Седне используется
разделяемая память, а отношение ALT Linux к разделяемой памяти отклоняется
от стандарта. А именно, разделяемая память уничтожается, когда он нее
отключается последний клиент (что противоречит стандарту). Чтобы ALT Linux
вел себя в соответствии со стандартом надо изменить файл

/proc/sys/kernel/shm_destroy_unused

так, чтобы он содержал 0 вместо 1. Помогает до следующей перезагрузки.
Соответственно, вопрос -- что с этим делать? И почему ALT так нестандартно
относится к разделяемой памяти?

2. Сейчас Седна устанавливается в /usr/local/sedna. Там есть каталог bin с
бинарными файлами. Естественно, путь туда не прописан и Седну можно
запускать
либо указывая полный путь, либо необходимо добавить/usr/local/sedna/bin в
PATH.
Не очень красиво, что уж там говорить, но может нормально для такого
приложения
(не команда ls все-таки)? Или стоит создать линки для бинарников в
/usr/local/bin?
Или что-то еще?

3. Для работы Седны необходима установленная переменная SEDNA_HOME. Без нее
ничего
работать не будет. Сейчас ее должен устанавливать пользователь. Это
нормально или
здесь надо что-то делать?

С уважением,
Андрей

=======================================
Andrey Fomichev (fomichev at ispras.ru)
Sedna Team (http://modis.ispras.ru)
=======================================

[sisyphus] Re: sedna package

[Michael Shigorin]

On Tue, May 03, 2005 at 06:44:48PM +0400, Andrey Fomichev wrote:
> Несколько слов о том, что делать с Седной после установки.
> В текущей версии (возможно потом изменится) надо:

Однозначно изменится, если хочется красивый культурный пакет :-)

> 1. добавить /usr/local/sedna/bin в переменную PATH (или
>     пользоваться абсолютными путями)
> 2. установить переменную окружения SEDNA_HOME равной
>    /usr/local/sedna

Лучше поселить в /usr/lib/sedna или /usr/share/sedna в
зависимости от платформозависимости (ой), см. тж. документацию
в пакете fhs.

/usr/local -- это не для установленного из пакетов, а для
самосбора.

> У меня еще есть ряд вопросов, которые возникли при создании пакета.
> 1. Этот вопрос, пожалуй самый важный. Дело в том, что в Седне
> используется разделяемая память, а отношение ALT Linux к
> разделяемой памяти отклоняется от стандарта. А именно,
> разделяемая память уничтожается, когда он нее отключается
> последний клиент (что противоречит стандарту). Чтобы ALT Linux
> вел себя в соответствии со стандартом надо изменить файл
> /proc/sys/kernel/shm_destroy_unused так, чтобы он содержал 0
> вместо 1. Помогает до следующей перезагрузки.  Соответственно,
> вопрос -- что с этим делать?

В документацию добавить:

---
Для использования на системах Linux с применённым к ядру
Openwall-патчем следует добавить в файл /etc/sysctl.conf строку

kernel.shm_destroy_unused = 0

и выполнить команду

sysctl -2 kernel.shm_destroy_unused=0
---

> И почему ALT так нестандартно относится к разделяемой памяти?

Секьюрити.  Зуб не дам, но _кажется_, там была неопределённость в
стандарте, которая вкупе с иными вескими причинами повлияла на
решение Solar Designer.

Спросите vsu@.

> Седну можно запускать либо указывая полный путь, либо
> необходимо добавить/usr/local/sedna/bin в PATH.  Не очень
> красиво, что уж там говорить, но может нормально для такого
> приложения (не команда ls все-таки)? Или стоит создать линки
> для бинарников в /usr/local/bin?  Или что-то еще?

Куда бы не поселили -- смысл в симлинке есть.  Только в /usr/bin
или /usr/sbin, наверное.

> 3. Для работы Седны необходима установленная переменная
> SEDNA_HOME. Без нее ничего работать не будет. Сейчас ее должен
> устанавливать пользователь. Это нормально или здесь надо что-то
> делать?

~> cat /etc/profile.d/less.sh 
if [ -z "$LESS" ]; then
        export LESS=-MM
fi

if [ -z "$LESSKEY" -a ! -f "$HOME/.less" ]; then
        export LESSKEY=/etc/.less
fi

if [ -z "$LESSOPEN" -a -x /usr/share/less/lesspipe.sh ]; then
        export LESSOPEN="|/usr/share/less/lesspipe.sh %s"
fi

Порой такие пакеты предлагают перелогиниться в %post:
http://sisyphus.ru/srpm/lilypond/spec

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] sedna package

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 3409 bytes --]

On Tue, May 03, 2005 at 06:44:48PM +0400, Andrey Fomichev wrote:
[skip]
> У меня еще есть ряд вопросов, которые возникли при создании пакета.
> 1. Этот вопрос, пожалуй самый важный. Дело в том, что в Седне используется
> разделяемая память, а отношение ALT Linux к разделяемой памяти отклоняется
> от стандарта. А именно, разделяемая память уничтожается, когда он нее
> отключается последний клиент (что противоречит стандарту). Чтобы ALT Linux
> вел себя в соответствии со стандартом надо изменить файл
> 
> /proc/sys/kernel/shm_destroy_unused
> 
> так, чтобы он содержал 0 вместо 1. Помогает до следующей перезагрузки.
> Соответственно, вопрос -- что с этим делать? И почему ALT так нестандартно
> относится к разделяемой памяти?

Уничтожение неиспользуемых сегментов разделяемой памяти добавляется патчем
Openwall (http://www.openwall.com/linux/); такое поведение включается
опцией конфигурации ядра CONFIG_HARDEN_SHM.  А вот возможность отключения
уничтожения таких сегментов через /proc/sys/kernel/shm_destroy_unused,
похоже, есть только в ALT (добавляется дополнительным патчем после
Openwall).

Проблема с SysV shared memory в том, что поведение по умолчанию
(сохранение неиспользуемых сегментов) приводит к невозможности контроля за
потреблением системных ресурсов (поскольку такие сегменты не связаны ни с
одним процессом).  Во многих случаях применения разделяемой памяти
существует серверный процесс, который не завершается продолжительное
время; если этот процесс поддерживает подключение к сегментам разделяемой
памяти, проблем с CONFIG_HARDEN_SHM не возникает.  Кстати, зачастую при
аварийном завершении такого серверного процесса приходится вручную удалять
старые сегменты перед его перезапуском - в этом случае CONFIG_HARDEN_SHM
даже помогает.

> 2. Сейчас Седна устанавливается в /usr/local/sedna. Там есть каталог bin
> с бинарными файлами. Естественно, путь туда не прописан и Седну можно
> запускать либо указывая полный путь, либо необходимо
> добавить/usr/local/sedna/bin в PATH.  Не очень красиво, что уж там
> говорить, но может нормально для такого приложения (не команда ls
> все-таки)? Или стоит создать линки для бинарников в /usr/local/bin?  Или
> что-то еще?

rpm-пакет вообще не должен писать что-либо в /usr/local - этот каталог
зарезервирован для программ, установленных без использования менеджера
пакетов.  Программы из rpm-пакетов ставятся в /usr.

Кроме того, имена исполняемых файлов sedna вступают в конфликт с другими
пакетами:

/usr/bin/cdb	tinycdb
/usr/bin/sm     inn
trn - в Сизифе нет, но была такая читалка новостей: http://trn.sf.net/
smsd - можно наступить на http://freshmeat.net/projects/smsd/

Обычно в подобных случаях в начало приписывают название проекта.

> 3. Для работы Седны необходима установленная переменная SEDNA_HOME. Без
> нее ничего работать не будет. Сейчас ее должен устанавливать
> пользователь. Это нормально или здесь надо что-то делать?

Как я понял, при этом данные хранятся в подкаталогах $SEDNA_HOME.  Это
плохо (в частности, программы при своей работе не должны писать куда-либо
в /usr - соответствующая ФС может быть смонтирована только для чтения).
Данные, изменяемые в процессе работы (в данном случае - файлы баз данных
sedna), должны находиться в /var; файлы конфигурации (настраиваемые
администратором при установке, но не меняющиеся в процессе работы) - в
/etc.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[sisyphus] [wiki] [faq] Re: sedna package

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 1408 bytes --]

On Tue, May 03, 2005 at 06:44:48PM +0400, Andrey Fomichev wrote:
> Пакет доступен по следующему адресу:
> http://modis.ispras.ru/FTPContent/tmp/sedna-0.4.59-alt1.i586.rpm
> http://modis.ispras.ru/FTPContent/tmp/sedna-0.4.59-alt1.src.rpm

Кстати, не помешало бы положить рядом спек (а в нём ещё Url:
указать).

On Tue, May 03, 2005 at 09:29:44PM +0400, Sergey Vlasov wrote:
> > Соответственно, вопрос -- что с этим делать? И почему ALT так
> > нестандартно относится к разделяемой памяти?
> Проблема с SysV shared memory в том, что поведение по умолчанию
> (сохранение неиспользуемых сегментов) приводит к невозможности
> контроля за потреблением системных ресурсов (поскольку такие
> сегменты не связаны ни с одним процессом).

http://faq.altlinux.ru/index.php?action=single&nf=1&qid=644

> > 2. Сейчас Седна устанавливается в /usr/local/sedna.
> rpm-пакет вообще не должен писать что-либо в /usr/local - этот
> каталог зарезервирован для программ, установленных без
> использования менеджера пакетов.  Программы из rpm-пакетов
> ставятся в /usr.

http://wiki.sisyphus.ru/devel/TypicalPackagingErrors
(на самом деле это не Errors, а Troubles, но поздновато слово нашёл)

PS: осталось фортунки нарезать и рекорд по реюзабельности письма
в новейшей истории можно фиксировать. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

RE: [sisyphus] Re: sedna package

[Andrey Fomichev]

Спасибо всем за ответы и рекомендации. К сожалению, мне еще не все понятно.
Поэтому я решил сформулировать все проблемы и возможные решения по
пунктам. Итак:

==========================================================================
- разделяемая память
В принципе проблема понятна и решение тоже.
Но! В Седне как раз разделяемая память живет пока живет сервер. Так что
проблема проявляется, когда останавливается сервер. А именно, выполняется
shmdt (сервер делает deattach и память автоматом закрывается) a затем
выполняется shmctl (сервер пытается закрыть уничтожить память) -- и тут
проявляется ошибка (памяти уже нет).
Короче, я могу просто закоментарить проверку корректности выполнения
shmctl для ALT Linux. Хотелось бы поставить ifdef вроде

#ifdef ALT_LINUX
// ничего не делать
#else
// проверить значение, возвращаемое shmctl
#endif

есть какая-нибудь подобная константа?

==========================================================================
- имена бинарников могут конфликтовать с именами файлов из других пакетов.
Здесь все просто. Изменим имена. Добавим префикс, скорее всего. Что-нибудь
типа 'se'

==========================================================================
- куда поместить файлы пакета?
вот это сложный вопрос. Есть несколько категорий файлов:
1. бинарные выполняемые файлы
Есть предложение поместить их в /usr/bin. Я согласен
2. есть библиотеки
Их лучше поместить в /usr/lib?
А ведь еще есть driver.jar и драйвер для языка Scheme (в исходниках, потому
что нет смысла компилировать) и потенциально драйвер для Python.
Что с ними делать?
2. есть примеры (текстовые файлы)
Куда их поместить? В /usr/share/sedna?
3. есть документация (сейчас в pdf). ее куда?
4. есть набор файлов типа README, LICENSE и т.д. их куда?

Было предложение все, кроме бинарников в /usr/share/sedna. Наверное не очень
хорошо?



==========================================================================
- куда поместить файлы базы данных?
Как я понимаю, Michael Shigorin предлагает поместить в /var.
Тогда я правильно понимаю, что данные будут лежать в /var/sedna ?
Если так, то как это сочетается с рекомендациями fhs?

Applications must generally not add directories to the top level
of /var. Such directories should only be added if they have some
system-wide implication, and in consultation with the FHS mailing list.

Что-то я прям даже не знаю. Может вообще в /proc положить?


===========================================================================


Спасибо за помощь,
Андрей

Re: [sisyphus] Re: sedna package

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 1988 bytes --]

* Andrey Fomichev <fomichev@> [050504 14:53]:
> Но! В Седне как раз разделяемая память живет пока живет сервер. Так что
> проблема проявляется, когда останавливается сервер. А именно, выполняется
> shmdt (сервер делает deattach и память автоматом закрывается) a затем
> выполняется shmctl (сервер пытается закрыть уничтожить память) -- и тут
> проявляется ошибка (памяти уже нет).
А на что влияет эта ошибка?  Можно ещё код ошибки проверить.

> Короче, я могу просто закоментарить проверку корректности выполнения
> shmctl для ALT Linux. Хотелось бы поставить ifdef вроде
Только для ALT Linux - это было бы неправильно.

> А ведь еще есть driver.jar и драйвер для языка Scheme (в исходниках, потому
> что нет смысла компилировать) и потенциально драйвер для Python.
> Что с ними делать?
/usr/share/sedna/что-нибудь

Для jar'ов помнится было стандартное место где-то в районе
/usr/share/java/...

> 2. есть примеры (текстовые файлы)
> Куда их поместить? В /usr/share/sedna?
%doc

> 3. есть документация (сейчас в pdf). ее куда?
%doc и в отдельный пакет sedna-doc

> 4. есть набор файлов типа README, LICENSE и т.д. их куда?
%doc

> Было предложение все, кроме бинарников в /usr/share/sedna. Наверное не очень
> хорошо?
Ну если этим никто больше пользоваться не будет - варум бы нихт?
Вышеописанные файлы уходят в docdir

> ==========================================================================
> - куда поместить файлы базы данных?
> Как я понимаю, Michael Shigorin предлагает поместить в /var.
> Тогда я правильно понимаю, что данные будут лежать в /var/sedna ?
> Если так, то как это сочетается с рекомендациями fhs?
/var/lib/sedna, /var/cache/sedna, /var/spool/sedna - как раз по
FHS, там же написано для чего используются конкретные каталоги.

Серверы БД, например, базы хранят в /var/lib/что-то/...

-- 
Regards, Sir Raorn.
-------------------
Если daemon, то зачем suid-root?
Если suid-root, то зачем daemon?
		-- ldv in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

RE: [sisyphus] Re: sedna package

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 669 bytes --]

On Wednesday 04 May 2005 13:52, Andrey Fomichev wrote:
> - куда поместить файлы базы данных?
> Как я понимаю, Michael Shigorin предлагает поместить в /var.
> Тогда я правильно понимаю, что данные будут лежать в /var/sedna ?
> Если так, то как это сочетается с рекомендациями fhs?
>
> Applications must generally not add directories to the top level
> of /var. Such directories should only be added if they have some
> system-wide implication, and in consultation with the FHS mailing list.
например /var/lib/sedna. или /var/cache/sedna. по ситуации.

> Что-то я прям даже не знаю. Может вообще в /proc положить?
в /proc Вы точно ничего не положите. даже если захотите.

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [sisyphus] Re: sedna package

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 718 bytes --]

On Wed, May 04, 2005 at 02:52:06PM +0400, Andrey Fomichev wrote:
> - разделяемая память
> В принципе проблема понятна и решение тоже.
> Но! В Седне как раз разделяемая память живет пока живет сервер. Так что
> проблема проявляется, когда останавливается сервер. А именно, выполняется
> shmdt (сервер делает deattach и память автоматом закрывается) a затем
> выполняется shmctl (сервер пытается закрыть уничтожить память) -- и тут
> проявляется ошибка (памяти уже нет).

В таком случае можно выполнять сначала shmctl(IPC_RMID), и только после
этого - shmdt().  По крайней мере в Linux IPC_RMID только помечает сегмент
для удаления, но реальное удаление происходит только после отсоединения
всех процессов.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

RE: [sisyphus] Re: sedna package

[Andrey Fomichev]

> On Wed, May 04, 2005 at 02:52:06PM +0400, Andrey Fomichev wrote:
> > - разделяемая память
> > В принципе проблема понятна и решение тоже.
> > Но! В Седне как раз разделяемая память живет пока живет сервер. Так что
> > проблема проявляется, когда останавливается сервер. А именно,
> выполняется
> > shmdt (сервер делает deattach и память автоматом закрывается) a затем
> > выполняется shmctl (сервер пытается закрыть уничтожить память) -- и тут
> > проявляется ошибка (памяти уже нет).
>
> В таком случае можно выполнять сначала shmctl(IPC_RMID), и только после
> этого - shmdt().  По крайней мере в Linux IPC_RMID только помечает сегмент
> для удаления, но реальное удаление происходит только после отсоединения
> всех процессов.

Так не очень хочется делать по причине того, что Седна работает еще и под
Windows. Соответственно для shmdt и shmctl есть обертки, которые под Windows
реализованы по-другому (естественно). И переставлять вызовы оберток местами
неправильно.
Эх, неужели нельзя по-простому определить вендора Linux?

[sisyphus] Re: sedna package

[Michael Shigorin]

On Wed, May 04, 2005 at 04:14:13PM +0400, Andrey Fomichev wrote:
> Эх, неужели нельзя по-простому определить вендора Linux?

Это _не_ вендор Linux.  Это особенность _ядра_.  И столкнуться с
ней Вы можете вовсе не только в ALT -- тот же ASPLinux 7.x, Owl
или кастомное 2.4.x имени местного администратора обеспечат в
точности тот же эффект, только неотрываемый, как уже упоминалось.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[sisyphus] Re: sedna package

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 337 bytes --]

On Wed, May 04, 2005 at 03:01:48PM +0400, Alexey I. Froloff wrote:
> > 4. есть набор файлов типа README, LICENSE и т.д. их куда?
> %doc

Базовую документацию обычно уместно оставить в базовом пакете.
А лицензию -- так тем более.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[sisyphus] Re: sedna package

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 777 bytes --]

On Wed, May 04, 2005 at 02:01:58PM +0300, Nick S. Grechukh wrote:
> > - куда поместить файлы базы данных?
> > Как я понимаю, Michael Shigorin предлагает поместить в /var.

Неточно выразился -- подразумевал "ниже /var".

> > Тогда я правильно понимаю, что данные будут лежать в /var/sedna ?
> > Если так, то как это сочетается с рекомендациями fhs?

Плохо :)  А /var/lib/sedna, как посоветовали -- замечательно.

> > Что-то я прям даже не знаю. Может вообще в /proc положить?
> в /proc Вы точно ничего не положите. даже если захотите.

Коль, ты гонишь ;)  kernel-modules-sedna и делай запросы через
/proc/sedna.  Правда, кто-нить да сделает ln -s /dev/arse...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]