[devel] HDF5: not yet set-versioned

[devel] HDF5: not yet set-versioned

[REAL]

Привет!

При сборке с libhdf5 в логе пишется:

lib.req: WARNING: libhdf5.so.6()(64bit) is not yet set-versioned

Сама libhdf5 собрана с set-versioned:
http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-seq-1.8.3-alt5
http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-mpi-1.8.3-alt8

Библиотека представляется альтернативами.

Вероятно, причина в
http://git.altlinux.org/people/real/packages/libhdf5.git?p=libhdf5.git;a=blob;f=libhdf5.spec;h=98b86ae1f38eaa06ae01f0357415969c62e28ced;hb=refs/heads/master

строки 25-35

Как исправить ситуацию?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 598 bytes --]

On Tue, Oct 26, 2010 at 03:00:54PM +0800, REAL wrote:
> При сборке с libhdf5 в логе пишется:
> 
> lib.req: WARNING: libhdf5.so.6()(64bit) is not yet set-versioned
> 
> Сама libhdf5 собрана с set-versioned:
> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-seq-1.8.3-alt5
> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-mpi-1.8.3-alt8
> 
> Библиотека представляется 
> альтернативами.

Что значит "библиотека представляется альтернативами"?
Более чем один пакет реализует один soname?  Тогда это неправильно.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
>> Сама libhdf5 собрана с set-versioned:
>> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-seq-1.8.3-alt5
>> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-mpi-1.8.3-alt8
>>
>> Библиотека представляется 
>> альтернативами.
> 
> Что значит "библиотека представляется альтернативами"?
> Более чем один пакет реализует один soname?

Я имел в виду альтенативы ALT Linux:

начиная со строки 120

http://git.altlinux.org/people/real/packages/libhdf5.git?p=libhdf5.git;a=blob;f=libhdf5.spec;h=98b86ae1f38eaa06ae01f0357415969c62e28ced;hb=HEAD

> Тогда это неправильно.

Я что-то не так понял здесь?
http://www.altlinux.org/%D0%9E%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D0%B8%D0%A1%D0%B1%D0%BE%D1%80%D0%BA%D0%B8%D0%9F%D0%B0%D0%BA%D0%B5%D1%82%D0%BE%D0%B2

Дело в том, что две библиотеки _должны_ реализовать один soname, а уже 
конкретный пользователь решает, что ему использовать. Для большинства 
пакетов разницы нет никакой, остальные - это кластерный софт.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1486 bytes --]

On Tue, Oct 26, 2010 at 03:15:11PM +0800, REAL wrote:
> Dmitry V. Levin пишет:
> >>Сама libhdf5 собрана с set-versioned:
> >>http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-seq-1.8.3-alt5
> >>http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-mpi-1.8.3-alt8
> >>
> >>Библиотека представляется 
> >>альтернативами.
> >
> >Что значит "библиотека представляется 
> >альтернативами"?
> >Более чем один пакет реализует один soname?
> 
> Я имел в виду альтенативы ALT Linux:
> 
> начиная со строки 120
> 
> http://git.altlinux.org/people/real/packages/libhdf5.git?p=libhdf5.git;a=blob;f=libhdf5.spec;h=98b86ae1f38eaa06ae01f0357415969c62e28ced;hb=HEAD
> 
> >Тогда это неправильно.
> 
> Я что-то не так понял здесь?
> http://www.altlinux.org/%D0%9E%D1%81%D0%BE%D0%B1%D0%B5%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D0%B8%D0%A1%D0%B1%D0%BE%D1%80%D0%BA%D0%B8%D0%9F%D0%B0%D0%BA%D0%B5%D1%82%D0%BE%D0%B2
> 
> Дело в том, что две библиотеки _должны_ 
> реализовать один soname, а уже конкретный 
> пользователь решает, что ему 
> использовать. Для большинства пакетов 
> разницы нет никакой, остальные - это 
> кластерный софт.

Когда soname вытягиваются по зависимостям, каким образом вы будете
контролировать этот процесс и определять, какой пакет будет поставлен?
Например, ваш пакет использует libfoo.so.0 >= set:deadbeaf, и есть два
пакета, предоставляющих libfoo.so.0 = set:deadbeafandsomethingelse.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
> Когда soname вытягиваются по зависимостям, каким образом вы будете
> контролировать этот процесс и определять, какой пакет будет поставлен?

Если ни одного варианта ещё не стоит, вытянется libhdf5-seq, с ним и 
будут работать. Если же установлена libhdf5-mpi, ничего уже 
вытягиваться не будет (потому что в libhdf5-seq подмножество того, что 
предоставляет libhdf5-mpi).

Иными словами, обычные пользователи почти всегда будут иметь дело 
только с libhdf5-seq, а те, кому нужны параллельные вычисления, снесут 
его (если уже стоит) и заменят на libhdf5-mpi.

Таков был замысел, и он был реализован. Проблема появилась с 
set-versioned, и я пока не понял смысла увода разговора в сторону.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1204 bytes --]

On Tue, Oct 26, 2010 at 03:00:54PM +0800, REAL wrote:
> Привет!
> 
> При сборке с libhdf5 в логе пишется:
> 
> lib.req: WARNING: libhdf5.so.6()(64bit) is not yet set-versioned
> 
> Сама libhdf5 собрана с set-versioned:
> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-seq-1.8.3-alt5
> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/libhdf5-6-mpi-1.8.3-alt8

Однако set-versioned provides в них нет:

$ rpmquery -p --provides libhdf5-6-seq-1.8.3-alt5.x86_64.rpm libhdf5-6-mpi-1.8.3-alt8.x86_64.rpm | fgrep libhdf5.so.6
libhdf5.so.6()(64bit)  
/usr/lib64/libhdf5.so.6 = 30
/usr/lib64/libhdf5.so.6.0.2 = 30
libhdf5.so.6()(64bit)  
/usr/lib64/libhdf5.so.6 = 40
/usr/lib64/libhdf5.so.6.0.2 = 40

Эти библиотеки упакованы весьма нестандартным образом, и, соответственно,
для их обработки требуется весьма нестандартный подход.  Сейчас, насколько
я понимаю, lib.prov эти файлы, упакованные в
/usr/lib/hdf5-*/lib/libhdf5.so.6, просто игнорирует, а provides вида
libhdf5.so.6()(64bit) выставлены вручную.  Ну что же, вы можете и
set-versioned provides выставить вручную, конечно, но я бы вам этого
не советовал делать.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
> Эти библиотеки упакованы весьма нестандартным образом, и, соответственно,
> для их обработки требуется весьма нестандартный подход.  Сейчас, насколько
> я понимаю, lib.prov эти файлы, упакованные в
> /usr/lib/hdf5-*/lib/libhdf5.so.6, просто игнорирует,

А можно добиться, чтобы не игнорировал? И что лично мне для этого 
нужно сделать?

> а provides вида
> libhdf5.so.6()(64bit) выставлены вручную.  Ну что же, вы можете и
> set-versioned provides выставить вручную, конечно, но я бы вам этого
> не советовал делать.

Я и сам себе не советую :-D
Хотя мысль была.

А вообще странно, что для библиотек-альтернатив не работает тот же 
механизм lib.prov, что и для обычных библиотек. Вроде бы логично 
пройтись до реального файла на основе ссылки на альтернативу.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1737 bytes --]

On Tue, Oct 26, 2010 at 05:42:02PM +0800, REAL wrote:
> Dmitry V. Levin пишет:
> >Эти библиотеки упакованы весьма 
> >нестандартным образом, и, 
> >соответственно,
> >для их обработки требуется весьма 
> >нестандартный подход.  Сейчас, насколько
> >я понимаю, lib.prov эти файлы, упакованные в
> >/usr/lib/hdf5-*/lib/libhdf5.so.6, просто игнорирует,
> 
> А можно добиться, чтобы не игнорировал? И 
> что лично мне для этого нужно сделать?

lib.prov обрабатывает только те файлы, которые видит ldconfig.
И %add_findprov_lib_path в данном случае не поможет.
Так что положите ваши разделяемые библиотеки в %_libdir/
Ну или хотя бы призрачные ссылки на библиотеки:
%ghost %_libdir/lib*.so.*

> >а provides вида
> >libhdf5.so.6()(64bit) выставлены вручную.  Ну что 
> >же, вы можете и
> >set-versioned provides выставить вручную, конечно, 
> >но я бы вам этого
> >не советовал делать.
> 
> Я и сам себе не советую :-D
> Хотя мысль была.
> 
> А вообще странно, что для 
> библиотек-альтернатив не работает тот же 
> механизм lib.prov, что и для обычных 
> библиотек. Вроде бы логично пройтись до 
> реального файла на основе ссылки на 
> альтернативу.

Механизм альтернатив не вполне применим к разделяемым библиотекам.
Если две реализации одного soname отличаются по списку экспортируемых
символов, то клиент этой библиотеки, будучи слинкованным с одной
реализацией, может даже не запускаться с другой.  Механизм альтернатив
обманет не ld.so, а пользователя, у которого может оказаться нерабочий
клиент с удовлетворенными зависимостями, т.е. то самое, с чем мы боремся
с помощью set-versioned dependencies.  Так что лучше сделать
альтернативные разделяемые библиотеки конфликтующими.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
> lib.prov обрабатывает только те файлы, которые видит ldconfig.
> И %add_findprov_lib_path в данном случае не поможет.
> Так что положите ваши разделяемые библиотеки в %_libdir/

Этого мы и пытались избежать. Поэтому не вариант.

> Если две реализации одного soname отличаются по списку экспортируемых
> символов, то клиент этой библиотеки, будучи слинкованным с одной
> реализацией, может даже не запускаться с другой.

Пакет-клиент ничего не заметит, если он не собран с OpenMPI, но чуть 
ранее я писал, как решается, если собран.

> Так что лучше сделать
> альтернативные разделяемые библиотеки конфликтующими.

Вся затея по реформе сборки и была направлена на устранение 
необходимости конфликтов. В конце концов, к чему приведёт Ваше 
предложение? Если ставить libhdf5-seq, часть пакетов-клиентов OpenMPI 
будет удалена. Если же ставить libhdf5-mpi, будет удалены пакеты, 
которым OpenMPI не нужен. Оставить один вариант - libhdf5-mpi - взвоют 
люди, которым OpenMPI никуда не упёрся, но они будут вынуждены иметь 
его в системе и нередко огребать проблем.

Т.е. пока я не вижу приемлемного решения избавления от ругани на not 
set-versioned, оставлю как есть.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[REAL]

REAL пишет:
> Т.е. пока я не вижу приемлемного решения избавления от ругани на not 
> set-versioned, оставлю как есть.

Хотя нет, могу предложить радикальный вариант: оставить всё как есть: 
библиотеки лежат там, где лежат, но альтернативы убить. Но это 
потребует пересборки всех клиентских пакетов одним заданием, а на 
какие-то пакеты у меня может не быть ACL, а сделать всё это надо 
побыстрее. Если такой вариант Вас устроит, я запущу процесс.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1277 bytes --]

On Wed, Oct 27, 2010 at 10:48:25AM +0800, REAL wrote:
> Dmitry V. Levin пишет:
> >lib.prov обрабатывает только те файлы, 
> >которые видит ldconfig.
> >И %add_findprov_lib_path в данном случае не поможет.
> >Так что положите ваши разделяемые 
> >библиотеки в %_libdir/
> >Ну или хотя бы призрачные ссылки на библиотеки:
> >%ghost %_libdir/lib*.so.*
> 
> Этого мы и пытались избежать. Поэтому не вариант.

Чего вы пытались избежать, библиотек или призрачных ссылок на них?

Вот патч, слепленный наспех на коленке, который работает:

--- a/libhdf5.spec
+++ b/libhdf5.spec
@@ -120,8 +120,10 @@ mv %buildroot%hdfdir/lib/lib%oname.settings \
 # alternatives
 
 install -d %buildroot%_altdir
+mkdir -p %buildroot%_libdir
 pushd %buildroot%hdfdir/lib
 for i in $(ls *.so.*) $(ls *.settings); do
+	ln -s ../..%hdfdir/lib/$i %buildroot%_libdir/
 	echo "%_libdir/$i %hdfdir/lib/$i %priority" >> \
 		%buildroot%_altdir/%name.alternatives
 done
@@ -160,6 +162,7 @@ echo "%_pkgconfigdir/%oname.pc %_pkgconfigdir/%oname-seq.pc %priority" >> \
 
 %files
 %doc COPYING README.txt release_docs/{HISTORY*,RELEASE.txt}
+%ghost %_libdir/lib*.so.*
 %hdfdir/lib/*.so.*
 # used to show configuration at runtime
 %hdfdir/lib/libhdf5-%sover.settings


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
>>> Так что положите ваши разделяемые 
>>> библиотеки в %_libdir/
>>> Ну или хотя бы призрачные ссылки на библиотеки:
>>> %ghost %_libdir/lib*.so.*
>> Этого мы и пытались избежать. Поэтому не вариант.
> 
> Чего вы пытались избежать, библиотек или призрачных ссылок на них?

Библиотек в %_libdir

> Вот патч, слепленный наспех на коленке, который работает:

Благодарю, попробую. Похоже, так же нужно будет поступить и с libnetcdf.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[REAL]

Dmitry V. Levin пишет:
> Вот патч, слепленный наспех на коленке, который работает:

Кстати, кто-нибудь может выдать список пакетов, при сборке которых 
возникает ругань "not yet set-versioned" на libhdf5 и libnetcdf?

Я понимаю, что можно пройтись по 
http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/
но меня убьют за трафик.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1518 bytes --]

On Wed, Oct 27, 2010 at 01:29:46PM +0800, REAL wrote:

R> Кстати, кто-нибудь может выдать список пакетов, при сборке которых 
R> возникает ругань "not yet set-versioned" на libhdf5 и libnetcdf?
R> Я понимаю, что можно пройтись по 
R> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/
R> но меня убьют за трафик.

$ grep hdf5 * | grep 'not yet'
adios-1.2.1-alt2:lib.req: WARNING: libhdf5.so.6()(64bit) is not yet
set-versioned
cgns-seq-3.0.8-alt1.svn20100525.2:lib.req: WARNING: libhdf5.so.6()(64bit)
is not yet set-versioned
cgns-seq-3.0.8-alt1.svn20100525.2:lib.req: WARNING: libhdf5.so.6()(64bit)
is not yet set-versioned
gdal-1.7.1-alt3:lib.req: WARNING: libhdf5.so.6()(64bit) is not yet
set-versioned
h5part-seq-1.6.2-alt2:lib.req: WARNING: libhdf5.so.6()(64bit) is not yet
set-versioned
labplot-2.0.0-alt4.svn20090921.3:lib.req: WARNING: libhdf5.so.6()(64bit)
is not yet set-versioned
libmathgl-1.10-alt2.1:lib.req: WARNING: libhdf5.so.6()(64bit) is not yet
set-versioned
libnetcdf6-seq-4.0.1-alt7:lib.req: WARNING: libhdf5.so.6()(64bit) is not
yet set-versioned
libnetcdf6-seq-4.0.1-alt7:lib.req: WARNING: libhdf5_hl.so.6()(64bit) is
not yet set-versioned
pytables-2.3b1-alt1.svn20100707.2:lib.req: WARNING: libhdf5.so.6()(64bit)
is not yet set-versioned
udav-0.6-alt2:lib.req: WARNING: libhdf5.so.6()(64bit) is not yet
set-versioned

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Денис Смирнов пишет:
> R> Кстати, кто-нибудь может выдать список пакетов, при сборке которых 
> R> возникает ругань "not yet set-versioned" на libhdf5 и libnetcdf?
> R> Я понимаю, что можно пройтись по 
> R> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/
> R> но меня убьют за трафик.
> 
> $ grep hdf5 * | grep 'not yet'
[...]

Огромное спасибо!

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[REAL]

Денис Смирнов пишет:
> R> Кстати, кто-нибудь может выдать список пакетов, при сборке которых 
> R> возникает ругань "not yet set-versioned" на libhdf5 и libnetcdf?
> R> Я понимаю, что можно пройтись по 
> R> http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/
> R> но меня убьют за трафик.
> 
> $ grep hdf5 * | grep 'not yet'

Только ещё желательно
$ grep netcdf * | grep 'not yet'

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] HDF5: not yet set-versioned

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1037 bytes --]

On Wed, Oct 27, 2010 at 01:34:54PM +0800, REAL wrote:

R> Только ещё желательно
R> $ grep netcdf * | grep 'not yet'

$ grep netcdf * | grep 'not yet'
adios-1.2.1-alt2:lib.req: WARNING: libnetcdf.so.6()(64bit) is not yet
set-versioned
grace-5.1.22-alt6:lib.req: WARNING: libnetcdf.so.6()(64bit) is not yet
set-versioned
labplot1.6-1.6.0.2-alt2.qa1:lib.req: WARNING: libnetcdf.so.6()(64bit) is
not yet set-versioned
labplot-2.0.0-alt4.svn20090921.3:lib.req: WARNING: libnetcdf.so.6()(64bit)
is not yet set-versioned
opendx-4.4.4-alt1:lib.req: WARNING: libnetcdf.so.6()(64bit) is not yet
set-versioned
opendx-4.4.4-alt1:lib.req: WARNING: libnetcdf.so.6()(64bit) is not yet
set-versioned
python-module-pycdf-0.6_0-alt3:lib.req: WARNING: libnetcdf.so.6()(64bit)
is not yet set-versioned
python-module-Scientific-2.9.0-alt1:lib.req: WARNING:
libnetcdf.so.6()(64bit) is not yet set-versioned


-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] HDF5: not yet set-versioned

[REAL]

Денис Смирнов пишет:
> R> Только ещё желательно
> R> $ grep netcdf * | grep 'not yet'
> 
> $ grep netcdf * | grep 'not yet'

Отлично!

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ