[devel] lost soname dependencies

[devel] lost soname dependencies

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 13641 bytes --]

После исправления зависимостей у *-devel пакетов некоторые пакеты стали
собираться в урезнной конфигурации.  Большая часть таких пакетов может
быть идентифицирована по результатам тестовой пересборки, после которой
выполняется сравнение свежепересобранных пакетов с пакетами в репозитории.
К письму приложен скрипт, который по логу сборки показывает "убывшие"
имена библиотек - т.е. зависимости, которые присутствуют в репозитории,
но отсутствуют после тестовой пересборки.  Это не очень совершенный метод
идентификации потерянных зависимостей, и это лучшее, что у нас сейчас есть.
Тем не менее, большую часть урезанных пакетов таким образом определить удаётся.

Скрипт работает так: он, очевидно, ищет в логе минус-строчки из диффа вида
-Requires: lib*.so.*
При этом если в логе есть плюс-строчки или контекст-строчки вида
+Requires: lib*.so.*
 Requires: lib*.so.*
то они отменяют соответствующие минус-строчки.

Далее, если зависимость в пакете действительно "убыла", то это может
случиться по двум причинам:
1) Зависимость соптимизировалась из-за того, что такая зависимость уже
существует в базовом подпакете (оптимизация зависимостей между подпакетами
была реализована не так давно), а у базового пакета зависимости не
изменились.  Но rpmbuild выводит в лог сборки зависимости собранных
пакетов - эти строчки начинаются с Requires или PreReq.  Тогда если
в зависимостях имя библиотеки есть, значит просто сработала оптимизация
между подпакетами.  А иначе
2) Зависимость на имя библиотеки действительно исчезла.

Скрипт заточен под x86_64.
Вот полный вывод скрипта (179 пакетов).

[apiary@ssh success]$ pwd
/home/apiary/logs/Sisyphus-x86_64/archive/2011/0320/success
[apiary@ssh success]$ for f in *; do ~/bin/lost-sonames $f; done
0ad-0.r08832-alt2	libboost_filesystem.so.1.45.0
0ad-0.r08832-alt2	libboost_signals.so.1.45.0
0ad-0.r08832-alt2	libboost_system.so.1.45.0
TiMidity++-2.13.2-alt12	libpng12.so.0
WMmp-0.10.0-alt1.1	libnsl.so.1
Xaw95-1.1-alt2.qa1	libXext.so.6
afepack-complex-1.8-alt3	libboost_program_options.so.1.46.0
afepack-real-1.8-alt3	libboost_program_options.so.1.46.0
akonadi-1.5.1-alt1	libboost_program_options.so.1.46.0
allegro4.4-4.4.1.1-alt1	libXxf86vm.so.1
amide-0.9.2-alt1	libgcc_s.so.1
amide-0.9.2-alt1	libmdc.so.2
amide-0.9.2-alt1	libstdc++.so.6
amide-0.9.2-alt1	libz.so.1
antico-deluxe-0.1.96-alt1	libao.so.2
apg-2.2.3-alt3	libnsl.so.1
aria2-1.10.8-alt1	libz.so.1
asc-2.4.0.0-alt1.1	libboost_regex.so.1.45.0
avogadro-1.0.1-alt2	libboost_python.so.1.46.0
awn-extras-0.4.0-alt2	libXfixes.so.3
bombono-dvd-1.0.1-alt1.1	libboost_filesystem.so.1.46.0
bombono-dvd-1.0.1-alt1.1	libboost_regex.so.1.46.0
bombono-dvd-1.0.1-alt1.1	libboost_system.so.1.46.0
bs2b-3.1.0-alt1.2	libstdc++.so.6
bzflag-2.0.16-alt1	libz.so.1
calibre-0.7.9-alt2	libpoppler.so.7
cdrdao-1.2.3-alt2	libao.so.2
cherokee-1.2.1-alt1	libcrypto.so.10
cherokee-1.2.1-alt1	libssl.so.10
claws-mail-3.7.8-alt1	libgcrypt.so.11
claws-mail-3.7.8-alt1	libgnutls.so.26
clisp-1:2.48-alt1	libsigsegv.so.0
collectd-4.10.2-alt5	libgobject-2.0.so.0
compiz-fusion-plugins-extra-0.8.6-alt2	libgobject-2.0.so.0
cups-1.4.6-alt2	libslp.so.1
dealii-complex-7.1-alt1.pre.svn20110121.1	libboost_thread.so.1.46.0
dealii-real-7.1-alt1.pre.svn20110121.1	libboost_thread.so.1.46.0
devil-1.7.8-alt1	liballeg.so.4.2
dia-0.97.1-alt2	libpng12.so.0
dolfin-complex-0.9.9-alt1.bzr20101201.1	libboost_filesystem.so.1.46.0
dolfin-complex-0.9.9-alt1.bzr20101201.1	libboost_program_options.so.1.46.0
dolfin-complex-0.9.9-alt1.bzr20101201.1	libboost_system.so.1.46.0
dolfin-complex-0.9.9-alt1.bzr20101201.1	libboost_thread.so.1.46.0
dolfin-real-0.9.9-alt1.bzr20101201.1	libboost_filesystem.so.1.46.0
dolfin-real-0.9.9-alt1.bzr20101201.1	libboost_program_options.so.1.46.0
dolfin-real-0.9.9-alt1.bzr20101201.1	libboost_system.so.1.46.0
dolfin-real-0.9.9-alt1.bzr20101201.1	libboost_thread.so.1.46.0
dumb-0.9.3-alt1.qa1	liballeg.so.4.2
easytag-2.1.6-alt7	libgcc_s.so.1
emu51-0.0.3-alt1	liballeg.so.4.2
epsoneplijs-0.4.0-alt1	libusb-0.1.so.4
fbv-1.0b-alt2	libungif.so.4
festival-2.0.95-alt1	libasound.so.2
flac123-0.0.11-alt1	libao.so.2
flphoto-1.3.1-alt4	libfltk.so.1.1
flphoto-1.3.1-alt4	libfltk_images.so.1.1
flpsed-0.5.2-alt1	libfltk.so.1.1
freeorion-0.3.15-alt1.svn3727.1	libboost_filesystem.so.1.46.0
freeorion-0.3.15-alt1.svn3727.1	libboost_python.so.1.46.0
freeorion-0.3.15-alt1.svn3727.1	libboost_serialization.so.1.46.0
freeorion-0.3.15-alt1.svn3727.1	libboost_signals.so.1.46.0
freeorion-0.3.15-alt1.svn3727.1	libboost_system.so.1.46.0
freeorion-0.3.15-alt1.svn3727.1	libboost_thread.so.1.46.0
frei0r-plugins-1.2.1-alt1	libopencv_core.so.2.1
frei0r-plugins-1.2.1-alt1	libopencv_imgproc.so.2.1
frei0r-plugins-1.2.1-alt1	libopencv_objdetect.so.2.1
frei0r-plugins-1.2.1-alt1	libopencv_video.so.2.1
frogatto-1.0.3-alt1.1	libboost_regex.so.1.45.0
frogatto-1.0.3-alt1.1	libboost_system.so.1.45.0
fuse-encfs-1.7.2-alt1.1	libboost_serialization.so.1.45.0
fuse-encfs-1.7.2-alt1.1	libboost_system.so.1.45.0
getstream-20100816-alt1	libevent-1.4.so.2
ghostscript-9.01-alt1	libpng12.so.0
gigi-0.7.0-alt4.svn813.1	libboost_filesystem.so.1.46.0
gigi-0.7.0-alt4.svn813.1	libboost_signals.so.1.46.0
gigi-0.7.0-alt4.svn813.1	libboost_system.so.1.46.0
gigi-0.7.0-alt4.svn813.1	libboost_thread.so.1.46.0
gimp-2.6.11-alt3	libXfixes.so.3
gimp-plugin-dcamnoise2-0.64-alt1	libstdc++.so.6
gimp-plugin-voronoi-2.2-alt1	libdl.so.2
gimp-plugin-voronoi-2.2-alt1	libz.so.1
givertcap-1.0-alt4.1.1	libstdc++.so.6
glob2-0.9.4.4-alt1.qa1.1	libboost_thread.so.1.45.0
gnome-applets-file-browser-0.6.1-alt1	libgnome-2.so.0
gnome-applets-file-browser-0.6.1-alt1	libgnomeui-2.so.0
gnustep-make-libFoundation-1.11.0-alt0.1	libc.so.6
grip-20090606:3.1.3-alt12	libstdc++.so.6
gsasl-1.4.4-alt1	libgcrypt.so.11
gst-plugins-bad-0.10.21-alt1	libpng12.so.0
gst-plugins-good-0.10.27-alt1	libpng12.so.0
gst-plugins-good-0.10.27-alt1	libz.so.1
gtkwave-3.3.0-alt4	libz.so.1
herrie-2.2-alt3	libmodplug.so.0
html2text-1.3.2a-alt2	libm.so.6
hugin-2010.4.0-alt1.1	libboost_regex.so.1.45.0
hugin-2010.4.0-alt1.1	libboost_signals.so.1.45.0
hugin-2010.4.0-alt1.1	libboost_system.so.1.45.0
hugin-2010.4.0-alt1.1	libboost_thread.so.1.45.0
hugs98-20060921-alt5	libalut.so.0
hugs98-20060921-alt5	libopenal.so.0
icecast-2.3.2-alt3.1	libssl.so.10
inkscape-0.48.0-alt2	libpoppler.so.12
jack_mixer-9-alt1	libpthread.so.0
jikes-1.22-alt1.1	libm.so.6
kannel-1.5.0-alt1.cvs20091101.1	libcrypto.so.10
kannel-1.5.0-alt1.cvs20091101.1	libssl.so.10
kde4edu-4.6.1-alt1	libboost_python.so.1.46.0
koffice-4:2.3.3-alt1	libpoppler.so.12
konversation-1.3.1-alt1	libkutils.so.4
krb5user-0.1.2-alt2.1.1	libboost_python.so.1.45.0
ladspa-blop-plugins-0.2.8-alt2	libm.so.6
lemmings-pp-20100311-alt1	liballeg.so.4.2
libcaca-0.99-alt11.beta16	libz.so.1
libfprint-0.2.0-alt2	libMagickCore.so.4
libgegl-0.1.6-alt1	libpng12.so.0
libggz-0.0.14.1-alt2	libgcrypt.so.11
libguichan-0.8.2-alt2	liballeg.so.4.2
libprojectM-2.0.1-alt1	libftgl.so.0
libpt-2.6.7-alt1.qa1	libsasl2.so.2
libv-1.90-alt7	libGLw.so.1
lp_server-1.1.6-alt1	libnet.so.2
lp_server-1.1.6-alt1	libnsl.so.1
manedit-1.2.1-alt1.qa1	libX11.so.6
manedit-1.2.1-alt1.qa1	libstdc++.so.6
matanza-0.13-alt2	libnsl.so.1
memcacheq-0.1.1-alt2	libevent.so.1
moc-2.5.0-alt0.7	libmodplug.so.0
mod_auth_pam-1.1.1-alt1	libdl.so.2
monica-3.7-alt2	libfltk.so.1.1
mpg321-0.2.11-alt1	libao.so.2
mpgtx-1.3.1-alt1	libm.so.6
mures-0.5-alt5.qa1	libpthread.so.0
mysql-connector-odbc-5.1.5-alt2	libpthread.so.0
mysql-proxy-0.7.2-alt1	libevent-1.4.so.2
netatalk-2.0.5-alt1.1	libgcrypt.so.11
nfs-server-userland-2.2beta51-alt1	libcrypt.so.1
ntop-3.3.10-alt2.1	libevent-1.4.so.2
ogre-1.7.2-alt1.1	libboost_thread.so.1.46.0
openbabel-2.2.3-alt2	libz.so.1
openoffice.org-1:3.2.1.6-alt3.2	libpoppler.so.7
pachi-1.0-alt3.qa1	libstdc++.so.6
patchage-0.4.2-alt2	libjack.so.0
patchage-0.4.2-alt2	libm.so.6
pcf2bdf-1.04-alt1.1	libgcc_s.so.1
pcf2bdf-1.04-alt1.1	libm.so.6
pdf2djvu-0.7.4-alt1	libpoppler.so.7
pdfcube-0.0.3-alt1.1.1	libboost_program_options.so.1.45.0
pdfcube-0.0.3-alt1.1.1	libpoppler-glib.so.5
pdftk-1.41-alt1_18jpp5	libgcj.so.10
perl-Event-Lib-1.03-alt2.1	libevent.so.1
pgbouncer-1.3.4-alt1	libevent.so.1
pingus-0.7.2-alt3.1	libboost_signals.so.1.45.0
pmidi-1.6.0-alt1	libdl.so.2
pmidi-1.6.0-alt1	libm.so.6
poppler7-0.14.5-alt3	libpng12.so.0
pswarm-1.5-alt4	libR-2.11.so
python-module-IceSSL-0.0.5-alt3.1.1	libboost_python.so.1.45.0
python-module-boostmpi-1.39-alt1.git20091015	libboost_mpi.so.1.45.0
python-module-boostmpi-1.39-alt1.git20091015	libboost_mpi_python.so.1.45.0
python-module-boostmpi-1.39-alt1.git20091015	libboost_python.so.1.45.0
python-module-gevent-0.13.0-alt1.hg20100802	libevent-1.4.so.2
python-module-kadmin5-0.0.5-alt4.1.1	libboost_python.so.1.45.0
python-module-pyexiv2-0.3.0-alt1	libboost_python.so.1.46.0
python-module-pygtkimageview-1.1.0-alt1.1	libpthread.so.0
python-module-rpy-1.0.3-alt1.svn20101101	libR-2.11.so
python-module-rpy2-2.1.0-alt2	libR-2.11.so
qtsmbstatus-2.1-alt2	libpthread.so.0
quake3-1.34-alt8.svn1114.qa1	libopenal.so.0
qutecom-2.2-alt13	libboost_program_options.so.1.45.0
qutecom-2.2-alt13	libboost_serialization.so.1.45.0
qutecom-2.2-alt13	libboost_signals.so.1.45.0
qutecom-2.2-alt13	libboost_thread.so.1.45.0
remmina-plugins-0.9.2-alt1	libgnutls.so.26
remmina-plugins-0.9.2-alt1	libjpeg.so.62
remmina-plugins-0.9.2-alt1	libz.so.1
rhythmbox-0.13.3-alt1	libpng12.so.0
rspamd-0.3.2-alt1.1	libevent-1.4.so.2
salsa-complex-2.01-alt1.svn20100714.2	libtmglib.so.4
scanssh-1:2.1-alt2	libevent.so.1
simpleproxy-3.4-alt1	libnsl.so.1
skype-call-recorder-0.8-alt2	libpthread.so.0
sleuthkit-3.0.0-alt2.qa1	libstdc++.so.6
slocate-1:0.2.16-alt1	libcap.so.1
slurm-2.0.9-alt1.3	libcrypto.so.10
smalltalk-3.2.2-alt1.git.7.g39420d7	libz.so.1
soundtracker-0.6.8-alt5.qa1	libasound.so.2
spamassassin-3.3.1-alt2	libz.so.1
spectrum-fuse-0.8.0.1-alt1.qa1	libpng12.so.0
sphinx-0.9.9-alt3.1	libz.so.1
springrts-0.81.2.1-alt1.1	libboost_program_options.so.1.45.0
springrts-0.81.2.1-alt1.1	libboost_regex.so.1.45.0
springrts-0.81.2.1-alt1.1	libboost_signals.so.1.45.0
springrts-0.81.2.1-alt1.1	libboost_system.so.1.45.0
springrts-0.81.2.1-alt1.1	libboost_thread.so.1.45.0
sword-1.6.0-alt3.qa1.1	libz.so.1
tcl-trf-2.1-alt7	libcrypt.so.1
tcptraceroute-1.5-alt5	libcap.so.1
tircproxy-0.4.5-alt3	libnsl.so.1
tk-8.5.9-alt2	libXss.so.1
tmux-1.3-alt1	libevent-1.4.so.2
toilet-0.1-alt1	libcucul.so.0
tor-0.2.1.27-alt2	libevent.so.1
torsmo-0.18-alt3.qa1	libXext.so.6
transmission-2.22-alt1	libdbus-glib-1.so.2
tremulous-1.1.0-alt4	libopenal.so.0
ufraw-0.18-alt1	libpng12.so.0
ufraw-0.18-alt1	libz.so.1
ulogd-1.24-alt15	libcrypt.so.1
ulogd-1.24-alt15	libm.so.6
ulogd-1.24-alt15	libnsl.so.1
utftpd-0.2.4-alt2	libnsl.so.1
v4l2ucp-2.0-alt1	libpthread.so.0
vegastrike-0.5.0-alt1_21	libboost_python.so.1.45.0
vice-2.1-alt5	libX11.so.6
vice-2.1-alt5	libXxf86vm.so.1
vice-2.1-alt5	libasound.so.2
vice-2.1-alt5	libpng12.so.0
vice-2.1-alt5	libz.so.1
virtuoso-opensource-6.1.2-alt2	libz.so.1
w3m-0.5.2-alt2.1.1	libz.so.1
weechat-0.3.4-alt1	libgcrypt.so.11
wmmenu-1.2-alt1	libXext.so.6
wmmenu-1.2-alt1	libXpm.so.4
wmmenu-1.2-alt1	libm.so.6
wmpager-1.2-alt5	libm.so.6
wxlua-2.8.10.0-alt1	libwx_gtk2u_gl-2.8.so.0
wxlua-2.8.10.0-alt1	libwxlua_gtk2u_wxbindgl-2.8.so.0
xdm-2:1.1.10-alt1	libXrender.so.1
xfindproxy-1.0.1-alt1	libSM.so.6
xfindproxy-1.0.1-alt1	libX11.so.6
xfwp-1.0.1-alt2	libX11.so.6
xine-ui-0.99.5-alt8	libcucul.so.0
xlhtml-0.5.1-alt2	libm.so.6
xmms-imms-20081105:3.0.2-alt5	libX11.so.6
xmms-imms-20081105:3.0.2-alt5	libXss.so.1
xmms-in-bonk-0.12-alt1	libgcc_s.so.1
xmms-in-bonk-0.12-alt1	libm.so.6
xmms-in-mac-0.3.1-alt3	libstdc++.so.6
xmms-in-modplug-2.05-alt4	libm.so.6
xmms-in-modplug-2.05-alt4	libmodplug.so.0
xmms-infopipe-1.3-alt1	libgtk-1.2.so.0
xsane-0.998-alt1	libpng12.so.0
xsane-0.998-alt1	libz.so.1
xstdcmap-1.0.1-alt1	libICE.so.6
xstdcmap-1.0.1-alt1	libSM.so.6
xstdcmap-1.0.1-alt1	libXt.so.6
xulrunner-192-1.9.2.15-alt1.20110308	libz.so.1
xulrunner-minefield-2.0.0.0-alt0.20110225	libz.so.1
xvidcap-1.1.7-alt9	libmp3lame.so.0
xvidcap-1.1.7-alt9	libz.so.1
zoom-1.0.5-alt1	libXft.so.2
[apiary@ssh success]$

Вот статистика убывших зависимостей.

[apiary@ssh success]$ for f in *; do ~/bin/lost-sonames $f; done |cut -f2 |sort |uniq -c |sort -n |awk '$1>=3'
      3 libR-2.11.so
      3 libXext.so.6
      3 libasound.so.2
      3 libboost_program_options.so.1.45.0
      3 libcrypt.so.1
      3 libcrypto.so.10
      3 libdl.so.2
      3 libfltk.so.1.1
      3 libmodplug.so.0
      3 libopenal.so.0
      3 libpoppler.so.7
      3 libssl.so.10
      4 libao.so.2
      4 libboost_python.so.1.46.0
      4 libboost_regex.so.1.45.0
      4 libboost_thread.so.1.45.0
      4 libgcc_s.so.1
      5 libX11.so.6
      5 liballeg.so.4.2
      5 libboost_filesystem.so.1.46.0
      5 libboost_program_options.so.1.46.0
      5 libboost_python.so.1.45.0
      5 libboost_signals.so.1.45.0
      5 libboost_system.so.1.45.0
      5 libboost_system.so.1.46.0
      5 libevent.so.1
      5 libgcrypt.so.11
      6 libevent-1.4.so.2
      7 libboost_thread.so.1.46.0
      7 libpthread.so.0
      8 libnsl.so.1
      9 libstdc++.so.6
     12 libpng12.so.0
     13 libm.so.6
     21 libz.so.1
[apiary@ssh success]$

Понятно, что не все зависимости в этом списке убыли из-за изменения
зависимостей у *-devel пакетов.  Например, libboost_* зависимости убывают
из-за частой смены сонеймов: 1.45.0 -> 1.46.0 -> 1.46.1 (то есть вместо
них появляются новые libboost_* зависимости).  Сюда же относится
libpoppler, libevent и libfltk.

Если исключить ещё пакеты с libc-зависимстями, libgcc, libstdc++, и ещё
libR, то всего надо проверить примерно 97 пакетов и пересобрать некоторые
из них в среде с более полными зависимостями.

[-- Attachment #2: lost-sonames --]
[-- Type: text/plain, Size: 378 bytes --]

#!/bin/sh -efu
log=$1
removed=$(gzip -cdfq "$log" |sed -n 's/^-Requires: \(lib.*\.so[^(]*\)(.*/\1/p' |sort -u)
[ -n "$removed" ] || exit 0
requires=$(gzip -cdfq "$log" |egrep '^([ +]Requires:|Requires[(:]|PreReq:)' |cut -d: -f2-)
for soname in $removed; do
	if printf '%s\n' "$requires" |fgrep -qs " $soname("; then
		continue
	fi
	printf '%s\t%s\n' "${log%.gz}" "$soname"
done

Re: [devel] lost soname dependencies

[Alexey Tourbin]

On Thu, Mar 24, 2011 at 11:52:24PM +0300, Alexey Tourbin wrote:
> zoom-1.0.5-alt1	libXft.so.2

> Если исключить ещё пакеты с libc-зависимстями, libgcc, libstdc++, и ещё
> libR, то всего надо проверить примерно 97 пакетов и пересобрать некоторые
> из них в среде с более полными зависимостями.

К сожалению, ситуация с пакетной базой у нас такая, что не понятно, что
делать.  С одной стороны, я мог бы исправить многие пакеты, просто прогнав
buildreq.  С другой стороны, когда я смотрю на эти пакты, то возникает
много других вопросов, и мне становится понятно, что исправление сборки
этих пакетов не может быть самостоятельной целью.

Пакет zoom был собран в 2006 году.  Имеется апстримовская версия от 2009
года.  Пакет zoom не требуется ни одним другим пакетом в сизифе, так что
штатного способа протестировать работоспособность новой версии нет.

Re: [devel] lost soname dependencies

[Slava Semushin]

25 марта 2011 г. 2:52 пользователь Alexey Tourbin <at@altlinux.ru> написал:
[...]
> pachi-1.0-alt3.qa1      libstdc++.so.6

Не очень понимаю как он оказался в этом списке, ведь последний раз его
собирали в феврале 2010 (т.е. прошлого) года.

Что предлагается с ним сделать? Пересобрать?

[...]

-- 
Slava Semushin

Re: [devel] lost soname dependencies

[REAL]

25.03.2011 02:52, Alexey Tourbin пишет:
> allegro4.4-4.4.1.1-alt1	libXxf86vm.so.1
 > pswarm-1.5-alt4	libR-2.11.so
 > python-module-rpy-1.0.3-alt1.svn20101101	libR-2.11.so
 > python-module-rpy2-2.1.0-alt2	libR-2.11.so
 > salsa-complex-2.01-alt1.svn20100714.2	libtmglib.so.4
 > slurm-2.0.9-alt1.3	libcrypto.so.10

Проверю.

> Если исключить ещё пакеты с libc-зависимстями, libgcc, libstdc++, и ещё
> libR

А что с libR?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] lost soname dependencies

[REAL]

25.03.2011 10:29, REAL пишет:
>  > pswarm-1.5-alt4 libR-2.11.so

 > А что с libR?

Тут никакого криминала не вижу, зависимость на libR у R-pswarm как 
была, так и осталась при пересборке. Двое ниже будут пересобраны со 
временем (иду по алфавиту, не хочу прыгать по списку :) ).

>  > python-module-rpy-1.0.3-alt1.svn20101101 libR-2.11.so
>  > python-module-rpy2-2.1.0-alt2 libR-2.11.so

Ну и далее:

>  > salsa-complex-2.01-alt1.svn20100714.2 libtmglib.so.4

На месте.

>  > slurm-2.0.9-alt1.3 libcrypto.so.10

А это да. Добавил libssl-devel в BuildPreReq - зависимость вернулась. 
У него есть внутренний crypto, поэтому собирается из без системного, 
но я лучше верну системный.

PS. Я так понимаю, что тестовая пересборка была в каком-то 
неустойчивом окружении, по крайней мере, сейчас более-менее всё 
приходит в норму. Думаю, самым простым вариантом будет подождать 
очередной тестовой пересобрки и сравнить изменение зависимостей по 
тому же алгоритму, как это было сделано сейчас.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] lost soname dependencies

[Alexey Tourbin]

On Fri, Mar 25, 2011 at 09:55:52AM +0600, Slava Semushin wrote:
> 25 марта 2011 г. 2:52 пользователь Alexey Tourbin <at@altlinux.ru> написал:
> [...]
> > pachi-1.0-alt3.qa1      libstdc++.so.6
> 
> Не очень понимаю как он оказался в этом списке, ведь последний раз его
> собирали в феврале 2010 (т.е. прошлого) года.
> 
> Что предлагается с ним сделать? Пересобрать?

Я написал скрипт, который определяет пропажу зависимостей.  После тестовой
пересборки у этого пакета действительно пропала зависимость на libstdc++.so.6.
http://git.altlinux.org/beehive/logs/Sisyphus-x86_64/latest/success/pachi-1.0-alt3.qa1
В данном случае это не связано с урезанием зависимостей *-devel пакетов.
Так что предлагается принять это к сведению.

Re: [devel] lost soname dependencies

[Alexey Tourbin]

On Fri, Mar 25, 2011 at 10:29:51AM +0600, REAL wrote:
> 25.03.2011 02:52, Alexey Tourbin пишет:
> >allegro4.4-4.4.1.1-alt1	libXxf86vm.so.1
> > pswarm-1.5-alt4	libR-2.11.so
> > python-module-rpy-1.0.3-alt1.svn20101101	libR-2.11.so
> > python-module-rpy2-2.1.0-alt2	libR-2.11.so
> > salsa-complex-2.01-alt1.svn20100714.2	libtmglib.so.4
> > slurm-2.0.9-alt1.3	libcrypto.so.10
> 
> Проверю.
> 
> >Если исключить ещё пакеты с 
> >libc-зависимстями, libgcc, libstdc++, и ещё
> >libR
> 
> А что с libR?

Я отказался от конструкции libR-X.Y.so и вернул libR.so, т.к.
совместимость по вызываемым функциям теперь контролируется на уровне
set-versions, а сложных структур данных в API не используется.

# make compatibility symlink and provides
ln -s libR.so %buildroot%_libdir/libR-2.11.so
%filter_from_provides /^libR\.so/{p;s/R/R-2.11/}

Re: [devel] lost soname dependencies prevention

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2260 bytes --]

On Thu, Mar 24, 2011 at 11:52:24PM +0300, Alexey Tourbin wrote:
> После исправления зависимостей у *-devel пакетов некоторые пакеты стали
> собираться в урезнной конфигурации.  Большая часть таких пакетов может
> быть идентифицирована по результатам тестовой пересборки, после которой
> выполняется сравнение свежепересобранных пакетов с пакетами в репозитории.
> К письму приложен скрипт, который по логу сборки показывает "убывшие"
> имена библиотек - т.е. зависимости, которые присутствуют в репозитории,
> но отсутствуют после тестовой пересборки.  Это не очень совершенный метод
> идентификации потерянных зависимостей, и это лучшее, что у нас сейчас есть.
> Тем не менее, большую часть урезанных пакетов таким образом определить удаётся.

Поскольку не все devel-пакеты (пере)собраны, процесс оптимизации
зависимостей devel-пакетов ещё далек от завершения.  По мере этой
оптимизации неизбежно будут обнаруживаться пакеты, тестовая пересборка
которых будет выявлять урезание поддерживаемой конфигурации.

Я думаю, что теперь нам нужно в первоочередном порядке внедрять в
girar-builder инструмент для предотвращения непреднамеренных потерь
soname-зависимостей.

Если множество soname-зависимостей (без учета версионирования) всех
пакетов, собранных в рамках одного подзадания, не содержит хотя бы одной
soname-зависимости, которая присутствует во множестве soname-зависимостей
всех пакетов, полученных в результате сборки действующего релиза нашего
исходного пакета, то эта soname-зависимость либо изменилась (soname
change), либо потерялась.

Задания, прошедшие все проверки, в которых происходит подобное, я
предлагаю переводить в некое новое состояние ожидания подтверждения,
аналогичное TESTED.  Адресатам задания при этом должно приходить
соответствующее уведомление, на основании которого автор задания будет
смотреть, является ли столь существенное изменение зависимостей допустимым,
и принимать решение о подтверждении отправки этого задания в репозиторий.

Если удастся отличить случай изменения soname-зависимостей от потери
soname-зависимостей, то вероятность ложных срабатываний будет низкой.

Осталось придумать имя для нового состояния "waiting for manual confirmation",
и реализовать его.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] lost soname dependencies prevention

[REAL]

25.03.2011 15:51, Dmitry V. Levin пишет:
> Осталось придумать имя для нового состояния "waiting for manual confirmation",
> и реализовать его.

TOCONFIRM ?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] lost soname dependencies prevention

[Alexey Tourbin]

On Fri, Mar 25, 2011 at 12:51:11PM +0300, Dmitry V. Levin wrote:
> On Thu, Mar 24, 2011 at 11:52:24PM +0300, Alexey Tourbin wrote:
> > После исправления зависимостей у *-devel пакетов некоторые пакеты стали
> > собираться в урезнной конфигурации.  Большая часть таких пакетов может
> > быть идентифицирована по результатам тестовой пересборки, после которой
> > выполняется сравнение свежепересобранных пакетов с пакетами в репозитории.
> > К письму приложен скрипт, который по логу сборки показывает "убывшие"
> > имена библиотек - т.е. зависимости, которые присутствуют в репозитории,
> > но отсутствуют после тестовой пересборки.  Это не очень совершенный метод
> > идентификации потерянных зависимостей, и это лучшее, что у нас сейчас есть.
> > Тем не менее, большую часть урезанных пакетов таким образом определить удаётся.
> 
> Поскольку не все devel-пакеты (пере)собраны, процесс оптимизации
> зависимостей devel-пакетов ещё далек от завершения.  По мере этой
> оптимизации неизбежно будут обнаруживаться пакеты, тестовая пересборка
> которых будет выявлять урезание поддерживаемой конфигурации.

Большая часть системно-значимых библиотек уже проверена/исправлена.
Массового урезания зависимостей больше не будет (правда, ситуация с Qt
ещё не до конца понятна).  Вот мой внутренний статус проверки библиотек.
Минусом в первой колонке отмечены библиотеки, которые я проверил и которые
годятся для того, чтобы с ними "начисто" что-то собирать.  (Плюсом во
второй колонке отмечен статус поддержки debuginfo по состоянию на
2011-03-15.)

Несколько замечаний по проверке:
- возможно, от glib2-devel стоит отпилит gtester, чтобы glib2-devel
  не вытягивал "толстый" питон
- в питоне через py_curses.h появлятся зависимость на libncurses-devel;
  возможно, её стоит отключить
- в fontconfig-devel, возможно, нужна зависимость на libfreetype-devel,
  т.к. fontconfig/fcfreetype.h включает ft2build.h; но ft2build.h лежит
  в нестандартном месте, и cpp.req обламывается; так что зависимость
  стоит вводить на уровне pkgconfig

Вчера я начал исправлять пакеты, которые лишились зависимости на
libz.so.1, но исправил только w3m, а ещё несколько просмотренных пакетов
по разным причинам не захотел пересобирать - решил, что возвращение
зависимости на zlib не может быть самостоятельной целью, т.к. в пакетах
ещё много проблем, часть которых находится в компетенции мейнтейнера
(очень старая версия по сравнению с текущей апстримовской и т.п.).
Не знаю, стот ли афишировать и драматизировать увиденные мною ужасы.-)

Я думаю, что модификация girar-builder ради нескольких десятков бесхозных
пакетов - это бесполезный ход.  Конечно, более важные среди этих пакетов
надо в ближайшее время проверить и исправить вручную, чтобы не лишиться
чего-то более важного.

Далее вечером.

--- libcheck/deps-	2011-03-15 04:16:31
+++ libcheck/deps	2011-03-25 01:15:21
@@ -1,149 +1,41 @@
 +	33	libQtScript.so.4
 +	33	libavutil.so.50
-	33	libfuse.so.2
-	33	libspeex.so.1
 +	34	liblcms.so.1
 	34	libruby.so.1.9
 +	35	libgdkmm-2.4.so.1
 +	35	libnspr4.so
 +	35	libwrap.so.0
-+	36	libltdl.so.7
-	36	libmad.so.0
 +	36	libphonon.so.4
 +	37	libusb-0.1.so.4
-+	38	libXi.so.6
-+	38	libXss.so.1
 +	38	libbonobo-2.so.0
 +	38	libglib-1.2.so.0
 +	39	libQt3Support.so.4
 +	39	libQtOpenGL.so.4
-+	39	libgnutls.so.26
-	39	libpulse.so.0
-+	40	libXfixes.so.3
 	40	libatkmm-1.6.so.1
-+	40	libpangoft2-1.0.so.0
 +	41	libQtSql.so.4
 +	41	libavformat.so.52
 +	41	libgtkmm-2.4.so.1
 +	41	libkparts.so.4
-+	41	libncursesw.so.5
 +	41	libwx_gtk2u_core-2.8.so.0
-+	42	libXxf86vm.so.1
-+	42	libvorbisenc.so.2
 +	42	libwx_baseu-2.8.so.0
-+	43	libFLAC.so.8
 +	43	liblapack.so.3
-+	43	liblber-2.4.so.2
-	44	libjack.so.0
 +	45	libQtSvg.so.4
-+	45	libgtk-1.2.so.0
-+	45	libsoup-2.4.so.1
-+	45	libuuid.so.1
-+	46	libSDL_ttf-2.0.so.0
 +	46	libavcodec.so.52
-+	46	librsvg-2.so.2
 +	47	libblas.so.3
-+	48	libdb-4.7.so
-+	48	libxslt.so.1
-+	49	libXinerama.so.1
 +	50	libQtWebKit.so.4
-+	50	libpopt.so.0
-+	51	libgcrypt.so.11
-+	51	libtcl8.5.so
 +	52	libDCOP.so.4
-+	53	libxfce4util.so.4
 +	54	liblua-5.1.so.0
-+	54	libphp-5.3.5.so.0
-+	54	libsndfile.so.1
-+	55	libXaw.so.7
-+	55	libXft.so.2
-+	55	libXrandr.so.2
-+	55	libglibmm-2.4.so.1
 +	55	libgnomeui-2.so.0
 +	56	libgnome-2.so.0
-+	57	libgmp.so.3
-+	58	ld-linux-x86-64.so.2
-+	60	libXtst.so.6
-+	61	libsigc-2.0.so.0
-+	62	libldap-2.4.so.2
-+	62	libpcap.so.0.8
-+	62	libresolv.so.2
-+	63	libnotify.so.1
-+	65	libgfortran.so.3
-+	67	libpq.so.5
-+	69	libmysqlclient.so.16
-+	69	libvorbis.so.0
-+	70	libICE.so.6
-+	70	libgstreamer-0.10.so.0
-+	71	libSM.so.6
-+	71	libpcre.so.3
-+	72	libXrender.so.1
-+	73	libogg.so.0
-+	75	libXmu.so.6
 +	75	libkio.so.4
 +	76	libkio.so.5
-+	81	libutil.so.1
-+	81	libvorbisfile.so.3
 +	85	libkdeui.so.5
 +	88	libkdecore.so.5
-+	89	libglade-2.0.so.0
 +	89	libkdecore.so.4
 +	91	libkdeui.so.4
-+	92	libexpat.so.1
-+	93	libbz2.so.1
 +	94	libQtDBus.so.4
-+	97	libfontconfig.so.1
-+	98	libpam.so.0
-+	101	libXpm.so.4
-+	101	libsqlite3.so.0
-+	102	libSDL_image-1.2.so.0
-+	102	libtiff.so.4
-+	108	libcurl.so.4
-+	111	libcrypt.so.1
-+	112	libncurses.so.5
-+	125	libpangocairo-1.0.so.0
 +	127	libQtXml.so.4
-+	127	libXt.so.6
-+	131	libSDL_mixer-1.2.so.0
 +	134	libQtNetwork.so.4
-+	137	libatk-1.0.so.0
-+	139	libfreetype.so.6
 +	146	libqt-mt.so.3
-+	148	libdbus-1.so.3
-+	153	libreadline.so.5
-+	157	libgconf-2.so.4
-+	159	libdbus-glib-1.so.2
-+	160	libGLU.so.1
-+	164	libasound.so.2
-+	165	libssl.so.10
-+	169	libgmodule-2.0.so.0
-+	182	librt.so.1
-+	194	libgio-2.0.so.0
-+	208	libtinfo.so.5
-+	215	libjpeg.so.62
-+	235	libXext.so.6
-+	236	libcrypto.so.10
-+	246	libpng12.so.0
-+	259	libGL.so.1
-+	270	libSDL-1.2.so.0
-+	270	libgthread-2.0.so.0
-+	289	libcairo.so.2
-+	290	libperl-5.12.so
 +	299	libQtGui.so.4
 +	321	libQtCore.so.4
-+	324	libxml2.so.2
-+	328	libpython2.6.so.1.0
-+	372	libpango-1.0.so.0
-+	526	libgdk_pixbuf-2.0.so.0
-+	547	libz.so.1
-+	552	libdl.so.2
-+	642	libgdk-x11-2.0.so.0
-+	768	libgtk-x11-2.0.so.0
-+	879	libX11.so.6
-+	992	libgobject-2.0.so.0
-+	1099	libglib-2.0.so.0
-+	1283	libgcc_s.so.1
-+	1415	libstdc++.so.6
-+	1858	libm.so.6
-+	1958	libpthread.so.0
-+	5222	libc.so.6

> Я думаю, что теперь нам нужно в первоочередном порядке внедрять в
> girar-builder инструмент для предотвращения непреднамеренных потерь
> soname-зависимостей.

Re: [devel] lost soname dependencies prevention

[Vitaly Kuznetsov]

Alexey Tourbin <at@altlinux.ru> writes:

> Вчера я начал исправлять пакеты, которые лишились зависимости на
> libz.so.1, но исправил только w3m, а ещё несколько просмотренных
> пакетов  по разным причинам не захотел пересобирать - решил, что возвращение
> зависимости на zlib не может быть самостоятельной целью, т.к. в
> пакетах ещё много проблем, часть которых находится в компетенции мейнтейнера
> (очень старая версия по сравнению с текущей апстримовской и т.п.).
> Не знаю, стот ли афишировать и драматизировать увиденные мною ужасы.-)
>

Афишировать точно стоит. После этого будет понятно, нужно ли
драматизировать :)

-- 
Vitaly Kuznetsov, ALT Linux

Re: [devel] lost soname dependencies prevention

[REAL]

25.03.2011 16:25, Alexey Tourbin пишет:
> Несколько замечаний по проверке:
> - возможно, от glib2-devel стоит отпилит gtester, чтобы glib2-devel
>    не вытягивал "толстый" питон

Это получается, что неизвестное число пакетов просто сломаются?

> - в питоне через py_curses.h появлятся зависимость на libncurses-devel;
>    возможно, её стоит отключить

Я не знаю, как это делается. А Вы?

> а ещё несколько просмотренных пакетов
> по разным причинам не захотел пересобирать - решил, что возвращение
> зависимости на zlib не может быть самостоятельной целью, т.к. в пакетах
> ещё много проблем, часть которых находится в компетенции мейнтейнера
> (очень старая версия по сравнению с текущей апстримовской и т.п.).
> Не знаю, стот ли афишировать и драматизировать увиденные мною ужасы.-)

Можно не драматизировать, а просто выкатить список ужасных пакетов, 
чтобы мейнтейнеры сами посмотрели, что там ужасного. Я вот свои гляну, 
конечно, хотя телепатическое устройство может и не сработать, впрочем.

>   +	43	liblapack.so.3
 >   +	47	libblas.so.3

Нет минуса. Что там? Прошлый мейнтейнер, наверно, сможет ответить на 
этот вопрос?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] lost soname dependencies prevention

[Aleksey Novodvorsky]

25 марта 2011 г. 13:29 пользователь Vitaly Kuznetsov
<vitty@altlinux.ru> написал:
> Alexey Tourbin <at@altlinux.ru> writes:
>
>> Вчера я начал исправлять пакеты, которые лишились зависимости на
>> libz.so.1, но исправил только w3m, а ещё несколько просмотренных
>> пакетов  по разным причинам не захотел пересобирать - решил, что возвращение
>> зависимости на zlib не может быть самостоятельной целью, т.к. в
>> пакетах ещё много проблем, часть которых находится в компетенции мейнтейнера
>> (очень старая версия по сравнению с текущей апстримовской и т.п.).
>> Не знаю, стот ли афишировать и драматизировать увиденные мною ужасы.-)
>>
>
> Афишировать точно стоит. После этого будет понятно, нужно ли
> драматизировать :)

Думаю, что стоит пересобрать, так как восстановление Сизифа -- более
приоритетная задача.
А ужасы записать и отослать мейнтейнеру, если таковой есть.
Rgrds, Алексей

Re: [devel] lost soname dependencies

[Michael Shigorin]

On Thu, Mar 24, 2011 at 11:52:24PM +0300, Alexey Tourbin wrote:
> apg-2.2.3-alt3	libnsl.so.1

Оно ж в glibc-core.

> skype-call-recorder-0.8-alt2	libpthread.so.0

А откуда glibc-pthread отрезан?

> vice-2.1-alt5	libX11.so.6
> vice-2.1-alt5	libXxf86vm.so.1
> vice-2.1-alt5	libasound.so.2
> vice-2.1-alt5	libpng12.so.0
> vice-2.1-alt5	libz.so.1

Н-да, в alt6 были возвращены только две последние.

> Если исключить ещё пакеты с libc-зависимстями, libgcc,
> libstdc++

Вот здесь можно чуть пояснить -- откуда они взялись?
(куда исчезли -- как понимаю, могли быть выоптимизированы
brp-* по причине требования чего-либо, вытаскивающего их)


On Fri, Mar 25, 2011 at 12:51:11PM +0300, Dmitry V. Levin wrote:
> Осталось придумать имя для нового состояния "waiting for manual
> confirmation", и реализовать его.

NEEDCHECK | DEPCHANGE | REQCHANGE ?


On Fri, Mar 25, 2011 at 01:25:13PM +0300, Alexey Tourbin wrote:
> Я думаю, что модификация girar-builder ради нескольких десятков
> бесхозных пакетов - это бесполезный ход.  Конечно, более важные
> среди этих пакетов надо в ближайшее время проверить и исправить
> вручную, чтобы не лишиться чего-то более важного.

Если buildreq и далее будет по умолчанию оптимизировать,
то как минимум шанс проморгать потерю будет оставаться.
Не знаю, стоит ли того -- если это не больше мороки,
чем один такой разбор полётов, то хорошо бы.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] lost soname dependencies

[Michael Shigorin]

On Thu, Mar 24, 2011 at 11:52:24PM +0300, Alexey Tourbin wrote:
> collectd-4.10.2-alt5	libgobject-2.0.so.0

Для collectd-4.10.3 BuildRequires: glib2-devel ничего не изменило
-- откатываю у себя, не вижу смысла отправлять на сборку.

> dia-0.97.1-alt2	libpng12.so.0
> inkscape-0.48.0-alt2	libpoppler.so.12
> netatalk-2.0.5-alt1.1	libgcrypt.so.11
> soundtracker-0.6.8-alt5.qa1	libasound.so.2
> xmms-imms-20081105:3.0.2-alt5	libX11.so.6

Пересобрал.

> xmms-in-modplug-2.05-alt4	libm.so.6
> xmms-in-modplug-2.05-alt4	libmodplug.so.0

Это как?

# Automatically added by buildreq on Thu May 15 2008
BuildRequires: gcc-c++ libmodplug-devel libxmms-devel

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] lost soname dependencies

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 391 bytes --]

On Sun, Mar 27, 2011 at 10:06:14PM +0300, Michael Shigorin wrote:

>> Осталось придумать имя для нового состояния "waiting for manual
>> confirmation", и реализовать его.
MS> NEEDCHECK | DEPCHANGE | REQCHANGE ?

А почему не WAITAPPROVE или WAITCONFIRM? :)

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] lost soname dependencies

[Aleksey Novodvorsky]

24 марта 2011 г. 23:52 пользователь Alexey Tourbin <at@altlinux.ru> написал:
> После исправления зависимостей у *-devel пакетов некоторые пакеты стали
> собираться в урезнной конфигурации.  Большая часть таких пакетов может
> быть идентифицирована по результатам тестовой пересборки, после которой
> выполняется сравнение свежепересобранных пакетов с пакетами в репозитории.
> К письму приложен скрипт, который по логу сборки показывает "убывшие"
> имена библиотек - т.е. зависимости, которые присутствуют в репозитории,
> но отсутствуют после тестовой пересборки.  Это не очень совершенный метод
> идентификации потерянных зависимостей, и это лучшее, что у нас сейчас есть.
> Тем не менее, большую часть урезанных пакетов таким образом определить удаётся.
>
> Скрипт работает так: он, очевидно, ищет в логе минус-строчки из диффа вида
> -Requires: lib*.so.*
> При этом если в логе есть плюс-строчки или контекст-строчки вида
> +Requires: lib*.so.*
>  Requires: lib*.so.*
> то они отменяют соответствующие минус-строчки.
>
> Далее, если зависимость в пакете действительно "убыла", то это может
> случиться по двум причинам:
> 1) Зависимость соптимизировалась из-за того, что такая зависимость уже
> существует в базовом подпакете (оптимизация зависимостей между подпакетами
> была реализована не так давно), а у базового пакета зависимости не
> изменились.  Но rpmbuild выводит в лог сборки зависимости собранных
> пакетов - эти строчки начинаются с Requires или PreReq.  Тогда если
> в зависимостях имя библиотеки есть, значит просто сработала оптимизация
> между подпакетами.  А иначе
> 2) Зависимость на имя библиотеки действительно исчезла.
>
> Скрипт заточен под x86_64.
> Вот полный вывод скрипта (179 пакетов).

Алексей, пожалуйста, актуализируйте список по состянию на понедельник.
Желательно с указанием ACL.

Rgrds, Алексей