[devel] Java autoreq/autoprov draft

[devel] Java autoreq/autoprov draft

[Damir Shayhutdinov]

> А разве нельзя залезать в .jar, разбирать .class файлы и находить все
> объекты, которые в них используются? Так получится Requires.
> А Provides вообще получаются анализом содержимого .jar файла.
>
> Примеры зависимости: Java(org.apache.xpath.XPath)
> Правда получится довольно много этих самых Provides и Requires :( Зато
> автоматом.
Появилась идея получше. Так как минимальной файловой единицей в Java
является .jar-файл, то Provides/Requires можно в принципе
организовывать на них.

Вот например в пакете jakarta-oro

rpm -ql jakarta-oro | fgrep .jar
/usr/share/java/jakarta-oro.jar

находится один .jar файл.

Поэтому можно присвоить пакету jakarta-oro следующие auto provides:

Java(jakarta-oro)

Это выглядит довольно легко.

Теперь сложная часть - поиск Requires.

Для этого надо сначала пройтись по всем .jar файлам в /usr/share/java
и составить списки всех .class файлов находящихся в них.

for i in /usr/share/java/*.jar; do jar -tf $i | fgrep .class | cut -f
1 -d . > `basename $i .jar`; done

Получится список классов, которые содержатся в .jar-файле.

Теперь надо найти какие же из .jar-файлов, установленных в
/usr/share/java реально используются пакетом (auto requires).

Для проверки я взял пакет jakarta-oro-demo.

В нем скомпилированные классы находятся в незапакованном виде.
ls -1 /usr/share/java
ant
bcel.jar
excalibur-logkit.jar
geronimo-specs
jakarta-commons-collections.jar
jakarta-oro.jar
jakarta-regexp.jar
jakarta-servletapi4.jar
jaxp_parser_impl.jar
jaxp_transform_impl.jar
jdom.jar
jspapi5.jar
log4j.jar
serializer.jar
servletapi5.jar
servletapi.jar
velocity.jar
werken-xpath.jar
xalan-j.jar
xerces-j.jar
xml-commons-apis.jar
xml-commons-external.jar

После выполнения предыдущего скрипта у меня в текущей директории
получились вот такие вот файлы списков классов в каждом .jar

ls -1 .
bcel
excalibur-logkit
jakarta-commons-collections
jakarta-oro
jakarta-regexp
jakarta-servletapi4
jaxp_parser_impl
jaxp_transform_impl
jdom
jspapi5
log4j
serializer
servletapi
servletapi5
velocity
werken-xpath
xalan-j
xerces-j
xml-commons-apis
xml-commons-external

Я создал вот такой вот маленький скрипт-обертку для поиска requires:

cat ~/bin/find-java-requires
#!/bin/sh

JARLISTDIR=~/tmp/java #FIXME директория где лежат списки
for jarlist in $JARLISTDIR/*
do
        fgrep -qf "$jarlist" -- "$@" && echo "Java(`basename $jarlist`)"
done

Натравив его на .classes файлы из jakarta-oro-demo командой

find /usr/share/doc/jakarta-oro-2.0.8/ -name '*.class' -print0 | xargs
-r0 find-java-requires
я получил вывод
Java(jakarta-oro)

Вот какие автозависимости можно поставить пакету jakarta-oro-demo.

Теперь про пакеты с .jar файлами.

Возьмем например пакет velocity.

rpm -ql velocity | fgrep .jar
/usr/share/java/velocity.jar

Идея такая - распаковываем этот .jar файл в какую-нибудь временную
директорию, получаем список .class файлов и натравливаем на них
find-java-requires.

cat ~/bin/find-java-jar-requires
#!/bin/sh
OURDIR=`mktemp -dt`
cd "$OURDIR" && jar -xf "$1"
find "$OURDIR" -name '*.class' -print0 | xargs -r0 find-java-requires
rm -rf -- "$OURDIR"

Теперь смотрим результаты:
find-java-jar-requires /usr/share/java/velocity.jar
Java(excalibur-logkit)
Java(jakarta-commons-collections)
Java(jakarta-oro)
Java(jakarta-servletapi4)
Java(jdom)
Java(log4j)
Java(servletapi)
Java(servletapi5)
Java(velocity)
Java(werken-xpath)
Java(xml-commons-apis)
Java(xml-commons-external)
Вуаля!

Можно посмотреть еще остальные .jar файлы - например

find-java-jar-requires /usr/share/java/log4j.jar
Java(log4j)
Java(xml-commons-apis)
Java(xml-commons-external)

find-java-jar-requires /usr/share/java/bcel.jar
Java(bcel)
Java(jakarta-regexp)

find-java-jar-requires /usr/share/java/jakarta-servletapi4.jar
Java(jakarta-servletapi4)
Java(jspapi5)
Java(servletapi)
Java(servletapi5)

На первый взгляд все работает :)

Жду критики, комментариев и предложений по улучшению.

Re: [devel] Java autoreq/autoprov draft

[Ildar Mulyukov]

громко хлопаю в ладоши!
Дамир, это изящно и правильно архитектурно!
я искренне рад за будущее Java в ALT.
Осталось это всё оформить в виде /usr/lib/rpm/{prov,req}.java ,  
положить в rpm-build-java и повесить FR на пакет rpm-build (я и сам  
прошёл этот путь).

Позволю себе один^Wпару комментариев:
1. готовые noarch пакеты, которые пользователь будет ставить, не будут  
предоставлять ничего.
2. К сожалению, src.rpm/spec, взятые из внешних источников нужно будет  
слегка переделывать. Добавить сборочные зависимости на /proc и  
rpm-build-java (кстати, их по-любому нельзя заливать в инкоминг - нужно  
подписывать пакет)
3. То, что в Джаве нет, но есть в .Net (читай, в Mono) - версии этих  
самых библиотек. Соответственно в нашем RPM эти зависимости выглядят  
так:
$ rpm -qR monodoc | grep mscorlib
mono(mscorlib) = 1.0.5000.0
А с Джавой получится как с библиотеками без soversion. Впрочем, это  
очевидно, если задуматься.

Удачи!

On 07.02.2007 04:21:37, Damir Shayhutdinov wrote:
> На первый взгляд все работает :)
> 
> Жду критики, комментариев и предложений по улучшению.

-- 
Ildar  Mulyukov,  free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
Jabber: ildar@jabber.ru
ICQ: 4334029
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================

Re: [devel] Java autoreq/autoprov draft

[Damir Shayhutdinov]

> громко хлопаю в ладоши!
> Дамир, это изящно и правильно архитектурно!
Спасибо :) Хотя и у такой системы есть некоторые недостатки - например
если в пакете  файлы лежат в незапакованном виде в виде вороха .class
файлов - то для них нельзя создать Provides. :(

> я искренне рад за будущее Java в ALT.
> Осталось это всё оформить в виде /usr/lib/rpm/{prov,req}.java ,
> положить в rpm-build-java и повесить FR на пакет rpm-build (я и сам
> прошёл этот путь).
Ага, буду смотреть как сделано это для mono.

> Позволю себе один^Wпару комментариев:
> 1. готовые noarch пакеты, которые пользователь будет ставить, не будут
> предоставлять ничего.
Это не страшно. Сторонние пакеты имеют свою систему зависимостей,
заботливо внесенную вручную в теги Requires.

С другой стороны, проблема того, что эти пакеты не будут предоставлять
ничего, возникнет только в том случае, если пользователь захочет
какой-то пакет из репозитария ALT-а заменить на сторонний. В этом
случае ему также придется заменять на сторонние все пакеты, которые
зависят от этого заменяемого пакета. По-моему, такая ситуация является
нормальной - если используешь внешний репозиторий, резолвишь
зависимости внешними средствами (aka ССЗБ).

> 2. К сожалению, src.rpm/spec, взятые из внешних источников нужно будет
> слегка переделывать. Добавить сборочные зависимости на /proc и
> rpm-build-java (кстати, их по-любому нельзя заливать в инкоминг - нужно
> подписывать пакет)
Такие переделки в принципе может делать простейший скрипт. В идеале
вся эта куча .src.rpm прогоняется через этот скрипт, загоняется в
хэшер и на выходе получается пригодные к инкамингу пакеты. При должной
сноровке и безгеморройности этого процесса поддерживать такие пакеты в
Сизифе сможет даже робот.

> 3. То, что в Джаве нет, но есть в .Net (читай, в Mono) - версии этих
> самых библиотек. Соответственно в нашем RPM эти зависимости выглядят
> так:
> $ rpm -qR monodoc | grep mscorlib
> mono(mscorlib) = 1.0.5000.0
> А с Джавой получится как с библиотеками без soversion. Впрочем, это
> очевидно, если задуматься.

Версии прописаны в META-INF/MANIFEST.MF (тег Implemetation-Version)
Или можно ставить их по версии пакета, так меньше путаницы.

Так что с Provides проблем быть не должно. А вот с Requires...
Ставить жесткую зависимость на версию как-то странно - при обновлении
пакета придется пересобирать все что от него зависит. В принципе,
можно отдать это на откуп сборщику - если есть какие-то ограничения по
версиям, то пусть он вписывает их в Requires.

Например Requires: Java(ant) >= 1.7.0

>
> Удачи!
Спасибо за комментарии.

Re: [devel] Java autoreq/autoprov draft

[Ildar Mulyukov]

On 07.02.2007 14:23:13, Damir Shayhutdinov wrote:
>>  3. То, что в Джаве нет, но есть в .Net (читай, в Mono) - версии   
>> этих  самых библиотек. Соответственно в нашем RPM эти зависимости   
>> выглядят  так:
>>  $ rpm -qR monodoc | grep mscorlib
>>  mono(mscorlib) = 1.0.5000.0
>>  А с Джавой получится как с библиотеками без soversion. Впрочем, это  
>> очевидно, если задуматься.
> 
> Версии прописаны в META-INF/MANIFEST.MF (тег Implemetation-Version)
> Или можно ставить их по версии пакета, так меньше путаницы.
> 
> Так что с Provides проблем быть не должно. А вот с Requires...   
> Ставить жесткую зависимость на версию как-то странно - при обновлении  
> пакета придется пересобирать все что от него зависит. В принципе,   
> можно отдать это на откуп сборщику - если есть какие-то ограничения   
> по  версиям, то пусть он вписывает их в Requires.
> 
> Например Requires: Java(ant) >= 1.7.0
Да, это пока придётся делать руками. В mono уже пошли дальше -  
придумали так называемые "policy"-сборки, которые декларируют  
совместимость.. Тут, видимо, Джаве ещё долго догонять... В общем, если  
нужны идеи в эту сторону - гуглите "mono policy" и т.п.

Ильдар
-- 
Ildar  Mulyukov,  free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
Jabber: ildar@jabber.ru
ICQ: 4334029
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================

Re: [devel] Java autoreq/autoprov draft

[Igor Vlasenko]

On Wed, Feb 07, 2007 at 11:23:13AM +0300, Damir Shayhutdinov wrote:
> > громко хлопаю в ладоши!
> > Дамир, это изящно и правильно архитектурно!
> Спасибо :) Хотя и у такой системы есть некоторые недостатки - например
> если в пакете  файлы лежат в незапакованном виде в виде вороха .class
> файлов - то для них нельзя создать Provides. :(
Присоединяюсь :)

> > я искренне рад за будущее Java в ALT.
> > Осталось это всё оформить в виде /usr/lib/rpm/{prov,req}.java ,
> > положить в rpm-build-java и повесить FR на пакет rpm-build (я и сам
> > прошёл этот путь).
> > Позволю себе один^Wпару комментариев:

И я свои 5 коп. На носу релиз, и эти и все сопутствующие 
изменения надо будет сделать в виде транзакции. т. е. либо 
вливать в Сизиф уже готовый пересобирающийся набор всех 
java пакетов, либо оставить как есть. 
Хуже всего --- разломанный Сизиф в якобы фризе.
Поэтому предлагаю пока ложить не в Сизиф
(git/dedal).

> Такие переделки в принципе может делать простейший скрипт. В идеале
> вся эта куча .src.rpm прогоняется через этот скрипт, загоняется в
> хэшер и на выходе получается пригодные к инкамингу пакеты. При должной
> сноровке и безгеморройности этого процесса поддерживать такие пакеты в
> Сизифе сможет даже робот.
Из jpackage :)

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-08 9:51 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-08 10:13 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-08 10:36 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-08 12:17 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-08 12:56 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 9:24 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 9:34 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 9:42 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 9:55 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 10:00 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 10:18 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 10:24 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 10:27 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 11:07 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 14:36 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 14:45 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 15:02 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 17:36 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 18:15 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-15 20:55 UTC (permalink / raw)]

Re: [devel] Java autoreq/autoprov draft

[@ 2007-02-19 5:31 UTC (permalink / raw)]

[devel] ant

[@ 2007-02-22 16:19 UTC (permalink / raw)]