[devel] Сборка и упаковка opennms (используется maven2)

[devel] Сборка и упаковка opennms (используется maven2)

[Slava Dubrovskiy]

Здравствуйте.

На выходных сделал подход к снаряду. На текущей пакетной базе это
сделать нельзя, т.к. в репозитарии нет плагинов и pom которые нужны для
сборки (не хватает очень много, мне кажется %80).
Собрал с закачкой из инета после чего локальный репозитарий (папка .m2)
стал размером в ~250MB.
Вопрос: Возможно ли чтобы в пакетах maven2 было все что есть в
репозитариях интернета? Как можно помочь ускорить этот процесс?

Иначе я думаю придется в src класть весь репозитарий необходимый для
сборки, что очень не хочется, т.к. программа сама весит 20МБ, а
репозитарий для её сборки 250МБ.

-- 
WBR,
Dubrovskiy Vyacheslav

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Igor Vlasenko]

On Mon, Nov 26, 2007 at 11:33:07AM +0200, Slava Dubrovskiy wrote:
> На выходных сделал подход к снаряду.
О. хорошо.

> На текущей пакетной базе это
> сделать нельзя, т.к. в репозитарии нет плагинов и pom которые нужны для
> сборки (не хватает очень много, мне кажется %80).

Я бегло просмотрел корневой pom и pom'ы в подпроектах верхнего уровня
экзотики там мало, почти все зависимости уже собраны.

Там проблема, решаемая, скорее не в отсутствии
зависимостей, а в неинформированности maven2.
Я ее опишу далее.
С плагинами несколько по другому, там
плагины с groupId:org.apache.maven.plugins у нас в основном должны быть,
а плагины с groupId:org.codehaus.mojo я просто еще не выложил в сизиф,
там целый букет плагинов
mojo-maven2-plugin-axistools, ...-build-helper, ...-castor, ...-changes,
...-clirr, ...-cobertura, ...-commons-attributes, ...-dependency,
...-exec,
...-fit, ...-idlj, ...-javacc, ...-javancss, ...-jdepend, ...-jdiff,
...-jpox, ...-jspc, ...-jxr, ...-keytool, ...-sql, ...-taglist,
...-xdoclet, ...-xmlbeans, ...-xslt
и мне хотелось собрать все сразу, не выковыривая из сборки отдельные
плагины.
Это достаточно скоро будет.

> Собрал с закачкой из инета после чего локальный репозитарий (папка .m2)
> стал размером в ~250MB.

кстати, листинг find .m2 -type f вышлите, пожалуйста.
очень был бы удобен чтобы одним взглядом увидеть все зависимости.

> Вопрос: Возможно ли чтобы в пакетах maven2 было все что есть в
> репозитариях интернета? Как можно помочь ускорить этот процесс?

Как я говорил, большинство зависимостей уже есть.
Когда-то было проблемой сказать maven2 где они ---
наивный подход к сборке (иногда даже использовался, с maven1)
создать в RPM/BUILD/name папку .m2 и набросать туда,
копируя структуру ~/.m2, симлинки вида
groupid/artifactid-version.jar -> /usr/share/java/real.jar

Проблема была в том, что структура /usr/share/java/
не совпадает со структурой maven-репозитория.

Чтобы преодолеть эту трудность, используется описанный в
maven2-manual в /usr/share/doc/maven2-2.0.4/maven2-jpp-readme.html
следующий прием.
В файле /etc/maven/maven2-depmap.xml
каждому pom сопоставляется real.jar в /usr/share/java/.
Этот файл собирается из кусочков в /etc/maven/fragments/*
при %post/%postun java пакетов.

Другие приемы считаются устаревшими, я о них говорить не буду.

Таким образом, если пакет устанавливает свой pom в /usr/share/maven2/poms,
и свой depmap в /etc/maven/fragments/, то maven2 его найдет при поиске
зависимостей.
Иначе будет ситуация, что пакет установлен, jar в /usr/share/java/ есть,
но maven2 его не видит.

И затруднение в том, что еще не так много пакетов это делает
(носит для своих jar'ов pom'ы и depmap fragments).

Однако и решение достаточно просто. можно сделать пакет для сборочной
среды, который будет устанавливать для maven2 нужные pom и fragments.

Потом можно будет разложить эти pom и fragments по соответствующим
пакетам, и нужда в костыле отпадет.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Slava Dubrovskiy]

[-- Attachment #1.1: Type: text/plain, Size: 3017 bytes --]

Igor Vlasenko пишет:
>> Собрал с закачкой из инета после чего локальный репозитарий (папка .m2)
>> стал размером в ~250MB.
>>     
> кстати, листинг find .m2 -type f вышлите, пожалуйста.
> очень был бы удобен чтобы одним взглядом увидеть все зависимости.
>   
в аттаче
>> Вопрос: Возможно ли чтобы в пакетах maven2 было все что есть в
>> репозитариях интернета? Как можно помочь ускорить этот процесс?
>>     
> Как я говорил, большинство зависимостей уже есть.
> Когда-то было проблемой сказать maven2 где они ---
> наивный подход к сборке (иногда даже использовался, с maven1)
> создать в RPM/BUILD/name папку .m2 и набросать туда,
> копируя структуру ~/.m2, симлинки вида
> groupid/artifactid-version.jar -> /usr/share/java/real.jar
>
> Проблема была в том, что структура /usr/share/java/
> не совпадает со структурой maven-репозитория.
>
> Чтобы преодолеть эту трудность, используется описанный в
> maven2-manual в /usr/share/doc/maven2-2.0.4/maven2-jpp-readme.html
> следующий прием.
> В файле /etc/maven/maven2-depmap.xml
> каждому pom сопоставляется real.jar в /usr/share/java/.
> Этот файл собирается из кусочков в /etc/maven/fragments/*
> при %post/%postun java пакетов.
>
> Другие приемы считаются устаревшими, я о них говорить не буду.
>
> Таким образом, если пакет устанавливает свой pom в /usr/share/maven2/poms,
> и свой depmap в /etc/maven/fragments/, то maven2 его найдет при поиске
> зависимостей.
> Иначе будет ситуация, что пакет установлен, jar в /usr/share/java/ есть,
> но maven2 его не видит.
>
> И затруднение в том, что еще не так много пакетов это делает
> (носит для своих jar'ов pom'ы и depmap fragments).
>
> Однако и решение достаточно просто. можно сделать пакет для сборочной
> среды, который будет устанавливать для maven2 нужные pom и fragments.
>
> Потом можно будет разложить эти pom и fragments по соответствующим
> пакетам, и нужда в костыле отпадет.
>   
Спасибо за объяснение.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #1.2: opennms_maven_repo.txt.gz --]
[-- Type: application/x-gzip, Size: 10960 bytes --]

[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Igor Vlasenko]

On Tue, Nov 27, 2007 at 10:57:10AM +0200, Slava Dubrovskiy wrote:
> Igor Vlasenko пишет:
> > кстати, листинг find .m2 -type f вышлите, пожалуйста.
> > очень был бы удобен чтобы одним взглядом увидеть все зависимости.
> в аттаче
Спасибо.

выложил mojo-maven2-pllugins, должно существенно полегчать с плагинами.

Посмотрел листинг. Вот проблемный список:

com/agilejava/docbkx/docbkx-maven-base/0.4/docbkx-maven-base-0.4.jar
com/google/gwt/gwt-user/1.4.60/gwt-user-1.4.60.jar
com/google/gwt/gwt-servlet/1.4.60/gwt-servlet-1.4.60.jar
com/google/gwt/gwt-dev/1.4.60/gwt-dev-1.4.60-linux.jar
net/sf/jradius/jradius-client/20040211/jradius-client-20040211.jar
net/sf/json-lib/json-lib/1.0.1/json-lib-1.0.1-jdk15.jar
net/sf/ezmorph/ezmorph/1.0.1/ezmorph-1.0.1.jar
jwebunit/jwebunit/1.2/jwebunit-1.2.jar
org/openoss/OSSbeans-qos-ejb/2.1.0/OSSbeans-qos-ejb-2.1.0.jar
org/openoss/OSSbeans-xml/2.1.0/OSSbeans-xml-2.1.0.jar
org/extremecomponents/extremecomponents/1.0.1/extremecomponents-1.0.1.jar
org/apache/commons/commons-jci-eclipse/1.0/commons-jci-eclipse-1.0.jar
org/apache/commons/commons-jci-janino/1.0/commons-jci-janino-1.0.jar
org/apache/commons/commons-jci-core/1.0/commons-jci-core-1.0.jar
org/apache/commons/commons-jci-fam/1.0/commons-jci-fam-1.0.jar
org/jrobin/jrobin/1.5.8/jrobin-1.5.8.jar
org/acegisecurity/acegi-security/1.0.5/acegi-security-1.0.5.jar
org/drools/drools-core/3.0.5/drools-core-3.0.5.jar
org/drools/drools-compiler/3.0.5/drools-compiler-3.0.5.jar
org/snmp4j/snmp4j/1.8.1/snmp4j-1.8.1.jar
org/snmp4j/snmp4j-agent/1.1.1/snmp4j-agent-1.1.1.jar
org/gwtwidgets/gwt-widgets/0.1.3/gwt-widgets-0.1.3.jar
org/gwtwidgets/gwt-widgets-server/0.1.2/gwt-widgets-server-0.1.2.jar
alt/dev/jmta/jmta/1.0/jmta-1.0.jar
openldap/jldap/2005.10.03/jldap-2005.10.03.jar
fast-md5/fast-md5/2.6.1/fast-md5-2.6.1.jar
jep/jep/2.40/jep-2.40.jar
rome/rome/0.9/rome-0.9.jar
sablecc/sablecc/2.18.2/sablecc-2.18.2.jar

Остальные есть либо планируются.

До указаных библиотек у меня в близжайшее время руки не дойдут.
Их либо собрать, либо хотя бы (вместе с pom) упаковать 
в opennms-bootstrap-bundle-0.1-alt1
и пользоваться им при сборке и работе приложения.
Уже полегче будет чем 250 Mb.

И я бы советовал немного подождать. 
Прогресс, он на месте не стоит.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 3363 bytes --]

Igor Vlasenko пишет:
>>> кстати, листинг find .m2 -type f вышлите, пожалуйста.
>>> очень был бы удобен чтобы одним взглядом увидеть все зависимости.
>>>       
>> в аттаче
>>     
> Спасибо.
>
> выложил mojo-maven2-pllugins, должно существенно полегчать с плагинами.
>
> Посмотрел листинг. Вот проблемный список:
>
> com/agilejava/docbkx/docbkx-maven-base/0.4/docbkx-maven-base-0.4.jar
> com/google/gwt/gwt-user/1.4.60/gwt-user-1.4.60.jar
> com/google/gwt/gwt-servlet/1.4.60/gwt-servlet-1.4.60.jar
> com/google/gwt/gwt-dev/1.4.60/gwt-dev-1.4.60-linux.jar
> net/sf/jradius/jradius-client/20040211/jradius-client-20040211.jar
> net/sf/json-lib/json-lib/1.0.1/json-lib-1.0.1-jdk15.jar
> net/sf/ezmorph/ezmorph/1.0.1/ezmorph-1.0.1.jar
> jwebunit/jwebunit/1.2/jwebunit-1.2.jar
> org/openoss/OSSbeans-qos-ejb/2.1.0/OSSbeans-qos-ejb-2.1.0.jar
> org/openoss/OSSbeans-xml/2.1.0/OSSbeans-xml-2.1.0.jar
> org/extremecomponents/extremecomponents/1.0.1/extremecomponents-1.0.1.jar
> org/apache/commons/commons-jci-eclipse/1.0/commons-jci-eclipse-1.0.jar
> org/apache/commons/commons-jci-janino/1.0/commons-jci-janino-1.0.jar
> org/apache/commons/commons-jci-core/1.0/commons-jci-core-1.0.jar
> org/apache/commons/commons-jci-fam/1.0/commons-jci-fam-1.0.jar
> org/jrobin/jrobin/1.5.8/jrobin-1.5.8.jar
> org/acegisecurity/acegi-security/1.0.5/acegi-security-1.0.5.jar
> org/drools/drools-core/3.0.5/drools-core-3.0.5.jar
> org/drools/drools-compiler/3.0.5/drools-compiler-3.0.5.jar
> org/snmp4j/snmp4j/1.8.1/snmp4j-1.8.1.jar
> org/snmp4j/snmp4j-agent/1.1.1/snmp4j-agent-1.1.1.jar
> org/gwtwidgets/gwt-widgets/0.1.3/gwt-widgets-0.1.3.jar
> org/gwtwidgets/gwt-widgets-server/0.1.2/gwt-widgets-server-0.1.2.jar
> alt/dev/jmta/jmta/1.0/jmta-1.0.jar
> openldap/jldap/2005.10.03/jldap-2005.10.03.jar
> fast-md5/fast-md5/2.6.1/fast-md5-2.6.1.jar
> jep/jep/2.40/jep-2.40.jar
> rome/rome/0.9/rome-0.9.jar
> sablecc/sablecc/2.18.2/sablecc-2.18.2.jar
>
> Остальные есть либо планируются.
>
> До указаных библиотек у меня в близжайшее время руки не дойдут.
> Их либо собрать, либо хотя бы (вместе с pom) упаковать 
> в opennms-bootstrap-bundle-0.1-alt1
>   
Я конечно предпочитаю собрать. Посоветуйте эталонный пакет для примера.
И еще вопрос: Исходники Вы откуда берете? Или закачиваете прямо из
репозитария и сами делаете tar.gz?
> и пользоваться им при сборке и работе приложения.
> Уже полегче будет чем 250 Mb.
>   
Я не очень представляю механизм интеграции недостающих плагинов в
репозитарий установленный из rpm. Можно указывать 2 репозитария?
> И я бы советовал немного подождать. 
> Прогресс, он на месте не стоит.
>   
Вы думаете это кто-то сделает за нас?

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Igor Vlasenko]

On Thu, Nov 29, 2007 at 08:44:26AM +0200, Slava Dubrovskiy wrote:
> > Остальные есть либо планируются.
> > До указаных библиотек у меня в близжайшее время руки не дойдут.
> > Их либо собрать, либо хотя бы (вместе с pom) упаковать 
> > в opennms-bootstrap-bundle-0.1-alt1
> Я конечно предпочитаю собрать. Посоветуйте эталонный пакет для примера.

зависит от способа сборки.
сборка с ant, maven1, maven2 

> И еще вопрос: Исходники Вы откуда берете? 
На домашней странице проекта.
Но в основном я допиливаю готовые rpm.
написал достаточно мощную систему jppimport 
ссылки по теме:
[Что такое jppimport и как использовать
http://www.freesource.info/wiki/Altlinux/Policy/Java/JavaMainThings?v=c0z&search=Java#h8063-4
http://git.altlinux.org/people/viy/packages/?p=jppimport.git;a=summary
]
а импортирую из jpackage 1.7 и Федоры.

> > И я бы советовал немного подождать. 
> > Прогресс, он на месте не стоит.
> Вы думаете это кто-то сделает за нас?
Именно :)
Например,
Порывшись в гугле, увидел, что как минимум для половины 
моего прошлого списка есть пакеты в jpackage 1.6.

Конечно, это legacy и придется повозиться, чтобы они собрались с новыми
библиотеками, но уже меньше работы.
"Если пакет есть на JPackage, незачем делать дурную работу за робота."
Так что планируется уже больше.

еще цитируя
((http://www.freesource.info/wiki/Altlinux/Policy/Java/JavaMainThings?v=c0z&search=Java Что сейчас возможно сделать, для пересборки jpackage-хозяйства.))

viy > поэтому реальная ценность jpackage
в том, что он задает стандарты именования. Потому и топы (RH/FC Md Su SE? etc) сидят на нем.
...
viy > а стандартность играет. по опыту, и это прискорбно, у меня расход сил на пляску с бубном вокруг 1 нестандарта от старой team был приблиз. равен расходу сил на импорт 10-30 jar из jpackage. 



-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Igor Vlasenko]

On Thu, Nov 29, 2007 at 08:44:26AM +0200, Slava Dubrovskiy wrote:
> Я не очень представляю механизм интеграции недостающих плагинов в
> репозитарий установленный из rpm. Можно указывать 2 репозитария?

В сборку maven вшит путь к external репозиторию в /usr/share/maven2,
с симлинками в /usr/share/java, 
куда и желательно установить из rpm,
параллельно можно  указать -Dmaven.repo.local=local path
и набросать туда вручную. Есть и другие варианты.

Гм. эти вопросы были бы полезны всем желающим собирать жаву,
Думаю, стоило бы детально разобрать несколько сборок с занесением 
процесса сборки в wiki.

Может, договоримся на той неделе
о jabber - сессии по упаковке пары - тройки пакетов
из входящих в зависимости opennms?

Я потом причешу эти логи в HOWTO.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] Сборка и упаковка opennms (используется maven2)

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1360 bytes --]

Igor Vlasenko пишет:
>> Я не очень представляю механизм интеграции недостающих плагинов в
>> репозитарий установленный из rpm. Можно указывать 2 репозитария?
>>     
> В сборку maven вшит путь к external репозиторию в /usr/share/maven2,
> с симлинками в /usr/share/java, 
> куда и желательно установить из rpm,
> параллельно можно  указать -Dmaven.repo.local=local path
> и набросать туда вручную. Есть и другие варианты.
>   
Спасибо. Это лучше.
> Гм. эти вопросы были бы полезны всем желающим собирать жаву,
> Думаю, стоило бы детально разобрать несколько сборок с занесением 
> процесса сборки в wiki.
>   
Так и планировал.
> Может, договоримся на той неделе
> о jabber - сессии по упаковке пары - тройки пакетов
> из входящих в зависимости opennms?
>   
Это было бы просто здорово.
Можно и не в джабере. ;-) 

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

[devel] packaging sessions

[Michael Shigorin]

On Fri, Nov 30, 2007 at 08:34:29AM +0200, Slava Dubrovskiy wrote:
> > Может, договоримся на той неделе о jabber - сессии по
> > упаковке пары - тройки пакетов из входящих в зависимости
> > opennms?
> Это было бы просто здорово.  Можно и не в джабере. ;-) 

BTW при желании можно организовывать такие семинары/сессии 
в нашем офисе (Киев).  Особенно если желающих синхронизироваться
больше двоих ;-)

PS: а ещё тут довольно давно витает в воздухе тема мастер-класса
по RPM -- мож тоже доберёмся?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Сборка и упаковка opennms ( используется maven2)

[Sergey Y. Afonin]

On Monday 26 November 2007, Slava Dubrovskiy wrote:

> Вопрос: Возможно ли чтобы в пакетах maven2 было все что есть в
> репозитариях интернета? Как можно помочь ускорить этот процесс?
 
А чем всё закончилось ? Пакета, как я смотрю, в Сизифе нет пока ?

-- 
С уважением, Сергей Афонин
asy@altlinux.ru