[devel] genbasedir & unique package list

[devel] genbasedir & unique package list

[REAL]

Привет!

При добавлении новых пакетов и пересоздании genbasedir количество 
пакетов растёт, засчёт файлов старых версий пакетов. Существует ли 
какой-нибудь способ (кроме многочасового ручного выковыривания) 
очистки репозитория от таких старых файлов? Ведь в сизифе же что-то 
подобное работает.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1122 bytes --]

On Fri, Dec 04, 2009 at 12:28:47PM +0700, REAL wrote:
> Привет!
> 
> При добавлении новых пакетов и 
> пересоздании genbasedir количество пакетов 
> растёт, засчёт файлов старых версий 
> пакетов. Существует ли какой-нибудь 
> способ (кроме многочасового ручного 
> выковыривания) очистки репозитория от 
> таких старых файлов? Ведь в сизифе же 
> что-то подобное работает.

Ну как, надо упорядочить список rpm-пакетов в каталоге, во-первых,
by name ASC, во-вторых, by version DESC.  Тогда первый пакет (в группе
пакетов с одинаковым именем) будет пакет с наибольшей версией,
а остальные (следующие) пакеты с таким же именем можно удалить.

Примерно это делает /usr/bin/packages.

$ packages RPMS/ |sort -u -k1,1 |cut -f3

Получится уникальный список пакетов с наибольшей версией.
Дальше можно использовать comm(1) и из полного списка rpm пакетов
вычесть список пакетов с наибольшей версией, получится список пакетов
на удаление.

Правда это не работает при переименовании пакетов, а старые пакеты
(позднее переименованные) могут создать дополнительные трудности апту.
Но для очистки годится.

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 706 bytes --]

On Fri, Dec 04, 2009 at 12:55:23PM +0700, REAL wrote:
> Alexey Tourbin пишет:
> >Правда это не работает при 
> >переименовании пакетов, а старые пакеты
> >(позднее переименованные) могут создать 
> >дополнительные трудности апту.
> >Но для очистки годится.
> 
> Благодарю, поэкспериментирую.
> 
> А на трудности апта плевать, у него они 
> постоянно, благо старый каталог, 
> созданный genbasedir, я уже заблаговременно 
> сбэкапил ;)

genbasedir можно не использовать, а в sources.list вместо
"rpm" написать "rpm-dir".  Тогда каталог будет всё время
сканироваться заново (что не обязательно хуже, потому что,
в отличие от genbasedir, при сканировании пакеты не считываются
полностью).

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[REAL]

Alexey Tourbin пишет:
> Правда это не работает при переименовании пакетов, а старые пакеты
> (позднее переименованные) могут создать дополнительные трудности апту.
> Но для очистки годится.

Благодарю, поэкспериментирую.

А на трудности апта плевать, у него они постоянно, благо старый 
каталог, созданный genbasedir, я уже заблаговременно сбэкапил ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 888 bytes --]

On Fri, Dec 04, 2009 at 01:16:23PM +0700, REAL wrote:
> Alexey Tourbin пишет:
> >genbasedir можно не использовать, а в sources.list 
> >вместо
> >"rpm" написать "rpm-dir".  Тогда каталог будет 
> >всё время
> >сканироваться заново (что не 
> >обязательно хуже, потому что,
> >в отличие от genbasedir, при сканировании 
> >пакеты не считываются
> >полностью).
> 
> Хм. А в чём подвох? В смысле какие 
> подводные камни могут при этом 
> возникнуть, чем этот вариант может 
> проигрывать в сравнении с genbasedir? Или он 
> кристалльно чист и про genbasedir можно 
> забыть? ;)

Кристально чист, но работает только на локальной (примонтированной) фс.
Проигрывает по сравнению с genbasedir, если репозитарий большой (более
1000 пакетов) _И_ используется многократно (as is).  А если репозитарий
маленький и/или часто обновляется (как RPMS.hasher), то genbasedir хуже.

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[REAL]

Alexey Tourbin пишет:
> genbasedir можно не использовать, а в sources.list вместо
> "rpm" написать "rpm-dir".  Тогда каталог будет всё время
> сканироваться заново (что не обязательно хуже, потому что,
> в отличие от genbasedir, при сканировании пакеты не считываются
> полностью).

Хм. А в чём подвох? В смысле какие подводные камни могут при этом 
возникнуть, чем этот вариант может проигрывать в сравнении с 
genbasedir? Или он кристалльно чист и про genbasedir можно забыть? ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[REAL]

> Alexey Tourbin пишет:
>> Хм. А в чём подвох? В смысле какие 
>> подводные камни могут при этом 
>> возникнуть, чем этот вариант может 
>> проигрывать в сравнении с genbasedir? Или он 
>> кристалльно чист и про genbasedir можно 
>> забыть? ;)
> 
> Кристально чист, но работает только на локальной (примонтированной) фс.
> Проигрывает по сравнению с genbasedir, если репозитарий большой (более
> 1000 пакетов) _И_ используется многократно (as is).  А если репозитарий
> маленький и/или часто обновляется (как RPMS.hasher), то genbasedir хуже.

Тогда мне этот вариант не поможет :(

Оно используется не только мной, но и по ftp в локалке, репозиторий 
_очень_ большой, используется лично мной постоянно (я ж сборкой 
ежедневно занимаюсь). Но обновляется часто, да.


-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[Led]

On Friday, 04 December 2009 07:28:47 REAL wrote:
> Привет!
>
> При добавлении новых пакетов и пересоздании genbasedir количество
> пакетов растёт, засчёт файлов старых версий пакетов. Существует ли
> какой-нибудь способ (кроме многочасового ручного выковыривания)
> очистки репозитория от таких старых файлов? Ведь в сизифе же что-то
> подобное работает.

http://www.exmachinatech.net/01/novi/

Проверял ещё 3,5 года назад - отлично работает. Но сказали, что "нам в Сизифе 
эта фигня не нужна".

-- 
Led

Re: [devel] genbasedir & unique package list

[Rinat Bikov]

4 декабря 2009 г. 9:32 пользователь Alexey Tourbin написал:
> $ packages RPMS/ |sort -u -k1,1 |cut -f3
>
> Получится уникальный список пакетов с наибольшей версией.
> Дальше можно использовать comm(1) и из полного списка rpm пакетов
> вычесть список пакетов с наибольшей версией, получится список пакетов
> на удаление.
Мм... Можно проще сделать, без сравнения пакетов.
Я вчера как раз написал было скрипт, который просматривает список
пакетов (считая его уже отсортированным) и просто удаляет файл
предыдущего пакета, если его имя совпадает с текущим.


-- 
С уважением, Ринат Биков.

Если хочешь, чтобы человек делал то, что тебе нужно - цени его и
сделай так, чтобы он ценил тебя...

Re: [devel] genbasedir & unique package list

[Led]

On Friday, 04 December 2009 19:51:34 Rinat Bikov wrote:
> 4 декабря 2009 г. 9:32 пользователь Alexey Tourbin написал:
> > $ packages RPMS/ |sort -u -k1,1 |cut -f3
> >
> > Получится уникальный список пакетов с наибольшей версией.
> > Дальше можно использовать comm(1) и из полного списка rpm пакетов
> > вычесть список пакетов с наибольшей версией, получится список пакетов
> > на удаление.
>
> Мм... Можно проще сделать, без сравнения пакетов.
> Я вчера как раз написал было скрипт, который просматривает список
> пакетов (считая его уже отсортированным) и просто удаляет файл
> предыдущего пакета, если его имя совпадает с текущим.

Очень разумно: сортируем и *-alt10 удаляем, *-alt2 оставляем:)

-- 
Led

Re: [devel] genbasedir & unique package list

[Rinat Bikov]

4 декабря 2009 г. 21:56 пользователь Led написал:
> Очень разумно: сортируем и *-alt10 удаляем, *-alt2 оставляем:)
Ну для начала нужно добиться такой сортировки, чтобы alt10 было после
alt2. (у меня  файлы были отсортированы в нужном порядке + удаление
происходило с выводом %{VERSION}-%{RELEASE} обоих пакетов и
использовалось rm -i, благо объём удаляемых пакетов был невелик).
Если же невозможно добиться необходимой сортировки, и нужно
автоматизировать удаление, то можно сравнивать опять же у 2-х соседних
пакетов версии и релизы (тут больше проблем со сравнением версий).

-- 
С уважением, Ринат Биков.

Если хочешь, чтобы человек делал то, что тебе нужно - цени его и
сделай так, чтобы он ценил тебя...

Re: [devel] genbasedir & unique package list

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 803 bytes --]

On Fri, Dec 04, 2009 at 10:07:48PM +0400, Rinat Bikov wrote:
> 4 декабря 2009 г. 21:56 пользователь Led написал:
> > Очень разумно: сортируем и *-alt10 удаляем, *-alt2 оставляем:)
> Ну для начала нужно добиться такой сортировки, чтобы alt10 было после
> alt2. (у меня  файлы были отсортированы в нужном порядке + удаление
> происходило с выводом %{VERSION}-%{RELEASE} обоих пакетов и
> использовалось rm -i, благо объём удаляемых пакетов был невелик).
> Если же невозможно добиться необходимой сортировки, и нужно
> автоматизировать удаление, то можно сравнивать опять же у 2-х соседних
> пакетов версии и релизы (тут больше проблем со сравнением версий).

Please stop reinventing the wheel.  All sorts of things you may need for
the subject are already written and packaged.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[Led]

On Friday, 04 December 2009 20:07:48 Rinat Bikov wrote:
> 4 декабря 2009 г. 21:56 пользователь Led написал:
> > Очень разумно: сортируем и *-alt10 удаляем, *-alt2 оставляем:)
>
> Ну для начала нужно добиться такой сортировки, чтобы alt10 было после
> alt2. (у меня  файлы были отсортированы в нужном порядке + удаление
> происходило с выводом %{VERSION}-%{RELEASE} обоих пакетов и
> использовалось rm -i, благо объём удаляемых пакетов был невелик).
> Если же невозможно добиться необходимой сортировки, и нужно
> автоматизировать удаление, то можно сравнивать опять же у 2-х соседних
> пакетов версии и релизы (тут больше проблем со сравнением версий).

Т.о. нужно сортировать по %{NAME} пакета - это первый (самый простой) алгоритм 
сортировки, далее - %{VERSION} - это второй алгоритм сортировки, 
далее - %{RELEASE} - это третий алгоритм. Так что "проще сделать" сделать - 
не получится:)

А кроме версии и релиза есть ещё Epoh/Serial, которые в имени файла вообще не 
отображаются.

-- 
Led

Re: [devel] genbasedir & unique package list

[Kharitonov A. Dmitry]

04.12.2009 21:14, Led пишет:
> On Friday, 04 December 2009 20:07:48 Rinat Bikov wrote:
>    
>> 4 декабря 2009 г. 21:56 пользователь Led написал:
>>      
>>> Очень разумно: сортируем и *-alt10 удаляем, *-alt2 оставляем:)
>>>        
>> Ну для начала нужно добиться такой сортировки, чтобы alt10 было после
>> alt2. (у меня  файлы были отсортированы в нужном порядке + удаление
>> происходило с выводом %{VERSION}-%{RELEASE} обоих пакетов и
>> использовалось rm -i, благо объём удаляемых пакетов был невелик).
>> Если же невозможно добиться необходимой сортировки, и нужно
>> автоматизировать удаление, то можно сравнивать опять же у 2-х соседних
>> пакетов версии и релизы (тут больше проблем со сравнением версий).
>>      
>
Есть ещё утилита rpmevrcmp для сравнивания версий по правилам rpm

Re: [devel] genbasedir & unique package list

[Rinat Bikov]

> Please stop reinventing the wheel.  All sorts of things you may need for
> the subject are already written and packaged.

Тогда отразите решение этой проблемы на
http://www.altlinux.org/APT_в_ALT_Linux/CreateRepository, пожалуйста.
В этом случае будет выше вероятность того, что люди не будут
"изобретать колесо" в данном случае.

-- 
С уважением, Ринат Биков.

Если хочешь, чтобы человек делал то, что тебе нужно - цени его и
сделай так, чтобы он ценил тебя...

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 643 bytes --]

On Sat, Dec 05, 2009 at 04:44:43AM +0400, Rinat Bikov wrote:
> > Please stop reinventing the wheel.  All sorts of things you may need for
> > the subject are already written and packaged.
> 
> Тогда отразите решение этой проблемы на
> http://www.altlinux.org/APT_в_ALT_Linux/CreateRepository, пожалуйста.
> В этом случае будет выше вероятность того, что люди не будут
> "изобретать колесо" в данном случае.

Там ещё есть /usr/bin/rpmdups и rpmrdups, чем отличаются не помню.
Лучше не делать самодельных репозиториев, потому что это, хм, очень
сложно (и скорее всего какая-нибудь дрянь получится).  Но конечно сердцу
не прикажешь.

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[REAL]

Led пишет:
>> При добавлении новых пакетов и пересоздании genbasedir количество
>> пакетов растёт, засчёт файлов старых версий пакетов. Существует ли
>> какой-нибудь способ (кроме многочасового ручного выковыривания)
>> очистки репозитория от таких старых файлов? Ведь в сизифе же что-то
>> подобное работает.
> 
> http://www.exmachinatech.net/01/novi/

Благодарю, попробую.


-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[REAL]

Alexey Tourbin пишет:
> Там ещё есть /usr/bin/rpmdups и rpmrdups, чем отличаются не помню.

Если бы ещё хотя бы описание какое-то было... Оно даже --help не понимает.

> Лучше не делать самодельных репозиториев, потому что это, хм, очень
> сложно (и скорее всего какая-нибудь дрянь получится).  Но конечно сердцу
> не прикажешь.

А дело не в сердце, а в том, что есть ситуации, когда иного выхода нет.

PS. Ну и дряни как-то не делаем ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1878 bytes --]

On Mon, Dec 07, 2009 at 12:24:27PM +0700, REAL wrote:
> Alexey Tourbin пишет:
> >Там ещё есть /usr/bin/rpmdups и rpmrdups, чем 
> >отличаются не помню.
> 
> Если бы ещё хотя бы описание какое-то 
> было... Оно даже --help не понимает.

$ rpm -qi rpm-utils
+ rpmdups,rpmrdups - generates list of duplicated packages;

[at@altair ~]$ rpmpeek /ALT/5.0/files/SRPMS/incominger-code-0.0.1-alt1.src.rpm zsh
root@altair .private/at/rpmpeek.iq7SlCB9 # tar xf incominger-0.0.1.tar.bz2
root@altair .private/at/rpmpeek.iq7SlCB9 # grep -C1 -r rpmrdups incominger-0.0.1/
incominger-0.0.1/helper/dups-for n in `ls -1 |grep ".src.rpm\$" |cut -c1 |LC_COLLATE=C sort -u`; do
incominger-0.0.1/helper/dups:    rpmrdups "$n"*.src.rpm | cut -d\  -f2- | tr \  \\n | xargs -r $TEST rm $verbose -f --
incominger-0.0.1/helper/dups-done
--
incominger-0.0.1/bin/gaffer-    [ -n "$list" ] && 
incominger-0.0.1/bin/gaffer:    rpmrdups "$f" $list | cut -d\  -f2- | fgrep -qs "$fn" &&
incominger-0.0.1/bin/gaffer-    $TEST rm -f -- "$f" &&
--
incominger-0.0.1/bin/check-for n in `ls -1 "$src/" |grep ".src.rpm\$" |cut -c1 |LC_COLLATE=C sort -u`; do
incominger-0.0.1/bin/check:    rpmrdups "$n"*.src.rpm | cut -d\  -f2- | tr \  \\n | 
incominger-0.0.1/bin/check-    while read p; do
--
incominger-0.0.1/bin/align-    if [ "$n" -gt 1 ]; then
incominger-0.0.1/bin/align:     srpm="$(printf %s\\n "$list" | xargs -r rpmrdups |cut -d\  -f1)"
incominger-0.0.1/bin/align-    elif [ "$n" -eq 1 ]; then
root@altair .private/at/rpmpeek.iq7SlCB9 # 

> >Лучше не делать самодельных 
> >репозиториев, потому что это, хм, очень
> >сложно (и скорее всего какая-нибудь 
> >дрянь получится).  Но конечно сердцу
> >не прикажешь.
> 
> А дело не в сердце, а в том, что есть 
> ситуации, когда иного выхода нет.
> 
> PS. Ну и дряни как-то не делаем ;)

Гадость это ваша рыба заливная. :)

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 353 bytes --]

On Mon, Dec 07, 2009 at 01:50:51PM +0700, REAL wrote:
> Alexey Tourbin пишет:
> >Там ещё есть /usr/bin/rpmdups и rpmrdups, чем 
> >отличаются не помню.
> 
> Похоже, вот такое помогает, и не надо 
> огород городить:
> 
> rpmrdups $PWD/*|while read i; do \
>   rm -f `echo $i|sed 's|[^\ ]*\ \(.*\)|\1|'`; \
> done

while read i j; do
	rm $j

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] genbasedir & unique package list

[REAL]

Alexey Tourbin пишет:
> Там ещё есть /usr/bin/rpmdups и rpmrdups, чем отличаются не помню.

Похоже, вот такое помогает, и не надо огород городить:

rpmrdups $PWD/*|while read i; do \
   rm -f `echo $i|sed 's|[^\ ]*\ \(.*\)|\1|'`; \
done

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] genbasedir & unique package list

[REAL]

Alexey Tourbin пишет:
>> А дело не в сердце, а в том, что есть 
>> ситуации, когда иного выхода нет.
>>
>> PS. Ну и дряни как-то не делаем ;)
> 
> Гадость это ваша рыба заливная. :)

Ну, может быть, кошёрней заниматься мазохизмом (и садизмом по 
отношению ко всему team), как сейчас происходит с новым питоном. Но 
мне всё же думается, что пока в сборочнице нет инструментов для 
_человеческого_ способа работы над такими вещами, без своих 
репозиториев обходиться будет невозможно.

А, да, вот ещё пример: rpm5. Тут вот недавно led@ давал ссылку на 
novi, хорошо, что не понадобилось, обошлось rpmrdups, так вот чтобы 
этот novi использовать или хотя бы собрать, нужен как раз rpm5, а его 
в сизифе нет, и неизвестно ещё, когда объявится... И если бы только 
rpm5, тут ведь и другие есть пакеты, которые кому-то хочется держать у 
себя более правильной (со своей точки зрения) сборки, чем в сизифе, 
особенно если дело касается тех, которые ставятся в базовый чрут хэшера.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

[devel] [JT] HOBbI (was: genbasedir & unique package list)

[Michael Shigorin]

On Mon, Dec 07, 2009 at 02:34:29PM +0700, REAL wrote:
> А, да, вот ещё пример: rpm5. Тут вот недавно led@ давал ссылку
> на novi, хорошо, что не понадобилось, обошлось rpmrdups, так
> вот чтобы этот novi использовать или хотя бы собрать, нужен как
> раз rpm5, а его в сизифе нет, и неизвестно ещё, когда
> объявится...

JFYI, novi-1.1.x с патчиком led@ третьего дня отправлен в сизиф.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/