[devel] Дубликаты пакетов в репозитории

[devel] Дубликаты пакетов в репозитории

[Igor Zubkov]

Hi,

Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.

branch = Branch.find_by!(name: '4.0')
branch.srpms.count # => 6877
branch.srpms.select('DISTINCT srpms.name').count # => 6868

Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).

Это в консоли prometheus2.0. Я могу могу показать список этих пакетов.

Эта проблема не относится только к 4.0 бранчу. Нужны имена всех всех
этих пакетов? И во всех бранчах?

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] Дубликаты пакетов в репозитории

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 684 bytes --]

On Tue, Jul 05, 2016 at 10:54:59PM +0300, Igor Zubkov wrote:
> Hi,
> 
> Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.
> 
> branch = Branch.find_by!(name: '4.0')
> branch.srpms.count # => 6877
> branch.srpms.select('DISTINCT srpms.name').count # => 6868
> 
> Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).
> 
> Это в консоли prometheus2.0. Я могу могу показать список этих пакетов.
> 
> Эта проблема не относится только к 4.0 бранчу. Нужны имена всех всех
> этих пакетов? И во всех бранчах?

Не совсем понятно, о чём идет речь.
Давайте посмотрим на примере какого-нибудь одного бранча, например, Сизифа.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 819 bytes --]

Re: [devel] Дубликаты пакетов в репозитории

[Alexey Tourbin]

2016-07-05 22:54 GMT+03:00 Igor Zubkov <igor.zubkov@gmail.com>:
> Hi,
>
> Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.
>
> branch = Branch.find_by!(name: '4.0')
> branch.srpms.count # => 6877
> branch.srpms.select('DISTINCT srpms.name').count # => 6868
>
> Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).

Действительно.

$ rsync -n rsync.altlinux.org::ALTLinux/4.0/branch/files/SRPMS/ |awk
'sub(/-[^-]+-[^-]+$/,"",$NF){print$NF}' |sort |uniq -D
dar
dar
gmorgan
gmorgan
ht
ht
libgtksourceview-sharp
libgtksourceview-sharp
memtest86+
memtest86+
muine
muine
orpheus
orpheus
stardict-sdcv
stardict-sdcv
wwwoffle
wwwoffle
$ rsync -n rsync.altlinux.org::ALTLinux/4.0/branch/files/SRPMS/ |fgrep
-wf <(!!)
-rw-r--r--        843,709 2006/12/29 02:38:18 dar-2.3.2-alt0.1.1.src.rpm
-rw-r--r--        871,980 2007/02/28 01:22:35 dar-2.3.3-alt1.src.rpm
-rw-r--r--        894,623 2005/01/18 17:25:23 gmorgan-0.23-alt0.5.1.src.rpm
-rw-r--r--        790,872 2006/07/11 17:12:33 gmorgan-0.25-alt1.src.rpm
-rw-r--r--        739,181 2006/01/07 23:06:14 ht-0.9.1-alt2.src.rpm
-rw-r--r--        774,564 2006/06/05 10:32:23 ht-0.9.2-alt1.src.rpm
-rw-r--r--        130,951 2006/10/13 13:43:17
libgtksourceview-sharp-0.10-alt4.src.rpm
-rw-r--r--        131,035 2007/03/20 15:01:07
libgtksourceview-sharp-0.10-alt5.src.rpm
-rw-r--r--        140,224 2006/02/17 20:26:48 memtest86+-1.65-alt2.src.rpm
-rw-r--r--        140,383 2006/10/23 17:18:44 memtest86+-1.65-alt3.src.rpm
-rw-r--r--        552,501 2006/12/31 01:23:57 muine-0.8.6-alt0.3.src.rpm
-rw-r--r--        553,673 2007/03/07 11:51:15 muine-0.8.6-alt1.src.rpm
-rw-r--r--        261,879 2005/01/31 15:43:38 orpheus-1.5-alt2.src.rpm
-rw-r--r--        321,524 2006/07/02 21:23:40 orpheus-1.6-alt1.src.rpm
-rw-r--r--        176,740 2006/01/26 17:31:01 stardict-sdcv-0.4-alt0.1.src.rpm
-rw-r--r--        186,013 2006/10/15 02:24:21 stardict-sdcv-0.4.2-alt0.1.src.rpm
-rw-r--r--      1,025,673 2006/03/23 21:18:34 wwwoffle-2.8e-alt1.src.rpm
-rw-r--r--      1,083,593 2006/04/10 23:48:47 wwwoffle-2.9-alt1.src.rpm
$

Re: [devel] Дубликаты пакетов в репозитории

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 949 bytes --]

On Wed, Jul 06, 2016 at 12:13:45AM +0300, Alexey Tourbin wrote:
> 2016-07-05 22:54 GMT+03:00 Igor Zubkov <igor.zubkov@gmail.com>:
> > Hi,
> >
> > Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.
> >
> > branch = Branch.find_by!(name: '4.0')
> > branch.srpms.count # => 6877
> > branch.srpms.select('DISTINCT srpms.name').count # => 6868
> >
> > Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).
> 
> Действительно.
> 
> $ rsync -n rsync.altlinux.org::ALTLinux/4.0/branch/files/SRPMS/ |awk
> 'sub(/-[^-]+-[^-]+$/,"",$NF){print$NF}' |sort |uniq -D

И src.list это подтверждают (для 4.0 и 4.1):

$ for d in *; do f="$d/latest/files/list/src.list" && test -s "$f" && echo -n "$d: " && cut -f1 "$f" |uniq -d |wc -l; done
4.0: 9
4.1: 10
5.0: 0
5.1: 0
c6: 0
p5: 0
p6: 0
p7: 0
sisyphus: 0
t6: 0

При этом сборка пакетов в 4.0 и 4.1 была выключена более 3 лет назад...


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 819 bytes --]

Re: [devel] Дубликаты пакетов в репозитории

[Igor Zubkov]

2016-07-06 2:17 GMT+03:00 Dmitry V. Levin <ldv@altlinux.org>:
> On Wed, Jul 06, 2016 at 12:13:45AM +0300, Alexey Tourbin wrote:
>> 2016-07-05 22:54 GMT+03:00 Igor Zubkov <igor.zubkov@gmail.com>:
>> > Hi,
>> >
>> > Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.
>> >
>> > branch = Branch.find_by!(name: '4.0')
>> > branch.srpms.count # => 6877
>> > branch.srpms.select('DISTINCT srpms.name').count # => 6868
>> >
>> > Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).
>>
>> Действительно.
>>
>> $ rsync -n rsync.altlinux.org::ALTLinux/4.0/branch/files/SRPMS/ |awk
>> 'sub(/-[^-]+-[^-]+$/,"",$NF){print$NF}' |sort |uniq -D
>
> И src.list это подтверждают (для 4.0 и 4.1):
>
> $ for d in *; do f="$d/latest/files/list/src.list" && test -s "$f" && echo -n "$d: " && cut -f1 "$f" |uniq -d |wc -l; done
> 4.0: 9
> 4.1: 10
> 5.0: 0
> 5.1: 0
> c6: 0
> p5: 0
> p6: 0
> p7: 0
> sisyphus: 0
> t6: 0
>
> При этом сборка пакетов в 4.0 и 4.1 была выключена более 3 лет назад...

 Да, это 4.0 и 4.1. 9 в 4.0 и 10 в 4.1.

-- 
Igor Zubkov
http://hi.im/ice

Re: [devel] Дубликаты пакетов в репозитории

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2033 bytes --]

On Wed, Jul 06, 2016 at 02:17:58AM +0300, Dmitry V. Levin wrote:
> On Wed, Jul 06, 2016 at 12:13:45AM +0300, Alexey Tourbin wrote:
> > 2016-07-05 22:54 GMT+03:00 Igor Zubkov <igor.zubkov@gmail.com>:
> > > Hi,
> > >
> > > Разбираясь с проблемами packages.altlinux.org я выяснил интересные вещи.
> > >
> > > branch = Branch.find_by!(name: '4.0')
> > > branch.srpms.count # => 6877
> > > branch.srpms.select('DISTINCT srpms.name').count # => 6868
> > >
> > > Тут девять лишних пакетов. srpms.name это Name: из пакета (%{NAME}).
> > 
> > Действительно.
> > 
> > $ rsync -n rsync.altlinux.org::ALTLinux/4.0/branch/files/SRPMS/ |awk
> > 'sub(/-[^-]+-[^-]+$/,"",$NF){print$NF}' |sort |uniq -D
> 
> И src.list это подтверждают (для 4.0 и 4.1):
> 
> $ for d in *; do f="$d/latest/files/list/src.list" && test -s "$f" && echo -n "$d: " && cut -f1 "$f" |uniq -d |wc -l; done
> 4.0: 9
> 4.1: 10
> 5.0: 0
> 5.1: 0
> c6: 0
> p5: 0
> p6: 0
> p7: 0
> sisyphus: 0
> t6: 0
> 
> При этом сборка пакетов в 4.0 и 4.1 была выключена более 3 лет назад...

$ for a in noarch i586 x86_64; do sed -rn "s/^([^[:space:]]+)[[:space:]][^[:space:]]+[[:space:]]$a[[:space:]].*/\\1/p" 4.0/files/list/bin.list; done |wc -l
20893
$ for a in noarch i586 x86_64; do sed -rn "s/^([^[:space:]]+)[[:space:]][^[:space:]]+[[:space:]]$a[[:space:]].*/\\1/p" 4.0/files/list/bin.list |uniq -d; done |wc -l
0

$ for a in noarch i586 x86_64; do sed -rn "s/^([^[:space:]]+)[[:space:]][^[:space:]]+[[:space:]]$a[[:space:]].*/\\1/p" 4.1/files/list/bin.list |uniq -d; done |wc -l
0
[ldv@wom ALT]$ for a in noarch i586 x86_64; do sed -rn "s/^([^[:space:]]+)[[:space:]][^[:space:]]+[[:space:]]$a[[:space:]].*/\\1/p" 4.1/files/list/bin.list; done |wc -l
24668

Т.е. в обоих случаях это было расхождение версий пакетов между
архитектурами.  Самый свежий из них в 4.1:

$ cut -f1 ../list/src.list |uniq -d |join -o2.3 - ../list/src.list |xargs -r ls -got |head -1
-rw-r--r-- 10 8729583 апр  8  2008 lazarus-0.9.24-alt3.src.rpm


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 819 bytes --]