[devel] %find_lang test and policy

[devel] %find_lang test and policy

[Igor Vlasenko]

Уважаемые коллеги,
по заказу Юрия Седунова пишу новый тест repocop 
на выявление непомеченных как %lang(..)
локально-зависимых файлов.

Обоснование теста вынесено с ОсобенностиСборкиПакетов
в отдельную страницу 
http://www.altlinux.org/FindLangPolicy
чтобы лучше документировать,
а так же чтобы формально принять как полиси 
(фактически оно действует).

Прошу принять как полиси.

Уже только по поводу не помеченных 
/usr/share/locale/* 
под ругань будущего теста попадает 476 пакетов,

некоторые (пример - cups) за записи в спеке вида 
%_datadir/locale/*/*.po 

некоторые (пример - freeciv-common) -
из - за (возможно) ошибки в самом %find_lang.

Прежде чем писать тест, хотелось бы узнать
мнение Дмитрия о %find_lang + freeciv-common.

select pkgid, filename,filelang from rpm_files where filename glob '/usr/share/locale/*' AND filelang = '' AND pkgid glob 'freeciv-*';
freeciv-common-2.1.10-alt1.noarch|/usr/share/locale/en_GB/LC_MESSAGES/freeciv.mo|

Т.е. /usr/share/locale/en_GB/LC_MESSAGES/freeciv.mo
не помечен как %lang(en_GB).
С чем это связанно?

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1588 bytes --]

On Fri, Feb 26, 2010 at 10:07:51PM +0200, Igor Vlasenko wrote:
> Уважаемые коллеги,
> по заказу Юрия Седунова пишу новый тест repocop 
> на выявление непомеченных как %lang(..)
> локально-зависимых файлов.
> 
> Обоснование теста вынесено с ОсобенностиСборкиПакетов
> в отдельную страницу 
> http://www.altlinux.org/FindLangPolicy
> чтобы лучше документировать,
> а так же чтобы формально принять как полиси 
> (фактически оно действует).
> 
> Прошу принять как полиси.
> 
> Уже только по поводу не помеченных 
> /usr/share/locale/* 
> под ругань будущего теста попадает 476 пакетов,

476 пакетов -- это очень много.  Скорее всего, это значит, что надо искать
какой-то другой подход.  Например, реализовать в rpm-build дополнительный
функционал по автоматическому навешиванию правильного %lang на файлы
специального вида.

> некоторые (пример - cups) за записи в спеке вида 
> %_datadir/locale/*/*.po 
> 
> некоторые (пример - freeciv-common) -
> из - за (возможно) ошибки в самом %find_lang.
> 
> Прежде чем писать тест, хотелось бы узнать
> мнение Дмитрия о %find_lang + freeciv-common.
> 
> select pkgid, filename,filelang from rpm_files where filename glob '/usr/share/locale/*' AND filelang = '' AND pkgid glob 'freeciv-*';
> freeciv-common-2.1.10-alt1.noarch|/usr/share/locale/en_GB/LC_MESSAGES/freeciv.mo|
> 
> Т.е. /usr/share/locale/en_GB/LC_MESSAGES/freeciv.mo
> не помечен как %lang(en_GB).
> С чем это связанно?

Я проверил, freeciv/po/en_GB.po содержит перевод с AmE на BrE.
Однако %find_lang обучен не вешать %lang(en).


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Sat, Feb 27, 2010 at 01:26:38AM +0300, Dmitry V. Levin wrote:
> On Fri, Feb 26, 2010 at 10:07:51PM +0200, Igor Vlasenko wrote:
> > Уважаемые коллеги,
> > по заказу Юрия Седунова пишу новый тест repocop 
> > на выявление непомеченных как %lang(..)
> > локально-зависимых файлов.
> > 
> > Обоснование теста вынесено с ОсобенностиСборкиПакетов
> > в отдельную страницу 
> > http://www.altlinux.org/FindLangPolicy
> > чтобы лучше документировать,
> > а так же чтобы формально принять как полиси 
> > (фактически оно действует).
> > 
> > Прошу принять как полиси.
> > 
> > Уже только по поводу не помеченных 
> > /usr/share/locale/* 
> > под ругань будущего теста попадает 476 пакетов,
> 
> 476 пакетов -- это очень много.  

Если исключить en_US, en_GB, связанные с текущей реализацией
%find_lang, останется 87:
select count(distinct pkgid) from rpm_files where filename glob '/usr/share/locale/*' AND filelang = '' AND filename not glob '/usr/share/locale/en*';
87

Это уже скорее всего записи в спеке вида 
%_datadir/locale/*/*.po 
 
> > Т.е. /usr/share/locale/en_GB/LC_MESSAGES/freeciv.mo
> > не помечен как %lang(en_GB).
> > С чем это связанно?
> Я проверил, freeciv/po/en_GB.po содержит перевод с AmE на BrE.
> Однако %find_lang обучен не вешать %lang(en).

ок, отмечу на
http://www.altlinux.org/FindLangPolicy

> Скорее всего, это значит, что надо искать
> какой-то другой подход.  Например, реализовать в rpm-build дополнительный
> функционал по автоматическому навешиванию правильного %lang на файлы
> специального вида.

Ок, тогда не буду торопиться,
жду вашего решения.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Sat, Feb 27, 2010 at 01:26:38AM +0300, Dmitry V. Levin wrote:
> On Fri, Feb 26, 2010 at 10:07:51PM +0200, Igor Vlasenko wrote:
> > Уважаемые коллеги,
> > по заказу Юрия Седунова пишу новый тест repocop 
> > на выявление непомеченных как %lang(..)
> > локально-зависимых файлов.

> > некоторые (пример - cups) за записи в спеке вида 
> > %_datadir/locale/*/*.po 

за записи в спеке вида
%_datadir/locale/*/*.mo.

cups -- особое исключение, там действительно упакованы
не %_datadir/locale/*/*.mo а %_datadir/locale/*/*.po.
тоже работает, но по хорошему их бы msgfmt'нуть.

про .po файлы тоже наверное надо прописать
в полиси что-то вроде 
"Должны быть преобразованы в .mo формат"

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Sat, Feb 27, 2010 at 01:26:38AM +0300, Dmitry V. Levin wrote:
> Я проверил, freeciv/po/en_GB.po содержит перевод с AmE на BrE.
> Однако %find_lang обучен не вешать %lang(en).

en_CA, en_GB,... стоило бы.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Sergei Epiphanov]

В сообщении от 26 февраля 2010 23:07:51 автор Igor Vlasenko написал:
> select pkgid, filename,filelang from rpm_files where filename glob
> '/usr/share/locale/*' AND filelang = '' AND pkgid glob 'freeciv-*';
> freeciv-common-2.1.10-alt1.noarch|/usr/share/locale/en_GB/LC_MESSAGES/free
> civ.mo|

А зачем в вывод команды добавлять filelang, если всё равно будут выбраны 
только те записи, где это поле пустое?

P.S. И где можно увидеть список пакетов, оказавшихся под подозрением? Или 
сообщения будут направлены лично мантейнерам этих пакетов?

-- 
С уважением, Епифанов Сергей

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Sat, Feb 27, 2010 at 10:09:55AM +0300, Sergei Epiphanov wrote:
> В сообщении от 26 февраля 2010 23:07:51 автор Igor Vlasenko написал:
> > select pkgid, filename,filelang from rpm_files where filename glob
> > '/usr/share/locale/*' AND filelang = '' AND pkgid glob 'freeciv-*';
> > freeciv-common-2.1.10-alt1.noarch|/usr/share/locale/en_GB/LC_MESSAGES/free
> > civ.mo|
> 
> А зачем в вывод команды добавлять filelang, если всё равно будут выбраны 
> только те записи, где это поле пустое?

остаток другого запроса. Запросы можно выполнить и самостоятельно,
скачать  
http://repocop.altlinux.org/pub/repocop/data/repocop-data-current.tar.gz
и sqlite3 .repocop/db/rpm.db
 
> P.S. И где можно увидеть список пакетов, оказавшихся под подозрением? Или 
> сообщения будут направлены лично мантейнерам этих пакетов?

Вот список с учетом допустимости текущего поведения %find_lang:

accerciser-1.4.0-alt2.qa1.x86_64
assogiate-0.2.1-alt1.x86_64
bluefish-unstable-common-1.3.8-alt1.1.noarch
boinc-manager-6.4.5-alt3.qa1.x86_64
celestia-common-1.6.0-alt4.qa1.x86_64
chestnut-dialer-0.3.3-alt8.1.noarch
cups-1.4.2-alt2.x86_64
desproxy-0.1.0-alt0.2.x86_64
driconf-0.9.1-alt1.1.1.noarch
ejudge-2.3.15-alt7.x86_64
flphoto-1.3.1-alt4.x86_64
gq-1.0.1-alt2.2.qa1.x86_64
heartbeat-gui-2.1.3-alt3.1.x86_64
hex-a-hop-1.0.0-alt3.x86_64
kde-i18n-be-3.5.10-alt1.noarch
kde-i18n-de-3.5.10-alt1.noarch
kde-i18n-es-3.5.10-alt1.noarch
kde-i18n-et-3.5.10-alt1.noarch
kde-i18n-fr-3.5.10-alt1.noarch
kde-i18n-he-3.5.10-alt1.noarch
kde-i18n-kk-3.5.10-alt1.noarch
kde-i18n-pt_BR-3.5.10-alt1.noarch
kde-i18n-ru-3.5.10-alt2.noarch
kde-i18n-tt-3.4.1-alt0.4.noarch
kde-i18n-tt_RU-3.5.9-alt1.noarch
kde-i18n-uk-3.5.10-alt1.noarch
kmplayer-0.10.0c-alt1.qa1.x86_64
krb5-ticket-watcher-1.0.2-alt3.x86_64
lgeneral-1.2-alt5.x86_64
libdiacanvas2-0.14.4-alt2.x86_64
libgnomeoffice-devel-0.8.0-alt1.x86_64
libgnomeoffice-light-devel-0.7.17-alt1.x86_64
libtorgdev-3.5-alt2.x86_64
libxdtv-i18n-ru-2.4.0-alt3.1.qa1.x86_64
listen-0.6.3-alt2.1.x86_64
logintop10-1.9-alt2.x86_64
mirage-0.9.2-alt1.2.x86_64
mplayer-i18n-ru-1.0-alt35.30485.3.noarch
mplayer-i18n-uk-1.0-alt35.30485.3.noarch
openscada-0.6.4.1-alt2.x86_64
openscada-Archive.DBArch-0.6.4.1-alt2.x86_64
openscada-Archive.FSArch-0.6.4.1-alt2.x86_64
openscada-DAQ.BlockCalc-0.6.4.1-alt2.x86_64
openscada-DAQ.DAQGate-0.6.4.1-alt2.x86_64
openscada-DAQ.DCON-0.6.4.1-alt2.x86_64
openscada-DAQ.JavaLikeCalc-0.6.4.1-alt2.x86_64
openscada-DAQ.LogicLev-0.6.4.1-alt2.x86_64
openscada-DAQ.ModBus-0.6.4.1-alt2.x86_64
openscada-DAQ.SNMP-0.6.4.1-alt2.x86_64
openscada-DAQ.Siemens-0.6.4.1-alt2.x86_64
openscada-DAQ.SoundCard-0.6.4.1-alt2.x86_64
openscada-DAQ.System-0.6.4.1-alt2.x86_64
openscada-DB.DBF-0.6.4.1-alt2.x86_64
openscada-DB.FireBird-0.6.4.1-alt2.x86_64
openscada-DB.MySQL-0.6.4.1-alt2.x86_64
openscada-DB.SQLite-0.6.4.1-alt2.x86_64
openscada-Protocol.HTTP-0.6.4.1-alt2.x86_64
openscada-Protocol.SelfSystem-0.6.4.1-alt2.x86_64
openscada-Special.FLibComplex1-0.6.4.1-alt2.x86_64
openscada-Special.FLibMath-0.6.4.1-alt2.x86_64
openscada-Special.FLibSYS-0.6.4.1-alt2.x86_64
openscada-Special.SystemTests-0.6.4.1-alt2.x86_64
openscada-Transport.SSL-0.6.4.1-alt2.x86_64
openscada-Transport.Serial-0.6.4.1-alt2.x86_64
openscada-Transport.Sockets-0.6.4.1-alt2.x86_64
openscada-UI.QTCfg-0.6.4.1-alt2.x86_64
openscada-UI.QTStarter-0.6.4.1-alt2.x86_64
openscada-UI.VCAEngine-0.6.4.1-alt2.x86_64
openscada-UI.Vision-0.6.4.1-alt2.x86_64
openscada-UI.WebCfg-0.6.4.1-alt2.x86_64
openscada-UI.WebCfgD-0.6.4.1-alt2.x86_64
openscada-UI.WebVision-0.6.4.1-alt2.x86_64
packages-info-i18n-be-0.2-alt2.noarch
packages-info-i18n-ru-0.2-alt4.noarch
packages-info-i18n-uk-0.2-alt2.noarch
purple-plugin-bot-sentry-1.1.0-alt3.x86_64
remount_rw-0.2-alt1.x86_64
rox-base-2.5-alt1.x86_64
sos-1.7.9.1-alt1.1.noarch
sugar-pippy-activity-25-alt3.1.x86_64
tornado-1.3-alt1.x86_64
uvcview-20071108-alt1.1.qa1.x86_64
wammu-0.30.1-alt2.1.noarch
widelands-b13-alt1.x86_64
xblast-2.10.3-alt1.qa1.x86_64
xcowsay-1.1-alt1.x86_64
xlockmore-5.27-alt5.x86_64



-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 240 bytes --]

27.02.2010 02:35, Igor Vlasenko пишет:
...
> про .po файлы тоже наверное надо прописать
> в полиси что-то вроде 
> "Должны быть преобразованы в .mo формат"

  А что это за зверь такой, .mo формат?

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 554 bytes --]

Re: [devel] %find_lang test and policy

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 449 bytes --]

On Sun, Feb 28, 2010 at 06:43:18PM +0300, Aleksey Avdeev wrote:
> > про .po файлы тоже наверное надо прописать
> > в полиси что-то вроде 
> > "Должны быть преобразованы в .mo формат"
>   А что это за зверь такой, .mo формат?
binary message catalog, вестимо.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(6):

Но, с другой стороны, если ничего не делать, то ничего в лучшую сторону
и не изменится.
		-- ldv in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 490 bytes --]

Re: [devel] %find_lang test and policy

[Michael Shigorin]

On Sun, Feb 28, 2010 at 06:43:18PM +0300, Aleksey Avdeev wrote:
> > про .po файлы тоже наверное надо прописать
> > в полиси что-то вроде 
> > "Должны быть преобразованы в .mo формат"
> А что это за зверь такой, .mo формат?

Скомпилированный .po, см. msgfmt(1) и msgunfmt(1)
из gettext-tools.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] %find_lang test and policy

[Victor Forsiuk]

2010/2/27 Igor Vlasenko <vlasenko@imath.kiev.ua>:
>
> Вот список с учетом допустимости текущего поведения %find_lang:

[...]
> flphoto-1.3.1-alt4.x86_64

Прошу внести в список иключений.

http://sisyphus.ru/ru/srpm/Sisyphus/flphoto/spec:

# Author used home-made message translation implementation, message files are
# not standard and have no usual .mo extension. So, we cannot use find_lang.
%_datadir/locale/*/*


> kde-i18n-be-3.5.10-alt1.noarch
> kde-i18n-de-3.5.10-alt1.noarch
> kde-i18n-es-3.5.10-alt1.noarch
> kde-i18n-et-3.5.10-alt1.noarch
> kde-i18n-fr-3.5.10-alt1.noarch
> kde-i18n-he-3.5.10-alt1.noarch
> kde-i18n-kk-3.5.10-alt1.noarch
> kde-i18n-pt_BR-3.5.10-alt1.noarch
> kde-i18n-ru-3.5.10-alt2.noarch
> kde-i18n-tt-3.4.1-alt0.4.noarch
> kde-i18n-tt_RU-3.5.9-alt1.noarch
> kde-i18n-uk-3.5.10-alt1.noarch

> mplayer-i18n-ru-1.0-alt35.30485.3.noarch
> mplayer-i18n-uk-1.0-alt35.30485.3.noarch
> packages-info-i18n-be-0.2-alt2.noarch
> packages-info-i18n-ru-0.2-alt4.noarch
> packages-info-i18n-uk-0.2-alt2.noarch

А для таких пакетов особой пользы от расстановки lang() я не вижу. А
вот то как это может поработать граблями - запросто...

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Mon, Mar 01, 2010 at 04:07:44PM +0200, Victor Forsiuk wrote:
> > flphoto-1.3.1-alt4.x86_64
> Прошу внести в список иключений.

Ок, не проблема, постараюсь запомнить. 
Я пока сами тесты не писал. сначала хочу прояснить, 
что есть норма и что- нарушение. Как только полиси 
будет написано и принято, по нему сделаю тесты.


> kde-i18n-be-3.5.10-alt1.noarch
> mplayer-i18n-uk-1.0-alt35.30485.3.noarch
> packages-info-i18n-be-0.2-alt2.noarch
[...]

> А для таких пакетов особой пользы от расстановки lang() я не вижу. А
> вот то как это может поработать граблями - запросто...

Вписал в черновик http://www.altlinux.org/FindLangPolicy

* Допускается не помечать файлы, входящие в подпакеты 
  c разбивкой по языкам вида *-i18n-<lang>. 

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Slava Semushin]

1 марта 2010 г. 20:07 пользователь Victor Forsiuk <force@altlinux.org> написал:
> 2010/2/27 Igor Vlasenko <vlasenko@imath.kiev.ua>:
>>
>> Вот список с учетом допустимости текущего поведения %find_lang:
>
> [...]
>> flphoto-1.3.1-alt4.x86_64
>
> Прошу внести в список иключений.
>
> http://sisyphus.ru/ru/srpm/Sisyphus/flphoto/spec:
>
> # Author used home-made message translation implementation, message files are
> # not standard and have no usual .mo extension. So, we cannot use find_lang.
> %_datadir/locale/*/*

Вообще-то можно. Много лет назад aris@ научил меня как можно искать
файлы локализации в нестандартных местах или с нестандартным
расширением. В качестве примера можете взглянуть на fluxbox.spec


-- 
Slava Semushin

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Fri, Feb 26, 2010 at 10:07:51PM +0200, Igor Vlasenko wrote:
> Уважаемые коллеги,
> по заказу Юрия Седунова пишу новый тест repocop 
> на выявление непомеченных как %lang(..)
> локально-зависимых файлов.
> 
> Обоснование теста вынесено с ОсобенностиСборкиПакетов
> в отдельную страницу 
> http://www.altlinux.org/FindLangPolicy
> чтобы лучше документировать,
> а так же чтобы формально принять как полиси 
> (фактически оно действует).
> 
> Прошу принять как полиси.

Период времени для обсуждений истек,
возражений не поступало. Страница 
http://www.altlinux.org/FindLangPolicy
помечена как действующее полиси.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Впрочем, там нового ничего нет, все что и так соблюдается,
просто оформлено как полиси.

Re: [devel] %find_lang test and policy

[Igor Vlasenko]

On Fri, Mar 19, 2010 at 05:47:53PM +0200, Victor Forsiuk wrote:
> > On Mon, Mar 01, 2010 at 04:07:44PM +0200, Victor Forsiuk wrote:
> > > > flphoto-1.3.1-alt4.x86_64
> > > Прошу внести в список иключений.
> Please disregard this. 

Сделал, на днях выложу.

> > Вписал в черновик http://www.altlinux.org/FindLangPolicy
> >
> > * Допускается не помечать файлы, входящие в подпакеты
> >  c разбивкой по языкам вида *-i18n-<lang>.

Поддерживаю, вносите на wiki,
если будет обоснованные возражения, всегда можно откатить.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine

Re: [devel] %find_lang test and policy

[Sergey V Turchin]

[-- Attachment #1: Type: Text/Plain, Size: 1187 bytes --]

On Friday 19 March 2010, Victor Forsiuk wrote:

[...]
> > * Допускается не помечать файлы, входящие в подпакеты
> > 
> >  c разбивкой по языкам вида *-i18n-<lang>.
> 
> Я понимаю, что уже опоздал к моменту формального объявления этих
> предложений как полиси (ну, заработался, забыл, раньше надо было
> писать), но с другой стороны полиси для нас, а не мы для полиси.
> Так ведь? ;)
> 
> Я предлагаю всё таки изменить формулировку касающуюся
> языкоспецифичных пакетов.
> 
> *Не следует помечать файлы, входящие в подпакеты c разбивкой по
> языкам вида *-i18n-<lang>
> *
> 
> Зачем введен в rpm механизм тэгирования файлов как
> locale-специфичных? Для того, чтобы при установке пакетов с
> такими файлами можно было в зависмости от текущих настроек
> устанавливать только языкове файлы которые нас интересуют и не
> устанавливать ненужных. В том случае, когда весь пакет целиком
> состоит из NLS файлов под конкретную локаль, применение lang()
> просто не имеет никакого смысла*.*
Если инсталлятор умеет не ставить такие пакеты. Т.е. на текущий 
момент имеет смысл.

-- 
Regards, Sergey, ALT Linux, http://www.altlinux.ru/
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 198 bytes --]