[devel] О кодировке названий файлов

[devel] О кодировке названий файлов

[Vitaly Lipatov]

В Сизиф/Incoming отправлена стабильная версия LIBNATSPEC 0.1

Библиотека разрабатывалась как _единый_ в системе источник
информации о кодировках как локальной, так и "чужих"
файловых систем. Кодировка локальной файловой системы
первично определяется на основе текущей локали.
Проверено функционирование в локали пользователя
(ru_RU.KOI8-R, ru_RU.CP1251), локали root (POSIX), и без 
установленной локали (в двух последних случаях она берётся из
/etc/sysconfig/i18n).

Предлагается данную библиотеку использовать в нашем дистрибутиве,
а именно:

1. Включить установку переменной G_FILENAME_ENCODING
файлы для этого расположены в каталоге profile примеров)
Для возможности работы с файлами при запуске glib-программ
под другими, не соответствующими пользовательской, локалями).

2. Добавить поддержку в следующие программы
  * mount (пакет util-linux)
  * submount
  * smbmount (samba)
  * mkisofs (cdrtools), это также должно решить проблему
с установками по умолчанию для growisofs, xcdroast, k3b)

Это позволит _не указывать_ при работе с программой кодировки.
Возможность _указать_ требуемую кодировку остаётся.

Готовые патчи как примеры использования расположены в пакете:
libnatspec-devel-examples-0.1.0-alt1.i586.rpm
Описание в файлах документации README и README-ru.html

Чтобы оценить как она работает, установите
libnatspec-0.1.0-alt1.i586.rpm
и запустите
$ natspec -i

Для сборки с библиотекой используйте пакет
libnatspec-devel-0.1.0-alt1.i586.rpm
где имеются макросы для aclocal (см. README)
и файл для pkgconfig.

Описании библиотеки natspec:
http://www.freesource.info/wiki/Biblioteka_NATSPEC

Общий обзор проблемы кодировок:
http://www.freesource.info/wiki/Kodirovka_Nazvanijj_Fajjlov

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 633 bytes --]

В сообщении от Воскресенье 27 Февраль 2005 23:46 Vitaly Lipatov 
написал(a):

[...]

> 2. Добавить поддержку в следующие программы
>   * mount (пакет util-linux)
>   * submount
>   * smbmount (samba)
>   * mkisofs (cdrtools), это также должно решить проблему
Нужно добавлять поддержку не в них, а в пользователей/программы, 
которые их запускают или пишут строки для их запуска в /etc/fstab. 
hal, k3b и т.д.
Откуда mount узнает о локали пользователя, владеющего консолью, если 
она не совпадает с системной?

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [devel] О кодировке названий файлов

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 334 bytes --]

В сообщении от Понедельник 28 Февраль 2005 14:31 Sergey V Turchin 
написал(a):

[...]

> Откуда mount узнает о локали пользователя, владеющего консолью,
> если она не совпадает с системной?
Хотя здесь не прав.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [devel] О кодировке названий файлов

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 920 bytes --]

В сообщении от Понедельник 28 Февраль 2005 14:31 Sergey V Turchin 
написал(a):
> В сообщении от Воскресенье 27 Февраль 2005 23:46 Vitaly Lipatov
> написал(a):
>
> [...]
>
> > 2. Добавить поддержку в следующие программы
> >   * mount (пакет util-linux)
> >   * submount
> >   * smbmount (samba)
> >   * mkisofs (cdrtools), это также должно решить проблему
>
> Нужно добавлять поддержку не в них, а в пользователей/программы,
> которые их запускают или пишут строки для их запуска в
> /etc/fstab. hal, k3b и т.д.
> Откуда mount узнает о локали пользователя, владеющего консолью,
> если она не совпадает с системной?
А то поведение программ п.2 не контролируется, но если добавить 
опцию типа --auto-charset, то смысл внедрения либо вообще 
пропадает, либо опять же кроме них все остальное патчить.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [devel] О кодировке названий файлов

[Vitaly Lipatov]

On Tuesday 01 March 2005 14:27, Sergey V Turchin wrote:
> В сообщении от Понедельник 28 Февраль 2005 14:31 Sergey V
> Turchin
>
> написал(a):
> > В сообщении от Воскресенье 27 Февраль 2005 23:46 Vitaly
> > Lipatov написал(a):
> >
> > [...]
> >
> > > 2. Добавить поддержку в следующие программы
> > >   * mount (пакет util-linux)
> > >   * submount
> > >   * smbmount (samba)
> > >   * mkisofs (cdrtools), это также должно решить проблему
> >
> > Нужно добавлять поддержку не в них, а в
> > пользователей/программы, которые их запускают или пишут
> > строки для их запуска в /etc/fstab. hal, k3b и т.д.
> > Откуда mount узнает о локали пользователя, владеющего
> > консолью, если она не совпадает с системной?
1. Для mount используется
G_FILENAME_ENCODING,
локаль пользователя,
системную локаль
(перечислено по убыванию приоритета)
2. Вопрос не понял. То ли узнАет, то ли узнаёт.
> А то поведение программ п.2 не контролируется, но если
Поведение данных программ контролируется их параметрами
iocharset/charset
> добавить опцию типа --auto-charset, то смысл внедрения либо
Только не это.
> вообще пропадает, либо опять же кроме них все остальное
> патчить.
Патчить нужно те программы, которые имеют параметры для
указания кодировки, а сами её получить не могут.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 1733 bytes --]

В сообщении от Вторник 01 Март 2005 16:02 Vitaly Lipatov написал(a):
> On Tuesday 01 March 2005 14:27, Sergey V Turchin wrote:
> > В сообщении от Понедельник 28 Февраль 2005 14:31 Sergey V
> > Turchin
> >
> > написал(a):
> > > В сообщении от Воскресенье 27 Февраль 2005 23:46 Vitaly
> > > Lipatov написал(a):
> > >
> > > [...]
> > >
> > > > 2. Добавить поддержку в следующие программы
> > > >   * mount (пакет util-linux)
> > > >   * submount
> > > >   * smbmount (samba)
> > > >   * mkisofs (cdrtools), это также должно решить проблему
> > >
> > > Нужно добавлять поддержку не в них, а в
> > > пользователей/программы, которые их запускают или пишут
> > > строки для их запуска в /etc/fstab. hal, k3b и т.д.
> > > Откуда mount узнает о локали пользователя, владеющего
> > > консолью, если она не совпадает с системной?
>
> 1. Для mount используется
> G_FILENAME_ENCODING,
> локаль пользователя,
> системную локаль
> (перечислено по убыванию приоритета)
> 2. Вопрос не понял. То ли узнАет, то ли узнаёт.
Забыл вырезать, я ошибся про узнавание mount-ом

> > А то поведение программ п.2 не контролируется, но если
> Поведение данных программ контролируется их параметрами
> iocharset/charset
Т.е. если charset указан, его никто не трогает?

> > добавить опцию типа --auto-charset, то смысл внедрения либо
> Только не это.
Ну да

> > вообще пропадает, либо опять же кроме них все остальное
> > патчить.
> Патчить нужно те программы, которые имеют параметры для
> указания кодировки, а сами её получить не могут.
Так может патчить те программы, которые указывают опции для 
mount/mkisofs, чтоб указывали нужные ?

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

[devel] Re: О кодировке названий файлов

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 414 bytes --]

On Tue, Mar 01, 2005 at 04:20:17PM +0300, Sergey V Turchin wrote:
> > Патчить нужно те программы, которые имеют параметры для
> > указания кодировки, а сами её получить не могут.
> Так может патчить те программы, которые указывают опции для 
> mount/mkisofs, чтоб указывали нужные ?

Это антибиблиотечно.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] [JT] Re: О кодировке названий файлов

[Alexey Rusakov]

On 01.03.2005 17:01, Michael Shigorin wrote:
> On Tue, Mar 01, 2005 at 04:20:17PM +0300, Sergey V Turchin wrote:
>>>Патчить нужно те программы, которые имеют параметры для
>>>указания кодировки, а сами её получить не могут.
>>Так может патчить те программы, которые указывают опции для 
>>mount/mkisofs, чтоб указывали нужные ?
> 
> Это антибиблиотечно.
В фортунки!

-- 
   Alexey "Ktirf" Rusakov

Re: [devel] Re: О кодировке названий файлов

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 561 bytes --]

В сообщении от Вторник 01 Март 2005 17:01 Michael Shigorin 
написал(a):
> On Tue, Mar 01, 2005 at 04:20:17PM +0300, Sergey V Turchin wrote:
> > > Патчить нужно те программы, которые имеют параметры для
> > > указания кодировки, а сами её получить не могут.
> >
> > Так может патчить те программы, которые указывают опции для
> > mount/mkisofs, чтоб указывали нужные ?
>
> Это антибиблиотечно.
зато suid-ные программы остануться в покое.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

[devel] Re: О кодировке названий файлов

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 498 bytes --]

On Tue, Mar 01, 2005 at 05:54:24PM +0300, Sergey V Turchin wrote:
> > > > Патчить нужно те программы, которые имеют параметры для
> > > > указания кодировки, а сами её получить не могут.
> > > Так может патчить те программы, которые указывают опции для
> > > mount/mkisofs, чтоб указывали нужные ?
> > Это антибиблиотечно.
> зато suid-ные программы остануться в покое.

А это резонно...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: О кодировке названий файлов

[Vitaly Lipatov]

On Tuesday 01 March 2005 17:54, Sergey V Turchin wrote:

> зато suid-ные программы остануться в покое.
mount, mkisofs, submountd не имеют suid по умолчанию.
К тому же libnatspec не такая уж дыра. Если есть сомнения - и 
проаудитить можно.
Предлагаю проблемы безопасности решать не отказом от патчей.


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов

[Vitaly Lipatov]

On Tuesday 01 March 2005 16:20, Sergey V Turchin wrote:
> Т.е. если charset указан, его никто не трогает?
Безусловно.

> > Патчить нужно те программы, которые имеют параметры для
> > указания кодировки, а сами её получить не могут.
>
> Так может патчить те программы, которые указывают опции для
> mount/mkisofs, чтоб указывали нужные ?
Это было моим первым побуждением. Но я уж лучше патч на mkisofs 
напишу, чем исправлять k3b, xcdroast, и пр. Кстати, и 
непосредственно пользоваться mkisofs я хотел бы без указания 
кодировки.
Т.е. - программ, которые вызывают mount/mkisofs несравненно 
больше, и это нерационально, их если и патчить, то на другую 
тему.


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 586 bytes --]

В Вск, 27/02/2005 в 23:46 +0300, Vitaly Lipatov пишет:
>В Сизиф/Incoming отправлена стабильная версия LIBNATSPEC 0.1
<skip>
>Предлагается данную библиотеку использовать в нашем дистрибутиве,
>а именно:
>
>1. Включить установку переменной G_FILENAME_ENCODING
>файлы для этого расположены в каталоге profile примеров)
>Для возможности работы с файлами при запуске glib-программ
>под другими, не соответствующими пользовательской, локалями).
>

Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
(фанфары).

<skip>
--
Yuri N. Sedunov
02/28/05 19:55:01

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] О кодировке названий файлов

[Alexey Rusakov]

On 28.02.2005 19:58, Yuri N. Sedunov wrote:
> Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
> (фанфары).
Это теперь в диалоге открытия файла самбовые шары больше не будут 
выглядеть как Unicode в однобайтовой кодировке?

-- 
   Alexey "Ktirf" Rusakov

Re: [devel] О кодировке названий файлов

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 422 bytes --]

В Пнд, 28/02/2005 в 20:15 +0300, Alexey Rusakov пишет:
>On 28.02.2005 19:58, Yuri N. Sedunov wrote:
>> Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
>> (фанфары).
>Это теперь в диалоге открытия файла самбовые шары больше не будут 
>выглядеть как Unicode в однобайтовой кодировке?
>
Это теперь будет ровно то, о чем сказано в поскипанном Вами куске.

--
Yuri N. Sedunov
02/28/05 20:20:49

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] О кодировке названий файлов

[Вячеслав Диконов]

В Пнд, 28/02/2005 в 20:15 +0300, Alexey Rusakov пишет:
> On 28.02.2005 19:58, Yuri N. Sedunov wrote:
> > Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
> > (фанфары).
> Это теперь в диалоге открытия файла самбовые шары больше не будут 
> выглядеть как Unicode в однобайтовой кодировке?
Здесь можно почитать об этой бяке.
http://bugzilla.gnome.org/show_bug.cgi?id=92276
http://mail.gnome.org/archives/nautilus-list/2003-October/msg00089.html

Что-то должно измениться к 2.10.
-- 
Вячеслав Диконов <sdiconov@mail.ru>

Re: [devel] О кодировке названий файлов

[Alexey Rusakov]

Вячеслав Диконов wrote:

>В Пнд, 28/02/2005 в 20:15 +0300, Alexey Rusakov пишет:
>  
>
>>On 28.02.2005 19:58, Yuri N. Sedunov wrote:
>>    
>>
>>>Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
>>>(фанфары).
>>>      
>>>
>>Это теперь в диалоге открытия файла самбовые шары больше не будут 
>>выглядеть как Unicode в однобайтовой кодировке?
>>    
>>
>Здесь можно почитать об этой бяке.
>http://bugzilla.gnome.org/show_bug.cgi?id=92276
>http://mail.gnome.org/archives/nautilus-list/2003-October/msg00089.html
>
>Что-то должно измениться к 2.10.
>  
>
Нет, у меня обратная ситуация: я пытаюсь "Открыть файл" в, например, 
GEdit, и со своей системной ru_RU.KOI8-R получаю на шаре, закодированной 
в UTF-8, - Unicode, напечатанный в KOI8-R. Добавил описание в баг с 
милым номером 136613, дублем которого записали 92276.

-- 
  Alexey "Ktirf" Rusakov

Re: [devel] О кодировке названий файлов

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 729 bytes --]

В Пнд, 28/02/2005 в 19:58 +0300, Yuri N. Sedunov пишет:
> В Вск, 27/02/2005 в 23:46 +0300, Vitaly Lipatov пишет:
> >В Сизиф/Incoming отправлена стабильная версия LIBNATSPEC 0.1
> <skip>
> >Предлагается данную библиотеку использовать в нашем дистрибутиве,
> >а именно:
> >
> >1. Включить установку переменной G_FILENAME_ENCODING
> >файлы для этого расположены в каталоге profile примеров)
> >Для возможности работы с файлами при запуске glib-программ
> >под другими, не соответствующими пользовательской, локалями).
> >
> 
> Победоносное шествие началось, natspec прикручен к glib2-2.6.3-alt1.
> (фанфары).
> 

Неужели еще никто на заметил катастрофических последствий?

--
Yuri N. Sedunov
03/04/05 00:46:01

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] О кодировке названий файлов [JT]

[Vitaly Lipatov]

On Friday 04 March 2005 00:47, Yuri N. Sedunov wrote:

> > Победоносное шествие началось, natspec прикручен к
> > glib2-2.6.3-alt1. (фанфары).
>
> Неужели еще никто на заметил катастрофических последствий?
А что, они были запланированы? :)

Кстати ошибка как раз на эту тему вроде была,
но исправлена по крайней мере в ушедшем в Инкоминг
libnatspec 0.1.9.

P.S.
Все давно, наученные горьким опытом, сохраняют файлы используя 
исключительно арабские цифры в названии :)

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов [JT]

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 685 bytes --]

В Птн, 04/03/2005 в 01:09 +0300, Vitaly Lipatov пишет:
> On Friday 04 March 2005 00:47, Yuri N. Sedunov wrote:
> 
> > > Победоносное шествие началось, natspec прикручен к
> > > glib2-2.6.3-alt1. (фанфары).
> >
> > Неужели еще никто на заметил катастрофических последствий?
> А что, они были запланированы? :)
:)

> 
> Кстати ошибка как раз на эту тему вроде была,
> но исправлена по крайней мере в ушедшем в Инкоминг
> libnatspec 0.1.9.

Это ж какая такая ошибка исправлена?

> P.S.
> Все давно, наученные горьким опытом, сохраняют файлы используя 
> исключительно арабские цифры в названии :)
> 

Ага, и римские буквы.

--
Yuri N. Sedunov
03/04/05 01:16:40

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] О кодировке названий файлов [JT]

[Vitaly Lipatov]

On Friday 04 March 2005 01:30, Yuri N. Sedunov wrote:

> > Кстати ошибка как раз на эту тему вроде была,
> > но исправлена по крайней мере в ушедшем в Инкоминг
> > libnatspec 0.1.9.
>
> Это ж какая такая ошибка исправлена?
Наверное она не влияла :) Вроде natspec -f, который там и 
используется, при POSIX-локали возвращал для неё же и 
ascii-кодировку.

>
> > P.S.
> > Все давно, наученные горьким опытом, сохраняют файлы
> > используя исключительно арабские цифры в названии :)
>
> Ага, и римские буквы.
Я думал, но не решился предложить :)

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] О кодировке названий файлов [JT]

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 1239 bytes --]

В Птн, 04/03/2005 в 23:17 +0300, Vitaly Lipatov пишет:
> On Friday 04 March 2005 01:30, Yuri N. Sedunov wrote:
> 
> > > Кстати ошибка как раз на эту тему вроде была,
> > > но исправлена по крайней мере в ушедшем в Инкоминг
> > > libnatspec 0.1.9.
> >
> > Это ж какая такая ошибка исправлена?
> Наверное она не влияла :) Вроде natspec -f, который там и 
> используется, при POSIX-локали возвращал для неё же и 
> ascii-кодировку.

Надо признать, ошибка была мистического свойства. Ее даже не удалось
воспроизвести после отката назад на libnatspec-0.1.0.

$ rpm -q libnatspec
libnatspec-0.1.0-alt1
natspec -f
iso8859-1

А значение было внешне очень похожее на правду, но с эффектом, что может
вызвать именно это.

U ~/RPM/RPMS/athlon/libnatspec-0.1.9-alt1.athlon.rpm
Подготовка...
#############################################################################################
libnatspec
#############################################################################################
[aris@siver aris]$ natspec -f
koi8-r

З.Ы. В подтверждение того, что магические силы еще действуют, эволюшн
стал писать справа-налево, пришлось создать еще один экземпляр этого
письма.

--
Yuri N. Sedunov
03/05/05 00:34:22

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] О кодировке названий файлов

[Alexey Rusakov]

Yuri N. Sedunov wrote:

>Неужели еще никто на заметил катастрофических последствий?
>  
>
Извините за недалекость, но я не знаю, куда смотреть в поисках этих 
последствий. Вроде ничего не испортилось - и на том спасибо.

-- 
  Alexey "Ktirf" Rusakov