[devel] Кодировка файловой системы

[devel] Кодировка файловой системы

[Vitaly Lipatov]

Не раз сталкиваясь с проблемами кодировки, хочу ещё раз поднять 
вопрос о том, что в системе должно быть место, откуда можно 
узнать кодировку, используемую для названий файлов в системе.
Почему такого общего места, куда можно обратиться за кодировкой, 
нет?
Или для этого вполне можно использовать /etc/sysconfig/i18n ?

К этому вопросу три подтемы:

1. glib/gtk
В gtk есть обработка переменной окружения G_FILENAME_ENCODING,
которая у нас _не_ устанавливается, поэтому gtk предполагает, что
она соответствует локали. При этом всё ломается, если я хочу
запустить программу из другой локали (UTF-8 или CP1251) при 
основной koi8-r. Мне кажется, это неверно, а устанавливать 
G_FILENAME_ENCODING - не сложно

2. samba
К чему каждый раз раскомментировать там строчки про кодировку
(unix/display charset), когда они должны устанавливаться
в кодировку файловой системы / локаль автоматически?

3. Монтирование файловых систем FAT-32, NTFS, ISO9660/Jouliet
Бесконечное количество раз люди бьются с fstab, записывая
туда разные iocharset, nls_ и пр. Ну можно же брать эти параметры 
(по умолчанию) из кодировки файловой системы.

Жду конструктивных возражений или предложений.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

[devel] Re: Кодировка файловой системы

[Michael Shigorin]

On Fri, Jan 14, 2005 at 01:09:17PM +0300, Vitaly Lipatov wrote:
> Или для этого вполне можно использовать /etc/sysconfig/i18n ?

Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET", который,
скажем, для локалей с koi8-* и cp1251 будет cp1251.

И поддержать это в инсталере.

> 2. samba
> К чему каждый раз раскомментировать там строчки про кодировку
> (unix/display charset), когда они должны устанавливаться в
> кодировку файловой системы / локаль автоматически?

%post ?

> 3. Монтирование файловых систем FAT-32, NTFS, ISO9660/Jouliet
> Бесконечное количество раз люди бьются с fstab, записывая туда
> разные iocharset, nls_ и пр. Ну можно же брать эти параметры
> (по умолчанию) из кодировки файловой системы.

Инсталер.

> Жду конструктивных возражений или предложений.

Можно нарисовать какую-нить фиговину, которая пройдётся по
свежеустановленной системе и повносит... такое и делать/
расширять/фиксить проще, и считай что прототип кусочка
инсталера.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Кодировка файловой системы

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 1602 bytes --]

В Птн, 14/01/2005 в 13:09 +0300, Vitaly Lipatov пишет:
> Не раз сталкиваясь с проблемами кодировки, хочу ещё раз поднять 
> вопрос о том, что в системе должно быть место, откуда можно 
> узнать кодировку, используемую для названий файлов в системе.
> Почему такого общего места, куда можно обратиться за кодировкой, 
> нет?
> Или для этого вполне можно использовать /etc/sysconfig/i18n ?
> 
> К этому вопросу три подтемы:
> 
> 1. glib/gtk
> В gtk есть обработка переменной окружения G_FILENAME_ENCODING,
> которая у нас _не_ устанавливается, поэтому gtk предполагает, что
> она соответствует локали. При этом всё ломается, если я хочу
> запустить программу из другой локали (UTF-8 или CP1251) при 
> основной koi8-r. Мне кажется, это неверно, а устанавливать 
> G_FILENAME_ENCODING - не сложно

_________________________________________________________________________
G_FILENAME_ENCODING.  This environment variable can be set to a
comma-separated list of character set names. GLib assumes that filenames
are encoded in the first character set from that list rather than in
UTF-8. The special token "@locale" can be used to specify the character
set for the current locale. 

G_BROKEN_FILENAMES.  If this environment variable is set, GLib assumes
that filenames are in the locale encoding rather than in UTF-8.
G_FILENAME_ENCODING takes priority over G_BROKEN_FILENAMES. 
___________________________________________________________________________

Так какое значение Вы предлагаете присвоить переменной
G_FILENAME_ENCODING?


--
Yuri N. Sedunov
01/14/05 21:41:45

[-- Attachment #2: Эта часть сообщения подписана цифровой подписью --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Кодировка файловой системы

[Vitaly Lipatov]

On Friday 14 January 2005 21:47, Yuri N. Sedunov wrote:
> ______________________________________________________________
>___________ G_FILENAME_ENCODING.  This environment variable can
> be set to a comma-separated list of character set names. GLib
> assumes that filenames are encoded in the first character set
> from that list rather than in UTF-8. The special token
> "@locale" can be used to specify the character set for the
> current locale.
>
> G_BROKEN_FILENAMES.  If this environment variable is set, GLib
> assumes that filenames are in the locale encoding rather than
> in UTF-8. G_FILENAME_ENCODING takes priority over
> G_BROKEN_FILENAMES.
> ______________________________________________________________
>_____________
Я читал это.
> Так какое значение Вы предлагаете присвоить переменной
> G_FILENAME_ENCODING?
Легко.
Соответствующее системной локали. Есть такая? 
В /etc/sysconfig/i18n вроде записана.
При установке люди выбирают между
koi8-r и cp1251. Эта кодировка также является кодировкой файловой 
системы. Фактически. В чём у вас сомнения?

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] Re: Кодировка файловой системы

[Vitaly Lipatov]

On Friday 14 January 2005 14:34, Michael Shigorin wrote:
> On Fri, Jan 14, 2005 at 01:09:17PM +0300, Vitaly Lipatov wrote:
> > Или для этого вполне можно использовать /etc/sysconfig/i18n
> > ?
>
> Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET", который,
> скажем, для локалей с koi8-* и cp1251 будет cp1251.
И где использовать?

> > 2. samba
> > К чему каждый раз раскомментировать там строчки про
> > кодировку (unix/display charset), когда они должны
> > устанавливаться в кодировку файловой системы / локаль
> > автоматически?
>
> %post ?
Они ни к чему в конфиге.

> > 3. Монтирование файловых систем FAT-32, NTFS,
> > ISO9660/Jouliet Бесконечное количество раз люди бьются с
> > fstab, записывая туда разные iocharset, nls_ и пр. Ну можно
> > же брать эти параметры (по умолчанию) из кодировки файловой
> > системы.
>
> Инсталер.
Да ну? Подсоедини к своей системе дополн. диск с разделами FAT.
Как будешь разделы монтировать? Через инсталлер? Или строчки в 
fstab начнёшь копировать, если есть образец конечно?

> Можно нарисовать какую-нить фиговину, которая пройдётся по
> свежеустановленной системе и повносит... такое и делать/
> расширять/фиксить проще, и считай что прототип кусочка
> инсталера.
Я не предлагаю ничего фиксить, я говорю о том, что пока вижу 
только вред от отсутствия даже самого такого понятия, как 
кодировка файловой системы в ALT Linux.

Да, забыл ещё два пункта:

4. Архиваторы должны знать кодировку файловой системы, чтобы
в нужной кодировке сохранить названия файлов в архиве.

5. mkisofs должен знать кодировку файловой системы, чтобы
правильно создать Jouliet-расширение.


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] Кодировка файловой системы

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 162 bytes --]

В Сбт, 15/01/2005 в 02:11 +0300, Vitaly Lipatov пишет:
>  В чём у вас сомнения?

Мы не сомневаемся, вам показалось.

--
Yuri N. Sedunov
01/15/05 03:12:48

[-- Attachment #2: Эта часть сообщения подписана цифровой подписью --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Кодировка файловой системы

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 537 bytes --]

В Сбт, 15/01/2005 в 02:11 +0300, Vitaly Lipatov пишет:
> > Так какое значение Вы предлагаете присвоить переменной
> > G_FILENAME_ENCODING?
> Легко.
> Соответствующее системной локали. Есть такая? 
> В /etc/sysconfig/i18n вроде записана.
> При установке люди выбирают между
> koi8-r и cp1251. Эта кодировка также является кодировкой файловой 
> системы. Фактически. 

Так какое же, "соответствующее системной локали", значение вы
предлагаете присвоить переменной G_FILENAME_ENCODING?

--
Yuri N. Sedunov
01/15/05 03:21:27

[-- Attachment #2: Эта часть сообщения подписана цифровой подписью --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: Кодировка файловой системы

[Michael Shigorin]

On Sat, Jan 15, 2005 at 02:44:27AM +0300, Vitaly Lipatov wrote:
> > > Или для этого вполне можно использовать /etc/sysconfig/i18n
> > > ?
> > Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET", который,
> > скажем, для локалей с koi8-* и cp1251 будет cp1251.
> И где использовать?

Аккурат для codepage=.

> > > 2. samba К чему каждый раз раскомментировать там строчки
> > > про кодировку (unix/display charset), когда они должны
> > > устанавливаться в кодировку файловой системы / локаль
> > > автоматически?
> > %post ?
> Они ни к чему в конфиге.

Тогда не понял, что ты предлагаешь.

> > > Ну можно же брать эти параметры (по умолчанию) из кодировки
> > > файловой системы.
> > Инсталер.
> Да ну? Подсоедини к своей системе дополн. диск с разделами FAT.
> Как будешь разделы монтировать? Через инсталлер? Или строчки в
> fstab начнёшь копировать, если есть образец конечно?

Если юзер -- через инсталер (настраивалку), конечно.
Если я -- vim.

> > Можно нарисовать какую-нить фиговину, которая пройдётся по
> > свежеустановленной системе и повносит... такое и делать/
> > расширять/фиксить проще, и считай что прототип кусочка
> > инсталера.
> Я не предлагаю ничего фиксить, я говорю о том, что пока вижу
> только вред от отсутствия даже самого такого понятия, как
> кодировка файловой системы в ALT Linux.

Брр.  Какой?  ext3? :]  Не существует.  Остаётся локаль, в
которой конкретно взятая софтина что-то делает (возможно, она же
общесистемная).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Re: Кодировка файловой системы

[Vitaly Lipatov]

On Saturday 15 January 2005 04:51, Michael Shigorin wrote:
> On Sat, Jan 15, 2005 at 02:44:27AM +0300, Vitaly Lipatov wrote:
> > > > Или для этого вполне можно использовать
> > > > /etc/sysconfig/i18n ?
> > >
> > > Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET",
> > > который, скажем, для локалей с koi8-* и cp1251 будет
> > > cp1251.
> >
> > И где использовать?
>
> Аккурат для codepage=.
Тогда cp866 (если ты про досовскую кодировку)

> > > > 2. samba К чему каждый раз раскомментировать там строчки
> > > > про кодировку (unix/display charset), когда они должны
> > > > устанавливаться в кодировку файловой системы / локаль
> > > > автоматически?
> > >
> > > %post ?
> >
> > Они ни к чему в конфиге.
>
> Тогда не понял, что ты предлагаешь.
Нет, можно и в post прописывать в конфиге, но лучше чтобы 
умолчание бралось из системы. В конфиге, если хочешь - 
переопределяй.

> > FAT. Как будешь разделы монтировать? Через инсталлер? Или
> > строчки в fstab начнёшь копировать, если есть образец
> > конечно?
>
> Если юзер -- через инсталер (настраивалку), конечно.
> Если я -- vim.
Достаточно сложно помнить, что надо написать что-то типа
/dev/hda1  /mnt/win_c  vfat        
users,showexec,exec,forcelong,quiet,umask=0,codepage=866,iocharset=koi8-r 
0 0

> > Я не предлагаю ничего фиксить, я говорю о том, что пока вижу
> > только вред от отсутствия даже самого такого понятия, как
> > кодировка файловой системы в ALT Linux.
>
> Брр.  Какой?  ext3? :]  Не существует.  Остаётся локаль, в
> которой конкретно взятая софтина что-то делает (возможно, она
> же общесистемная).
Как написано в руководстве по нашим дистрибутивам,
"Файловая система Linux... является единым деревом".
Тут нет понятия ext3, reiserfs, FAT32 или NTFS.
И фактически все файлы в этом дереве имеют названия в 
определённой кодировке. Если монтируемая файловая система 
(ENEMY :)) имеет другую кодировку, мы используем костыли типа 
iocharset.
Или я чего-то не понимаю, и кто-то в одном каталоге хранит 
названия файлов в UTF-8, в другом - в koi8-r, в третьем - в 
cp1251?
Я считаю, что в glib совершенно верно разнесли понятия 
FILENAME_ENCODING и LOCALE. Что не так?

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] Кодировка файловой системы

[Vitaly Lipatov]

On Saturday 15 January 2005 03:26, Yuri N. Sedunov wrote:

> Так какое же, "соответствующее системной локали", значение вы
> предлагаете присвоить переменной G_FILENAME_ENCODING?
. /etc/sysconfig/i18n
G_FILENAME_ENCODING=$LANG
Если LANG может значить нечто другое, тогда внести
FILENAME_ENCODING в i18n, например.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] Кодировка файловой системы

[Vitaly Lipatov]

On Saturday 15 January 2005 03:26, Yuri N. Sedunov wrote:
> Так какое же, "соответствующее системной локали", значение вы
> предлагаете присвоить переменной G_FILENAME_ENCODING?
Для проверки предлагаю запустить gtk2-программу так:
LANG=C gimp
и увидеть, что она не сможет открыть ни одного файла, названного 
по-русски.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

[devel] Re: Кодировка файловой системы

[Michael Shigorin]

On Sat, Jan 15, 2005 at 01:19:35PM +0300, Vitaly Lipatov wrote:
> On Saturday 15 January 2005 04:51, Michael Shigorin wrote:
> > > > Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET",
> > > > который, скажем, для локалей с koi8-* и cp1251 будет
> > > > cp1251.
> > > И где использовать?
> > Аккурат для codepage=.
> Тогда cp866 (если ты про досовскую кодировку)

Стормозил %)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Re: Кодировка файловой системы

[Anton Farygin]

Vitaly Lipatov wrote:

>On Friday 14 January 2005 14:34, Michael Shigorin wrote:
>  
>
>>On Fri, Jan 14, 2005 at 01:09:17PM +0300, Vitaly Lipatov wrote:
>>    
>>
>>>Или для этого вполне можно использовать /etc/sysconfig/i18n
>>>?
>>>      
>>>
>>Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET", который,
>>скажем, для локалей с koi8-* и cp1251 будет cp1251.
>>    
>>
>И где использовать?
>
>  
>
>>>2. samba
>>>К чему каждый раз раскомментировать там строчки про
>>>кодировку (unix/display charset), когда они должны
>>>устанавливаться в кодировку файловой системы / локаль
>>>автоматически?
>>>      
>>>
>>%post ?
>>    
>>
>Они ни к чему в конфиге.
>
>  
>
>>>3. Монтирование файловых систем FAT-32, NTFS,
>>>ISO9660/Jouliet Бесконечное количество раз люди бьются с
>>>fstab, записывая туда разные iocharset, nls_ и пр. Ну можно
>>>же брать эти параметры (по умолчанию) из кодировки файловой
>>>системы.
>>>      
>>>
>>Инсталер.
>>    
>>
>Да ну? Подсоедини к своей системе дополн. диск с разделами FAT.
>Как будешь разделы монтировать? Через инсталлер? Или строчки в 
>fstab начнёшь копировать, если есть образец конечно?
>
>  
>
>>Можно нарисовать какую-нить фиговину, которая пройдётся по
>>свежеустановленной системе и повносит... такое и делать/
>>расширять/фиксить проще, и считай что прототип кусочка
>>инсталера.
>>    
>>
>Я не предлагаю ничего фиксить, я говорю о том, что пока вижу 
>только вред от отсутствия даже самого такого понятия, как 
>кодировка файловой системы в ALT Linux.
>
>Да, забыл ещё два пункта:
>
>4. Архиваторы должны знать кодировку файловой системы, чтобы
>в нужной кодировке сохранить названия файлов в архиве.
>
>5. mkisofs должен знать кодировку файловой системы, чтобы
>правильно создать Jouliet-расширение.
>
>
>  
>
Все правильно.

Я например столкнулся с такой проблемой и сделал соответствующую запись 
в /etc/sysconfig/hotplug

И еще одна подобная проблема - как определить кодировку файловой системы 
на новом устройстве ?

Rgds,
Rider

Re: [devel] Re: Кодировка файловой системы

[Вячеслав Диконов]

В Сбт, 15/01/2005 в 13:19 +0300, Vitaly Lipatov пишет:
> On Saturday 15 January 2005 04:51, Michael Shigorin wrote:
> > On Sat, Jan 15, 2005 at 02:44:27AM +0300, Vitaly Lipatov wrote:
> > > > > Или для этого вполне можно использовать
> > > > > /etc/sysconfig/i18n ?
> > > >
> > > > Тогда туда надо добавить "SUPPOSED_ENEMY_CHARSET",
> > > > который, скажем, для локалей с koi8-* и cp1251 будет
> > > > cp1251.
> > >
> > > И где использовать?
> >
> > Аккурат для codepage=.
> Тогда cp866 (если ты про досовскую кодировку)
> 
> > > > > 2. samba К чему каждый раз раскомментировать там строчки
> > > > > про кодировку (unix/display charset), когда они должны
> > > > > устанавливаться в кодировку файловой системы / локаль
> > > > > автоматически?
> > > >
> > > > %post ?
> > >
> > > Они ни к чему в конфиге.
> >
> > Тогда не понял, что ты предлагаешь.
> Нет, можно и в post прописывать в конфиге, но лучше чтобы 
> умолчание бралось из системы. В конфиге, если хочешь - 
> переопределяй.
> 
> > > FAT. Как будешь разделы монтировать? Через инсталлер? Или
> > > строчки в fstab начнёшь копировать, если есть образец
> > > конечно?
> >
> > Если юзер -- через инсталер (настраивалку), конечно.
> > Если я -- vim.
> Достаточно сложно помнить, что надо написать что-то типа
> /dev/hda1  /mnt/win_c  vfat        
> users,showexec,exec,forcelong,quiet,umask=0,codepage=866,iocharset=koi8-r 
> 0 0
> 
> > > Я не предлагаю ничего фиксить, я говорю о том, что пока вижу
> > > только вред от отсутствия даже самого такого понятия, как
> > > кодировка файловой системы в ALT Linux.
> >
> > Брр.  Какой?  ext3? :]  Не существует.  Остаётся локаль, в
> > которой конкретно взятая софтина что-то делает (возможно, она
> > же общесистемная).
> Как написано в руководстве по нашим дистрибутивам,
> "Файловая система Linux... является единым деревом".
> Тут нет понятия ext3, reiserfs, FAT32 или NTFS.
> И фактически все файлы в этом дереве имеют названия в 
> определённой кодировке. Если монтируемая файловая система 
> (ENEMY :)) имеет другую кодировку, мы используем костыли типа 
> iocharset.
> Или я чего-то не понимаю, и кто-то в одном каталоге хранит 
> названия файлов в UTF-8, в другом - в koi8-r, в третьем - в 
> cp1251?
Совершенно верно. Такое бывает.
Более того, у меня есть необходимость представлять одной конкретной
программе имена файлов в iso8859-5, потому что никакую другую кодировку
кириллицы она не понимает.

> Я считаю, что в glib совершенно верно разнесли понятия 
> FILENAME_ENCODING и LOCALE. Что не так?
Нужно в файловой системе иметь указание кодировки, или всегда хранить
имена только в уникоде. Если локаль - не уникод, то надо перекодировать.

Осталось главное - объяснить глупым американским программистам
необходимость символов сверх убогого ASCII.

-- 
Вячеслав Диконов <sdiconov@mail.ru>

[devel] Re: Кодировка файловой системы

[Michael Shigorin]

On Sat, Jan 15, 2005 at 04:30:33PM +0300, Anton Farygin wrote:
> И еще одна подобная проблема - как определить кодировку
> файловой системы на новом устройстве ?

Нууу, можно, конечно, попробовать на что-то натравить какой-нить
mguesser... но не уверен, на что именно.  Да и грустно это будет.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Re: Кодировка файловой системы

[Vitaly Lipatov]

On Monday 17 January 2005 11:57, Michael Shigorin wrote:
> On Sat, Jan 15, 2005 at 04:30:33PM +0300, Anton Farygin wrote:
> > И еще одна подобная проблема - как определить кодировку
> > файловой системы на новом устройстве ?
>
> Нууу, можно, конечно, попробовать на что-то натравить
> какой-нить mguesser... но не уверен, на что именно.  Да и
> грустно это будет.
Кодировку на коротких названиях в FAT можно предполагать на 
основании кодировки файловой системы (для koi8-r/cp1251 будет 
cp866), Для длинных названий на FAT/NTFS известно какая 
кодировка. А для остальных файловых систем ext?/reiserfs/xfs 
нужно вводить хранение кодировки или иметь предубеждение, что 
она там в UTF-8. Также потребуется перекодирование 
подмонтированной системы.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!