[Sysadmins] UTF-8 vs KOI8-R

[Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Здравствуйте.

1. OpenSSH
Имеют место проблемы при отображении и редактировании
по ssh, когда локаль клиента и сервера отличаются.
Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
При логине по ssh с клиента на сервер в xterm наблюдаются артефакты:
- при удалении символов по Backspace они остаются справа
(например, при удалении из строки "abcdefgh" хвоста "efgh" на
экране наблюдается "abcd e f g h");
- русские буквы в именах файлов отображаются "зюками"
(при вводе команд вида echo "Строка с русскими буквами" на экран
все выводится корректно).
Сервер - openssh-3.6.1p2-alt6
Клиент - openssh-4.7p1-alt1
Примечание. Такое же поведение наблюдается и при работе
с ALT Server 4.0.0.1 - openssh-4.6.p1-alt3 с локалью ru_RU.KOI8-R.

Частично проблема лечиься путем export LANG=ru_RU.UTF-8
сразу же после логина: редактирование работает правильно,
но имена файлов с русскими буквами, созданые ранее в локале ru_RU.KOI8-R,
отображаются вопросами.
И помогает только для ALTS4 - там есть локаль UTF-8, но не работает
для ALTM24 - там нет локали UTF-8.
Может, есть универсальное решение?


2. ProFTPd
ProFTPd установлен на ALT Server 4.0.0.1 с локалью ru_RU.UTF-8.
При подсоединении с ALT Desktop 4 с локалью ru_RU.UTF-8
русские имена файлов на сервере отображаются корректно.
При подсоедиении с Windows файлы имеют неправильные русские имена
(некорректная перекодировка), и при попытке получить файл
получаю ошибку No such file or directory.
Включаю перекодировку в proftpd.conf на сервере
CharsetLocale UTF8
CharsetRemote WINDOWS-1251
и из Windows вижу правильные имена файлов и могу с ними корректно работать.
Но! Теперь проблема возникает с ALT Desktop 4.0 с локалью ru_RU.UTF-8 -
файлы отображаются с некорректными именами.
Вопрос тот же - есть универсальное решение для ftp-сервера?

Кстати, если в имени файла есть буква "я", то выдается No such file
or directory на любой локали. Про эту проблему я уже где-то слышал,
но вроде бы с vsftpd такого нет.

Спасибо.

С наилучшими пожеланиями,
			Дмитрий

Re: [Sysadmins] UTF-8 vs KOI8-R

[Motsyo Gennadi aka Drool]

Dmitry пишет:
> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.

	Я из-под десктопа делаю ssh на АЛМ-2.4 из-под konsole - там вполне
корректно работает выбор кодировки.

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Motsyo Gennadi aka Drool пишет:
>> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
>> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
> 
> 	Я из-под десктопа делаю ssh на АЛМ-2.4 из-под konsole - там вполне
> корректно работает выбор кодировки.

Т.е. виноват xterm?
Попробую...

Re: [Sysadmins] UTF-8 vs KOI8-R

[Motsyo Gennadi aka Drool]

Dmitry пишет:
> Motsyo Gennadi aka Drool пишет:
>>> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
>>> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
>>
>>     Я из-под десктопа делаю ssh на АЛМ-2.4 из-под konsole - там вполне
>> корректно работает выбор кодировки.
> 
> Т.е. виноват xterm?

	Я склонен грешить на шрифты - где-то нужно их указать, да еще чтоб они
были в системе. А konsole как-то по-другому делает. Кеды, одним словом ;-)

Re: [Sysadmins] UTF-8 vs KOI8-R

[Anton Farygin]

Motsyo Gennadi aka Drool пишет:
> Dmitry пишет:
>> Motsyo Gennadi aka Drool пишет:
>>>> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
>>>> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
>>>     Я из-под десктопа делаю ssh на АЛМ-2.4 из-под konsole - там вполне
>>> корректно работает выбор кодировки.
>> Т.е. виноват xterm?
> 
> 	Я склонен грешить на шрифты - где-то нужно их указать, да еще чтоб они
> были в системе. А konsole как-то по-другому делает. Кеды, одним словом ;-)

xterm запускается юникодный. Запускайте его под локалью ru_RU.KOI8-r и 
всё будет хорошо.

Re: [Sysadmins] UTF-8 vs KOI8-R

[Eugene Prokopiev]

>  1. OpenSSH

<skip>

Чтоб ходить на машины с локалью KOI8-R, нужно прописать нечто вроде

KTerm*VT100*font: -misc-fixed-medium-r-normal--13-*-*-*-*-*-koi8-r
KTerm*VT100*boldFont: -misc-fixed-medium-r-normal--13-*-*-*-*-*-koi8-r

в ~/.Xresources и определить, что такое KTerm в по аналогии с UXTerm
(как пример см. /usr/bin/uxterm).

>  2. ProFTPd
...
>  Вопрос тот же - есть универсальное решение для ftp-сервера?

нет, только перекодировка на клиенте

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Motsyo Gennadi aka Drool пишет:
>>>> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
>>>> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
>>>     Я из-под десктопа делаю ssh на АЛМ-2.4 из-под konsole - там вполне
>>> корректно работает выбор кодировки.
>> Т.е. виноват xterm?
> 
> 	Я склонен грешить на шрифты - где-то нужно их указать, да еще чтоб они
> были в системе. А konsole как-то по-другому делает. Кеды, одним словом ;-)
Проверил.
В kconsole действительно нет проблем с редактированием
командной строки, но все равно приходится руками переключать
локаль (export LANG=ru_RU.UTF-8) чтобы утилиты нормально говорили
по-русски.

А имена файлов с русскими буквами, созданные в локале ru_RU.KOI8-R,
в локале ru_RU.UTF-8 отображаются вопросами - ??????.doc.
Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
в которой работает программа?

С наилучшими пожеланиями,
			Дмитрий

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Eugene Prokopiev пишет:
> Чтоб ходить на машины с локалью KOI8-R, нужно прописать нечто вроде
> 
> KTerm*VT100*font: -misc-fixed-medium-r-normal--13-*-*-*-*-*-koi8-r
> KTerm*VT100*boldFont: -misc-fixed-medium-r-normal--13-*-*-*-*-*-koi8-r
> 
> в ~/.Xresources и определить, что такое KTerm в по аналогии с UXTerm
> (как пример см. /usr/bin/uxterm).

Спасибо, попробую.

>>  2. ProFTPd
> ...
>>  Вопрос тот же - есть универсальное решение для ftp-сервера?
> 
> нет, только перекодировка на клиенте

Какой клиент такое умеет?

С наилучшими пожеланиями,
			Дмитрий

Re: [Sysadmins] UTF-8 vs KOI8-R

[ABATAPA]

09 апреля 2008 г. Dmitry написал:
> Какой клиент такое умеет?
Патченный vsftpd.


-- 
ABATAPA

Re: [Sysadmins] UTF-8 vs KOI8-R

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 265 bytes --]

On Wed, Apr 09, 2008 at 10:37:30PM +0400, ABATAPA wrote:
> > Какой клиент такое умеет?
> Патченный vsftpd.
Это не клиент.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Сделает кто-нибудь нормальный патч или нет?
		-- ldv in #7399

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

ABATAPA пишет:
> 09 апреля 2008 г. Dmitry написал:
>> Какой клиент такое умеет?
> Патченный vsftpd.
Клиент...

Re: [Sysadmins] UTF-8 vs KOI8-R

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 768 bytes --]

On Wed, Apr 09, 2008 at 10:27:43PM +0400, Dmitry wrote:
> В kconsole действительно нет проблем с редактированием
> командной строки, но все равно приходится руками переключать
> локаль (export LANG=ru_RU.UTF-8) чтобы утилиты нормально говорили
> по-русски.
Вообще-то подразумевается, что экземпляр (точнее вкладка) konsole, в
которой открыта ssh-сессия на систему с другой локалью, переключается в
кодировку этой локали через соответствующее меню konsole.

> Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
> в которой работает программа?
Да.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Грабли - оно штука занятная: не узнаешь, пока не наступишь. :-)
Пользуйтесь граблеискателем. :)
		-- ldv in sisyphus@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] UTF-8 vs KOI8-R

[ABATAPA]

09 апреля 2008 г. Andrey Rahmatullin написал:
> Это не клиент.
Ээээ... Да. :)


-- 
ABATAPA

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Andrey Rahmatullin пишет:
>> Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
>> в которой работает программа?
> Да.
Не хочется разводить "холивар", но такое
поведение файловой системы ext2/ext3 является нормальной?
Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
с носителем (HDD, floppy, USB, etc) на компьютер с локалью
ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?
Если проще - на одном компьютере два пользователя с разными локалями.
Они не смогут видеть правильные имена файлов, создаваемые друг другом.
Вопрос (как обычно): "Что делать?"

С наилучшими пожеланиями,
			Дмитрий

Re: [Sysadmins] UTF-8 vs KOI8-R

[Led]

Wednesday, 09 April 2008 21:51:00 Dmitry написав:
> Andrey Rahmatullin пишет:
> >> Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
> >> в которой работает программа?
> >
> > Да.
>
> Не хочется разводить "холивар", но такое
> поведение файловой системы ext2/ext3 является нормальной?
> Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
> с носителем (HDD, floppy, USB, etc) на компьютер с локалью
> ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?
> Если проще - на одном компьютере два пользователя с разными локалями.
> Они не смогут видеть правильные имена файлов, создаваемые друг другом.
> Вопрос (как обычно): "Что делать?"

Учиться.


-- 
Led

Re: [Sysadmins] UTF-8 vs KOI8-R

[Dmitry]

Led пишет:
>> поведение файловой системы ext2/ext3 является нормальной?
>> Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
>> с носителем (HDD, floppy, USB, etc) на компьютер с локалью
>> ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?
>> Если проще - на одном компьютере два пользователя с разными локалями.
>> Они не смогут видеть правильные имена файлов, создаваемые друг другом.
>> Вопрос (как обычно): "Что делать?"
> 
> Учиться.
По-подробней, пожалуйста...

Re: [Sysadmins] UTF-8 vs KOI8-R

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 1099 bytes --]

On Wed, Apr 09, 2008 at 10:51:00PM +0400, Dmitry wrote:
> поведение файловой системы ext2/ext3 является нормальной?
Нет, линукс вообще говно.
Используйте везде UTF-8 и забудьте (хихи) о проблемах с кодировками.
> Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
> с носителем (HDD, floppy, USB, etc) на компьютер с локалью
> ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?
Без бубна - нет.

> Если проще - на одном компьютере два пользователя с разными локалями.
> Они не смогут видеть правильные имена файлов, создаваемые друг другом.
Да.

> Вопрос (как обычно): "Что делать?"
Убиццо.
Разные кодировки должны сдохнуть.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

<thresh> то Павлом обзовут, то tresh'ем, теперь вот еще и 'thesh'
<hiddenman> thresh: кто посмел?
<thresh> Павлом -- ldv, последнее -- gvy
<gvy_> thresh, ооооопс, прости, сегодня они очепятки
<hiddenman> thresh: а тебя как зовут?
<gvy_> *ОДНИ*
<gvy_> Костя
<thresh> hiddenman: здрасте. /whois thresh
<hiddenman> а Павел кто?
<hiddenman> тьфу

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] UTF-8 vs KOI8-R

[Владимир]

> > Если проще - на одном компьютере два пользователя с разными локалями.
> > Они не смогут видеть правильные имена файлов, создаваемые друг другом.
надо что бы с одним разделом из доса или вин3.11 и из хр работали. тогда 
счастье будет.

Re: [Sysadmins] openssh locale

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1160 bytes --]

On Tue, Apr 08, 2008 at 08:13:49PM +0400, Dmitry wrote:
> Здравствуйте.
> 
> 1. OpenSSH
> Имеют место проблемы при отображении и редактировании
> по ssh, когда локаль клиента и сервера отличаются.
> Локаль клиента (ALT Desktop 4.0) - ru_RU.UTF-8.
> Локаль сервера (ALT Master 2.4) - ru_RU.KOI8-R.
> При логине по ssh с клиента на сервер в xterm наблюдаются артефакты:
> - при удалении символов по Backspace они остаются справа
> (например, при удалении из строки "abcdefgh" хвоста "efgh" на
> экране наблюдается "abcd e f g h");
> - русские буквы в именах файлов отображаются "зюками"
> (при вводе команд вида echo "Строка с русскими буквами" на экран
> все выводится корректно).
> Сервер - openssh-3.6.1p2-alt6
> Клиент - openssh-4.7p1-alt1
> Примечание. Такое же поведение наблюдается и при работе
> с ALT Server 4.0.0.1 - openssh-4.6.p1-alt3 с локалью ru_RU.KOI8-R.
> 
> Частично проблема лечиься путем export LANG=ru_RU.UTF-8
> сразу же после логина: редактирование работает правильно,

Между прочим, в openssh >= 4.6p1-alt1 включена по умолчанию пересылка
переменных среды, которые определяют параметры локализации.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] fs charsets

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1257 bytes --]

On Wed, Apr 09, 2008 at 10:51:00PM +0400, Dmitry wrote:
> Andrey Rahmatullin пишет:
> >>Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
> >>в которой работает программа?
> >Да.
> Не хочется разводить "холивар", но такое
> поведение файловой системы ext2/ext3 является нормальной?

Вполне.  Когда пользовательский процесс создаёт файл на файловой системе,
драйверу этой файловой системы всё равно, есть ли у пользовательского
процесса локаль.  Имя файла -- это просто последовательность байт,
удовлетворяющая некоторым требованиям, не больше и не меньше.

> Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
> с носителем (HDD, floppy, USB, etc) на компьютер с локалью
> ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?

Зная заранее о том, какие кодировки используются процессами, вы можете
предпринимать разные действия для перекодировки.  Но в общем случае, когда
вы не располагаете такой информацией, вам остаётся только гадать.

> Если проще - на одном компьютере два пользователя с разными локалями.
> Они не смогут видеть правильные имена файлов, создаваемые друг другом.
> Вопрос (как обычно): "Что делать?"

Самое простое -- использовать одинаковые кодировки.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] openssh locale

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 270 bytes --]

* Dmitry V. Levin <ldv@> [080409 23:41]:
> Между прочим, в openssh >= 4.6p1-alt1 включена по умолчанию пересылка
> переменных среды, которые определяют параметры локализации.
А наш /etc/profile.d/0lang.sh их благополучно оверрайдит? ;-)

-- 
Regards,
Sir Raorn.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] openssh locale

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 426 bytes --]

On Thu, Apr 10, 2008 at 12:00:19AM +0400, Alexey I. Froloff wrote:
> * Dmitry V. Levin <ldv@> [080409 23:41]:
> > Между прочим, в openssh >= 4.6p1-alt1 включена по умолчанию пересылка
> > переменных среды, которые определяют параметры локализации.
> А наш /etc/profile.d/0lang.sh их благополучно оверрайдит? ;-)

Если файлы ~/.i18n и /etc/sysconfig/i18n не содержат определения локали,
то не оверрайдит.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] UTF-8 vs KOI8-R

[Vyacheslav Brunev]

В сообщении от Thursday 10 April 2008 01:39:38 Dmitry написал(а):
> ABATAPA пишет:
> > 09 апреля 2008 г. Dmitry написал:
> >> Какой клиент такое умеет?
> >
> > Патченный vsftpd.
>
> Клиент...
Это умеет Krusader и gFTP.

> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
С уважением, Вячеслав.

Re: [Sysadmins] UTF-8 vs KOI8-R

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 572 bytes --]

On Wed, Apr 09, 2008 at 11:36:29PM +0400, Владимир wrote:
> > > Если проще - на одном компьютере два пользователя с разными локалями.
> > > Они не смогут видеть правильные имена файлов, создаваемые друг другом.
> надо что бы с одним разделом из доса или вин3.11 и из хр работали. тогда 
> счастье будет.
Это-то к чему?

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Насколько я понял из changelog'а, то основные изменения с версии
> 1.1.20 до версии 1.1.23 это только исправления ошибок!
Вы верите в changelog'и?
		-- ldv in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] UTF-8 vs KOI8-R

[Maxim Tyurin]

Dmitry writes:

> Andrey Rahmatullin пишет:
>>> Значит ли это, что ext2/ext3 хранит имена файлов в той локале,
>>> в которой работает программа?
>> Да.
> Не хочется разводить "холивар", но такое
> поведение файловой системы ext2/ext3 является нормальной?
> Т.е. если я создал файл на ru_RU.KOI8-R и переношу его вместе
> с носителем (HDD, floppy, USB, etc) на компьютер с локалью
> ru_RU.UTF-8, то я не увижу того имени файла, которое я задал в KOI8-R?
> Если проще - на одном компьютере два пользователя с разными локалями.
> Они не смогут видеть правильные имена файлов, создаваемые друг другом.
> Вопрос (как обычно): "Что делать?"

На USB-flash практически всегда vfat - для него указывается
кодировка. И таскать фалы между машинами с разными локалями без
проблем.
floppy ушли в туже сторону что и перфокарты :)

Для HDD - используйте jfs это единственная linux fs для которой есть
iocharset.

Если на одной машине пользователи с разными кодировками локали то они
ССЗБ. 
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] UTF-8 vs KOI8-R

[ABATAPA]

08 апреля 2008 г. Dmitry написал:
> Примечание. Такое же поведение наблюдается и при работе
> с ALT Server 4.0.0.1 - openssh-4.6.p1-alt3 с локалью ru_RU.KOI8-R.
У меня еще хуже - если захожу по ssh из xterm, то,  например, при движении 
курсора в MC нормальные строки могут сменяться артефактами (псевдографикой, 
символами других кодировок, и т.д.). После Ctrl-L или Ctrl-O/Ctrl-O все 
восстанавливается  - снова до любого изменения в панелях.


-- 
ABATAPA