[Sysadmins] Samba + русские названия в консоли

[Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 3799 bytes --]

Добрый день.

Есть Samba-сервер, на который перенесли файлы с виндового сервера. Если 
просматривать папки по smb с виндовых клиентов, то русские (как и 
украинские) имена файлов отображаются правильно.
Но если попробовать архивировать файлы tar-ом (или просто просмотреть из 
консоли), вместо нормальных символов отображается чепуха ("крякозябры").

Понятно, что с LANG=POSIX отображаются просто знаки вопроса, поменяв на 
LANG=ru_RU.utf8 как раз и получаю "крякозябры". Аналогично с  
LANG=ru_UA.utf8, LANG=ru_UA.cp1251, LANG=ru_RU.cp1251, 
LANG=ru_RU.iso88595. При этом:
# cat /etc/sysconfig/consolefont
SYSFONT=UniCyrExt_8x16

Пробую создать русские файлы из консоли:
# export LANG=ru_UA.utf8
# echo > /mnt/DWL/install/українськ
# echo > /mnt/DWL/install/ррусскЫ
# ls /mnt/DWL/install/
???????    ?????????   я─я┐я│я│п╨п╚п╧ п©я─п╦п╪п╣я─.txt 
я┐п╨я─п╟п┤пҐя│я▄п╨п╦п╧ п©я─п╦п╨п╩п╟пЄ.txt
А вот так получается:
# export LANG=ru_UA
# ls /mnt/DWL/install/
я┐п╨я─п╟п┤пҐя│я▄п╨п╦п╧ п©я─п╦п╨п╩п╟пЄ.txt  я─я┐я│я│п╨п╚п╧ 
п©я─п╦п╪п╣я─.txt        ррусскЫ          українськ

При этом, когда просматривается из-под винды, видно что-то вроде 
"________" вместо названия. Аналогично под линуксом:
# smbclient //127.0.0.1/install
Password:
Domain=[STORE] OS=[Unix] Server=[Samba 3.0.33]
smb: \> ls
  .                                   D        0  Mon Jul 20 12:38:35 2009
  ..                                  D        0  Wed Jul 15 15:37:20 2009
  русскЫй пример.txt      A        0  Mon Jul 20 12:25:36 2009
  украЇнський приклад.txt      A        0  Mon Jul 20 12:25:53 2009
  _______                                      1  Mon Jul 20 12:38:32 2009
  _________                                    1  Mon Jul 20 12:38:35 2009

Как понимаю, самба по умолчанию использует unix charset = UTF8.

Возникает вопрос: как нормально просматривать/архивировать/создавать 
файлы из консоли с русскими именами?
Заранее, спасибо!

Конфиг:
[global]
   workgroup = ITC
   netbios name = store
   server string =  ITGIS file store
   printcap name = cups
   load printers = no
   printing = cups
   log file = /var/log/samba/allclients.log
   max log size = 5000
   log level = 2
  guest account = guest
  map to guest = bad user
   security = user
  encrypt passwords = yes
  winbind uid = 10000-20000
  winbind gid = 10000-20000
   socket options = TCP_NODELAY
   remote browse sync = *.*.*.*
   remote announce = *.*.*.*
   local master = no
   dns proxy = no
    use sendfile = yes
[install]
   comment = Software installs
   path = /mnt/DWL/install
   public = yes
   writable = yes
   create mask = 0755


Версии:
samba-3.0.33-alt1.M40.1
iconv-2.5-alt4
glibc-utils-2.5-alt4
glib2-2.16.5-alt1
glibc-gconv-modules-2.5-alt4
glibc-2.5-alt4
glibc-locales-2.5-alt4
glib-1.2.10-alt12
libdbus-glib-0.73-alt1
glibc-core-2.5-alt4

Примонтировано:
/dev/hda1 on / type ext3 (rw,noatime)
/dev/md1 on /mnt/DWL type xfs (rw)

[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 385 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Motsyo Gennadi aka Drool]

Денис Ягофаров пишет:
> Возникает вопрос: как нормально просматривать/архивировать/создавать 
> файлы из консоли с русскими именами?
> 
> Конфиг:
> [global]
[skip]

У меня глобал начинается вот таким:
==========================
    dos charset = CP866
    unix charset = UTF8
    display charset = CP1251
==========================
И никаких проблем с кодировкой.

Re: [Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 840 bytes --]

Motsyo Gennadi aka Drool пишет:
> У меня глобал начинается вот таким:
> ==========================
> dos charset = CP866
> unix charset = UTF8
> display charset = CP1251
> ==========================
> И никаких проблем с кодировкой. 
Пробую - не всё гладко:
1. Создаю файлик __???ыыы.txt в папке
2. # convmv -f UTF8 -t koi8-u __я≈я≈я≈я▀я▀я▀.txt
Starting a dry run without changes...
mv "./__я≈я≈я≈я▀я▀я▀.txt" "./__???ыыы.txt"
No changes to your files done. Use --notest to finally rename the files.
3. Соответственно ls выдаёт нечто такое __я?я?я?я?я?я?.txt (с LANG=ru_RU )

А в остальном у нас одинаково? (локаль, шрифт консольный)

У меня получилось вот так:
unix charset = KOI8-U
Тогда файлы, созданные из винды можно простомотреть с нормальными 
названиями и под линуксом. Но не является ли KOI8 органичением для 
всякий спец-символов?

[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 370 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 652 bytes --]

Gennadi пишет:
> У меня локаль ru_RU.UTF-8. У Вас, похоже, на KOI8-U ? Насчет 
> спецсимволов - не в курсе.
Я сейчас выставил
# locale
LANG=ru_RU.UTF-8
LC_CTYPE="ru_RU.UTF-8"
LC_NUMERIC="ru_RU.UTF-8"
LC_TIME="ru_RU.UTF-8"
LC_COLLATE="ru_RU.UTF-8"
LC_MONETARY="ru_RU.UTF-8"
LC_MESSAGES="ru_RU.UTF-8"
LC_PAPER="ru_RU.UTF-8"
LC_NAME="ru_RU.UTF-8"
LC_ADDRESS="ru_RU.UTF-8"
LC_TELEPHONE="ru_RU.UTF-8"
LC_MEASUREMENT="ru_RU.UTF-8"
LC_IDENTIFICATION="ru_RU.UTF-8"
LC_ALL=

далее попробовал:
# echo > ыыыыыы
# ls ы<tab x2>
ыыыыыы     ыыыыы.txt
# ls ыыыыыы
??????

т.е. что-то не так работает. Где ещё нужно настроить язык, кроме "export 
LANG=ru_RU.UTF-8" ?



[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 370 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Motsyo Gennadi aka Drool]

Денис Ягофаров пишет:
> # locale
> LANG=ru_RU.UTF-8

	А зачем Вы руту русскую локаль выставили?
Я бы сделал немного с другой стороны - слить виндой из самбы всю 
информацию, нормально перенастроить конфиг и локаль - и вернуть на место.

Re: [Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 1972 bytes --]

Motsyo Gennadi aka Drool пишет:
> Денис Ягофаров пишет:
>> # locale
>> LANG=ru_RU.UTF-8
>
>     А зачем Вы руту русскую локаль выставили?
Пробовал, чтоб под ним отображались русские имена файлов (но, Вы видели, 
что не работает как надо) и в последствии можно было tar-ить папки с 
русскими файлами (как я полагал ранее).
> Я бы сделал немного с другой стороны - слить виндой из самбы всю 
> информацию, нормально перенастроить конфиг и локаль - и вернуть на место.
Тут я с Вами согласен, но либо я выставляю unix charset = KOI8-U и у 
меня в текущей конфигурации всё видно из консоли (но пользователи не 
смогут сохранять названия с не-KOI8-U символами) или использую 
предложенный Вами конфиг (но тогда в консоли ничего не видно).

Потому-то я и хочу разобраться, что не так. Как понимаю, у меня 
неправильно отображаются имена файлов из консоли из-за неправильной 
локали. Но при использовании "правильной" локали (ru_RU.UTF-8) системные 
утилиты вроде ls выводят вместо символов вопросики, а bash всё отлично 
показывает.

Итак.
LANG=ru_RU.UTF-8
LC_CTYPE="ru_RU.UTF-8"
LC_NUMERIC="ru_RU.UTF-8"
LC_TIME="ru_RU.UTF-8"
LC_COLLATE="ru_RU.UTF-8"
LC_MONETARY="ru_RU.UTF-8"
LC_MESSAGES="ru_RU.UTF-8"
LC_PAPER="ru_RU.UTF-8"
LC_NAME="ru_RU.UTF-8"
LC_ADDRESS="ru_RU.UTF-8"
LC_TELEPHONE="ru_RU.UTF-8"
LC_MEASUREMENT="ru_RU.UTF-8"
LC_IDENTIFICATION="ru_RU.UTF-8"
LC_ALL=
(простой юзер)

1. Если выставить в моём конфиге:
   dos charset = CP866
   unix charset = UTF8
   display charset = CP1251
Создать из-под винды файл _пробаUTF8.txt. То, из консоли он выглядит 
как  /mnt/DWL/install/_п©я─п╬п╠п╟UTF8.txt

2. Если выставить в моём конфиге
     unix charset = KOI8-U
Создать из-под винды файл _пробаKOI8-R.txt. То, из консоли он выглядит 
как /mnt/DWL/install/_?????KOI8-R.txt

Если переставить локаль на LANG=ru_RU , то всё выглядит как 
/mnt/DWL/install/_пробаKOI8-R.txt и  /mnt/DWL/install/_п©я?п╬п╠п╟UTF8.txt.

Tar в любом случае архивирует файлы с бессмысленными именами.



[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 370 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Alexander Yereschenko]

Доброе!
В сообщении от Monday 20 July 2009 18:53:19 Денис Ягофаров написал(а):
> Motsyo Gennadi aka Drool пишет:
> > Денис Ягофаров пишет:
> >> # locale
> >> LANG=ru_RU.UTF-8
> >
> >     А зачем Вы руту русскую локаль выставили?
>
> Пробовал, чтоб под ним отображались русские имена файлов (но, Вы видели,
> что не работает как надо) и в последствии можно было tar-ить папки с
> русскими файлами (как я полагал ранее).
>
> > Я бы сделал немного с другой стороны - слить виндой из самбы всю
> > информацию, нормально перенастроить конфиг и локаль - и вернуть на место.
>
> Тут я с Вами согласен, но либо я выставляю unix charset = KOI8-U и у
> меня в текущей конфигурации всё видно из консоли (но пользователи не
> смогут сохранять названия с не-KOI8-U символами) или использую
> предложенный Вами конфиг (но тогда в консоли ничего не видно).
>
> Потому-то я и хочу разобраться, что не так. Как понимаю, у меня
> неправильно отображаются имена файлов из консоли из-за неправильной
> локали. Но при использовании "правильной" локали (ru_RU.UTF-8) системные
> утилиты вроде ls выводят вместо символов вопросики, а bash всё отлично
> показывает.

У меня высталено так:
dos charset = CP866
unix charset = UTF8
display charset = LOCALE

У рута локаль - POSIX
у пользователей - ru_RU.UTF-8

Все нормально с русскими буквами как со стороны виндовых клиентов, так и 
линуксовых, так и у локального пользователя.

Видимо, при начальном копировании с виндового сервера на линуксовый было 
что-то напутано в smb.conf, вот и произошла ненужная перекодировка при записи 
самбой на локальную ФС. Сейчас надо выставить так, чтобы с виндового клиента 
было нормально, скопировать все на винду, потом выставить правильно и 
скопировать обратно...

> Tar в любом случае архивирует файлы с бессмысленными именами.
У меня отрабатывает нормально как под рутом, так и под пользователем. Tar 
засовывает в архив в той же кодировке, в которой оно на файловой системе 
хранится, и потом разворачивает/показывает так же. Кстати, если 
архивировалось под линуксом в utf8, то под виндой это будут бессмысленные 
имена...

И еще кстати про грабли , про "unix extensions = no" в smb.conf не забыли?  а 
то можете намучаться с правами доступа при доступе по cifs ...


--
Alexander

Re: [Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 1657 bytes --]

Alexander Yereschenko пишет:
> У меня высталено так:
> dos charset = CP866
> unix charset = UTF8
> display charset = LOCALE
>
> У рута локаль - POSIX
> у пользователей - ru_RU.UTF-8
>   
У меня точно так же. Это могут быть проблемы файловой системы, на 
которой лежат шары?
/dev/md1 on /mnt/DWL type xfs (rw)
и
/dev/hda1 on / type ext3 (rw,noatime)
> Все нормально с русскими буквами как со стороны виндовых клиентов, так и 
> линуксовых, так и у локального пользователя.
>   
Аналогично, но только не у локального пользователя.
> Видимо, при начальном копировании с виндового сервера на линуксовый было 
> что-то напутано в smb.conf, вот и произошла ненужная перекодировка при записи 
> самбой на локальную ФС. Сейчас надо выставить так, чтобы с виндового клиента 
> было нормально, скопировать все на винду, потом выставить правильно и 
> скопировать обратно...
>   
Сейчас (при текущей конфигурации) происходит то же самое: по сети - ОК, 
локально - чушь.
>   
>> Tar в любом случае архивирует файлы с бессмысленными именами.
>>     
> У меня отрабатывает нормально как под рутом, так и под пользователем. Tar 
> засовывает в архив в той же кодировке, в которой оно на файловой системе 
> хранится, и потом разворачивает/показывает так же. Кстати, если 
> архивировалось под линуксом в utf8, то под виндой это будут бессмысленные 
> имена...
>   
согласен, вот только у меня, пока, локально названия - абракадабра =(
> И еще кстати про грабли , про "unix extensions = no" в smb.conf не забыли?  а 
> то можете намучаться с правами доступа при доступе по cifs ...
>   
... спасибо!

А если не сложно, какие у Вас версии пакетов, какой именно дистрибутив?

[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 370 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Alexander Yereschenko]

Доброе!
В сообщении от Tuesday 21 July 2009 10:38:35 Денис Ягофаров написал(а):

> А если не сложно, какие у Вас версии пакетов, какой именно дистрибутив?

На нескольких машинах:
ALD 4.1 branch
samba-3.0.30-alt3
Файловые системы разные: ext3, xfs, jfs
На одной из машин 64-битная система.
И еще на одной стоит samba-3.0.31-alt1.M40.1
Поведение везде одинаковое.

--
Alexander

Re: [Sysadmins] Samba + русские названия в консоли

[Денис Ягофаров]

[-- Attachment #1: Type: text/plain, Size: 635 bytes --]

Всем спасибо за помощь!

Дело было вовсе не в линуксе/настройках (как можно было догадаться), а 
во мне. Я работал удаленно через putty и в нём был выставлен 
koi8-u-шрифт. Когда я зашел с физической консоли, то всё читалось 
превосходно.

Как и было сказано ранее, tar-архивы с именами файлов в utf8-кодировке 
некорректно отображаются на windows-машинах. Впрочем, уже долгое время у 
нас есть пропатченые zip/unzip, при упаковке в которые, юникод (как 
минимум с кириллицей) нормально воспринимается всюду.

Правда осталась открытой проблема с zip x32 и 2GB++ zip-файлами, так что 
стОит ли переходить на х64, пока это ещё возможно?

[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 370 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80445201209
tel;cell:80662933760
note;quoted-printable:xmmp: denyago@gmail.com=0D=0A=
	xmmp: diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] Samba + русские названия в консоли

[Motsyo Gennadi aka Drool]

Денис Ягофаров пишет:
> Я работал удаленно через putty и в нём был выставлен 
> koi8-u-шрифт. Когда я зашел с физической консоли, то всё читалось 
> превосходно.

	Укажите в putty кодировку как на удаленной системе - и все будет как нужно.

Re: [Sysadmins] Samba + русские названия в консоли

[Alexander Yereschenko]

Доброе!
В сообщении от Wednesday 22 July 2009 11:09:44 Денис Ягофаров написал(а):
>
> Как и было сказано ранее, tar-архивы с именами файлов в utf8-кодировке
> некорректно отображаются на windows-машинах. Впрочем, уже долгое время у
> нас есть пропатченые zip/unzip, при упаковке в которые, юникод (как
> минимум с кириллицей) нормально воспринимается всюду.
>
> Правда осталась открытой проблема с zip x32 и 2GB++ zip-файлами, так что
> стОит ли переходить на х64, пока это ещё возможно?

А как дела с этим обстоят у 7zip ? С кодировкой отлично - у него внутри архива 
имена хранятся всегда в юникоде и корректно обрабатываются как в линуксе, так 
и в виндовсе...

--
Alexander

Re: [Sysadmins] Samba + русские названия в консоли

[Yuri Bushmelev]

В сообщении от Среда 22 июля 2009 Alexander Yereschenko написал(a):
> Доброе!
>
> А как дела с этим обстоят у 7zip ? С кодировкой отлично - у него внутри
> архива имена хранятся всегда в юникоде и корректно обрабатываются как в
> линуксе, так и в виндовсе...

Немного полезной информации.

У меня под FreeBSD файлы, запакованные 7z с именами в локали KOI8-R, 
распаковались в белиберду на другом компьютере с локалью UTF-8. При 
выставлении локали в KOI8-R, распаковывалось корректно в KOI8-R. Так что, 
без convmv опять не обошлось..

Также, 7z не хранит в себе информацию о правах, владельце и т.д., поэтому 
для резервирования ФС его применять не стоит.

Если интересно, для unrar есть патчик вот тут, который позволяет задавать 
явно кодировку архива и кодировку локали: 
http://www.freebsd.org/cgi/cvsweb.cgi/ports/archivers/unrar-iconv/files/patch-iconv

-- 
С уважением,
Бушмелев Юрий

Re: [Sysadmins] Samba + русские названия в консоли

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 873 bytes --]

On Wed, Jul 22, 2009 at 06:43:39PM +0400, Yuri Bushmelev wrote:
> У меня под FreeBSD файлы, запакованные 7z с именами в локали KOI8-R, 
> распаковались в белиберду на другом компьютере с локалью UTF-8. При 
p7zip старый либо криво собран, скорее всего.
p7zip Version 9.04 (locale=ru_RU.CP1251,Utf16=on,HugeFiles=on,1 CPU)

> Также, 7z не хранит в себе информацию о правах, владельце и т.д., поэтому 
> для резервирования ФС его применять не стоит.
.tar.7z иногда делают.
Мы так SIM раздавали, оно в полтора что ли раза меньше tar.bz2 получалось.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(6):

> Что необходимо сделать, чтобы забрать пакеты из orphaned?
1. Убедиться, что вас не опередили.  Обычно для этого достаточно
анонсировать свой план собрать какой-то пакет из orphaned.
2. Собрать и выложить в incoming.
		-- ldv in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 489 bytes --]

Re: [Sysadmins] Samba + русские названия в консоли

[Led]

On Wednesday 22 July 2009 19:43:33 Andrey Rahmatullin wrote:
> On Wed, Jul 22, 2009 at 06:43:39PM +0400, Yuri Bushmelev wrote:
> > У меня под FreeBSD файлы, запакованные 7z с именами в локали KOI8-R,
> > распаковались в белиберду на другом компьютере с локалью UTF-8. При
>
> p7zip старый либо криво собран, скорее всего.
> p7zip Version 9.04 (locale=ru_RU.CP1251,Utf16=on,HugeFiles=on,1 CPU)
>
> > Также, 7z не хранит в себе информацию о правах, владельце и т.д., поэтому
> > для резервирования ФС его применять не стоит.
>
> .tar.7z иногда делают.
> Мы так SIM раздавали, оно в полтора что ли раза меньше tar.bz2 получалось.

# ls -l xlinpack*
-rwxr-xr-x 1 root root 4645608 Jul 22 19:08 xlinpack
-rwxr-xr-x 1 root root  813664 Jul 22 18:47 xlinpack.bz2
-rwxr-xr-x 1 root root  971566 Jul 22 18:47 xlinpack.gz
-rwxr-xr-x 1 root root  563744 Jul 22 18:47 xlinpack.xz

-- 
Led