[sisyphus] Emacs and UTF-8 again

[sisyphus] Emacs and UTF-8 again

[Alexander Kirey]

Здравствуйте!

Анализируя список рассылки community и sisyphus,
ссылки в разных письмах по этой теме в названных maillists,
и google, я кажись запутался.
Просто я не следил за этой темой и поэтому сорри за "кашу"...

Как я понял, UTF-8 Emacs как бы и не UTF вовсе?
То есть это некая возможность содержать разнокодировочные
куски текста в одном файле?
Для теста я взял документ /usr/share/doc/emacs-mule-ucs-0.85rc1/type.txt
и документ /usr/share/yudit/doc/ru/FAQ.TXT.
Если просматривать просто по F3 в mc то они и выглядят то по
разному. И документ /usr/share/yudit/doc/ru/FAQ.TXT нормально
читается как и в самом yudit и gedit, чего не скажешь про Emacs.
Вот цитата из HOWTO Е.Балдина, которая подтверждает мои догадки:

>Идём в Mule, Set Language Environment, Cyrillic и устанавливаем один
>из 3-х вариантов. Какой -- по большому счету без разницы.
>Это будет влиять только на общение емакс'а с внешним миром -- если
>захотим Cyrillic-ISO, то текст будет сохраняться в ISO и в буфер
>обмена будет копироваться текст в кодировке ISO. То же самое с KOI8.
>Чтобы сделать изменение постоянным, запишите в ~/.emacs.

И как я понял, Emacs внутри себя "говорит" на iso-8859-5  относительно
русского текста? 

Загружаю файл mule HELLO (Show multi-lingual text) C-h h, затем
навожу курсор на надпись "Russian (Русский)	Здравствуйте!",
затем "C-u C-x =" и в окне Help:

  character: З (07067, 3639, 0xe37)
    charset: cyrillic-iso8859-5
	     (Right-Hand Part of Latin/Cyrillic Alphabet (ISO/IEC 8859-5): ISO-IR-144)
 code point: 55
     syntax: word
   category: y:Cyrillic  
buffer code: 0x8C 0xB7
  file code: ESC 2C 4C 37 (encoded by coding system iso-2022-7bit-unix)
       font: -Misc-Fixed-Medium-R-Normal--15-140-75-75-C-90-microsoft-cp1251

Вот нашёл такие ресурсы позднее:

http://www.win.tue.nl/~ocheong/Mule/, и цитирую:
>For historic reasons, Mule has defined its own character set and
>encoding (when Mule was designed, Unicode simply didn't exist).
>Sooner or later, Emacs will migrate to using Unicode internally,
>but in the meantime, we need to define an encoding that will
>convert between Unicode externally and Emacs' Mule encoding
>internally.

http://www.cl.cam.ac.uk/~mgk25/unicode.html
>Emacs 21.2 provides basic UTF-8 support in the form of a new coding
>system mule-utf-8. This is expected to improve significantly once
>ongoing work to change the internal encoding of Emacs/MULE entirely
>to UTF-8 is completed (this is planned to happen for Emacs 22).

Здесь, также имеется тестовый документ, gedit русскую составляющую
видит нормально ну и теперь очевидно, что Emacs нет.

http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-demo.txt
http://www.cl.cam.ac.uk/~mgk25/ucs/examples/quickbrown.txt
("В чащах юга жил бы цитрус? Да, но фальшивый экземпляр!"
знакомый текст, однако :))

Немного о http://www.win.tue.nl/~ocheong/Mule/.
Как я понял, что эта штуковина переводит кодировку mule в
реальный utf-8, что позволяет читать потом документы другими
редакторами с поддержкой utf-8. Но почему то это только справедливо
для версии 20:
"The package described here is for GNU Emacs 20.
It does not work with GNU Emacs 21 or any version of XEmacs."

Ну вот теперь стало немного понятно...
Непонятно другое: что имели ввиду те подписчики community и sisyphus
когда говорили что они нормально читают документы на UTF в Emacs.
Я что-то не понял, или что-то не установил дополнительно?

Не получилось воспользоваться и советом Alex Ott:
>Для правильного отображения текстов необходимо установить для
>начертания default (это можно сделать с помощью команды M-x
>customize-face) шрифт, который содержит большой набор кодировок,
>включая кодировку для отображения utf-8 (например, misc-fixed).
>Такая настройка позволит, например, нормально работать с русскими
>и немецкими словарями в одном буфере Emacs.

Повторюсь, что в своём .emacs я ничего не добавлял, кроме
активизации speedbar.

Простите неофита за возможное непонимание, приведшее к неправильным
выводам...


-- 
Александр Кирей

Re: [sisyphus] Emacs and UTF-8 again

[Ott Alex]

Привет

ситуация такая - я пользуюсь utf-8 только для опредеоенных типов документов и это все нормально работает.

Как указать кодировку документа - либо явно с помощью сочетания клавиш C-x RET c utf-8 C-x C-f file

либо указывая файлы в переменной file-coding-system-alist например так

(setq file-coding-system-alist
      (append (list
	       '("\\.bbdb" . utf-8)
	       '("\\.spam-stat\\.el" . utf-8)
	       '("\\.ent" . utf-8))
	      file-coding-system-alist))

тогда для нужных файлов кодировка будет устанавливаться сама.

Ну и соответсвтенно при записи файла можно указать результирующую кодировку через C-x RET f utf-8

по поводу iso-8859-5 имеется ввиду внутренее представление символов в emacs - оно действительно пока не является полноценным unicode

Re: [sisyphus] Emacs and UTF-8 again

[Alexander Kirey]

On Tue, 14 Oct 2003 16:26:01 +0400 (MSD)
"Ott Alex" <ottalex@narod.ru> wrote:

> Привет
> 
> ситуация такая - я пользуюсь utf-8 только для опредеоенных типов документов и это все нормально работает.
> Как указать кодировку документа - либо явно с помощью сочетания клавиш C-x RET c utf-8 C-x C-f file
> либо указывая файлы в переменной file-coding-system-alist например так
> 
> (setq file-coding-system-alist
>       (append (list
> 	       '("\\.bbdb" . utf-8)
> 	       '("\\.spam-stat\\.el" . utf-8)
> 	       '("\\.ent" . utf-8))
> 	      file-coding-system-alist))

Понятно! Я скачивал ваш .emacs и видел это, но не понял, теперь - да.
Спасибо за разъяснения.
> 
> тогда для нужных файлов кодировка будет устанавливаться сама.
> 
> Ну и соответсвтенно при записи файла можно указать результирующую кодировку через C-x RET f utf-8
> 
> по поводу iso-8859-5 имеется ввиду внутренее представление символов в emacs -
> оно действительно пока не является полноценным unicode
Как я писал раньше - это ожидается в 22.х версии?

Вот тут еще один вопрос цепляется...
Я пробовал печать из Emacs через ghostscript.
Спотыкается  печать на русском тексте:
	font for characters not found, continue anyway? (y or n)

Alexej Kryukov написал мне, что:
>Кириллические шрифты должны быть в кодировке iso-8859-5!
(речь шла о печати)

А ghostscript берёт информацию о шрифтах из Fontmap.GS.
Я просмотрел перечисленные шрифты из этого файла - в них
нет шрифтов с iso-8859-5!
Если сохранить такую печать в файл с использованием растровых
шрифтов и потом в pdf для внешних читателей, то там будет type3
и он, сами знаете, просматривается отвратно. А делать печать в
файл с использованием type 1 - нет кодипровки.
Честно говоря, не знаю к кому вопрос и прав ли я, что такие фонты нужны?
Конвертировать фонты val*.ttf (как я увидел это единственные нерастровые
шрифты в sisyphus с кодировкой iso-8859-5) не стал, где-то читал что
теряется керниг.

-- 
Александр Кирей

Re: [sisyphus] Emacs and UTF-8 again

[Ott Alex]

>On Tue, 14 Oct 2003 16:26:01 +0400 (MSD)
>> оно действительно пока не является полноценным unicode
>Как я писал раньше - это ожидается в 22.х версии?
Да - обещают в 22-й версии

>Вот тут еще один вопрос цепляется...
>Я пробовал печать из Emacs через ghostscript.
>Спотыкается  печать на русском тексте:
>	font for characters not found, continue anyway? (y or n)
я использую фонты из intlfonts + ps-mule

работает вот с такой настройкой

(load-library "ps-mule")
(setq bdf-directory-list '("/usr/X11R6/lib/X11/fonts/emacs/bdf"))
(custom-set-variables
 '(ps-mule-font-info-database-default ps-mule-font-info-database-bdf)
 '(ps-multibyte-buffer (quote bdf-font-except-latin)))

только есть одно но - если текст в utf-8, то перед печатью надо выполнить вот такую вот процедуру

(defun unicode-cyrillic-to-8859-5 ()
  (interactive)
  (save-excursion
    (goto-char (point-min))
    (let ((re (format "[%c-%c]+"
		      (decode-char 'ucs #x0400) (decode-char 'ucs #x04ff)))
	  (case-fold-search nil)
	  pos)
      (while (re-search-forward re nil 'move)
	(setq pos (match-beginning 0))
	(encode-coding-region pos (point) 'iso-8859-5)
	(decode-coding-region pos (point) 'iso-8859-5)))))

а потом нажать undo

Re: [sisyphus] Emacs and UTF-8 again

[Serhii Hlodin]

>>>>> "OA" == Ott Alex writes:

 OA> работает вот с такой настройкой

 OA> (load-library "ps-mule")

 У меня на нее выдается сообщение об ошибке:

Symbol's value as variable is void: BZh91AY&SYж

~ $ rpm -qa | egrep -i '^emacs' | sort
emacs-apel-10.3-alt1
emacs-bbdb-2.34-alt5
emacs-bbdb-el-2.34-alt5
emacs-bigloo-2.5c-alt4
emacs-common-21.3-alt4.1
emacs-dictionary-1.8.4-alt3
emacs-dictionary-el-1.8.4-alt3
emacs-docbookide-0.1-alt4
emacs-ecb-1.95.1-alt1
emacs-ecb-el-1.95.1-alt1
emacs-ede-1.0-alt0.6beta2
emacs-ede-el-1.0-alt0.6beta2
emacs-eieio-0.17-alt5
emacs-eieio-el-0.17-alt5
emacs-el-21.3-alt4.1
emacs-elib-1.0-alt6
emacs-elib-el-1.0-alt6
emacs-elisp-manual-2.8-alt1
emacsen-startscripts-0.0.3-alt2
emacs-gnuplot-0.5s-alt4
emacs-gnus-21.3-alt4.1
emacs-gnus-el-21.3-alt4.1
emacs-haskell-mode-1.43-alt4
emacs-jdee-2.3.3-alt1beta5
emacs-jdee-el-2.3.3-alt1beta5
emacs-leim-21.3-alt4.1
emacs-leim-el-21.3-alt4.1
emacs-mailcrypt-3.5.8-alt4
emacs-mailcrypt-el-3.5.8-alt4
emacs-manual-ru-20.7-alt1
emacs-maxima-5.9.0.1-alt0.07
emacs-misc-modes-0.1-alt3
emacs-mmm-mode-0.4.7-alt5
emacs-mmm-mode-el-0.4.7-alt5
emacs-mode-auctex-11.14-alt6
emacs-mode-auctex-el-11.14-alt6
emacs-mode-gnuplot-3.7.3-alt1
emacs-mode-gnuplot-el-3.7.3-alt1
emacs-mode-lilypond-1.6.11-alt0.5
emacs-mode-lilypond-el-1.6.11-alt0.5
emacs-mode-psgml-1.2.5-alt1
emacs-mode-psgml-el-1.2.5-alt1
emacs-mode-tdtd-0.71-alt1
emacs-mode-tdtd-el-0.71-alt1
emacs-mule-ucs-0.85rc1-alt1
emacs-mule-ucs-el-0.85rc1-alt1
emacs-nox-21.3-alt4.1
emacs-preview-latex-0.7.8-alt4
emacs-preview-latex-el-0.7.8-alt4
emacs-prog-modes-0.1-alt3
emacs-semantic-1.4.4-alt1
emacs-semantic-el-1.4.4-alt1
emacs-sml-mode-3.9.5-alt3
emacs-speedbar-0.14-alt0.7.beta4
emacs-speedbar-el-0.14-alt0.7.beta4
emacs-template-3.1a-alt3
emacs-text-modes-0.1-alt2
emacs-tiny-tools-1.0.200306807-alt1
emacs-tnt-2.4-alt2
emacs-tramp-2.0.33-alt1
emacs-tramp-el-2.0.33-alt1
emacs-X11-21.3-alt4.1
emacs-xslide-0.2.1-alt1
emacs-xslide-el-0.2.1-alt1
emacs-xslt-process-2.2-alt5
emacs-zenirc-2.112-alt3
emacs-zenirc-el-2.112-alt3

-- 
With best regards,
                Serhii Hlodin

Re: [sisyphus] Emacs and UTF-8 again

[Alexander Bokovoy]

On Tue, Oct 28, 2003 at 12:59:50PM +0200, Serhii Hlodin wrote:
> >>>>> "OA" == Ott Alex writes:
> 
>  OA> работает вот с такой настройкой
> 
>  OA> (load-library "ps-mule")
> 
>  У меня на нее выдается сообщение об ошибке:
> 
> Symbol's value as variable is void: BZh91AY&SYж
Отсутствует поддержка сжатых elc?

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

Re: [sisyphus] Emacs and UTF-8 again

[Alex Ott]

>>>>>> "OA" == Ott Alex writes:
>
> OA> работает вот с такой настройкой
>
> OA> (load-library "ps-mule")
>
> У меня на нее выдается сообщение об ошибке:
>
>Symbol's value as variable is void: BZh91AY&SYж

хммм, очень странно - посмотрите есть ли файл /usr/share/emacs/21.3/lisp/ps-mule.elc ?

Re: [sisyphus] Emacs and UTF-8 again

[Serhii Hlodin]

>>>>> "AO" == Alex Ott writes:

 >> Symbol's value as variable is void: BZh91AY&SYж

 AO> хммм, очень странно - посмотрите есть ли файл
 AO> /usr/share/emacs/21.3/lisp/ps-mule.elc ?

 Есть:

~ $ ls -la /usr/share/emacs/21.3/lisp/ps-mule.*
-rw-r--r--   1 root     root        13974 Вер  6  2002 /usr/share/emacs/21.3/lisp/ps-mule.el.bz2
-rw-r--r--   1 root     root        43415 Бер 18 16:51 /usr/share/emacs/21.3/lisp/ps-mule.elc
~ $ 

 Такое ощущение, что идет конфликт с каким-то установленным пакетом. Но не
 могу понять с каким. :(

-- 
With best regards,
                Serhii Hlodin

Re: [sisyphus] Emacs and UTF-8 again

[Serhii Hlodin]

Вдогонку:

~ $ rpm -qf /usr/share/emacs/21.3/lisp/ps-mule.el.bz2 
emacs-el-21.3-alt4.1
~ $ rpm -qf /usr/share/emacs/21.3/lisp/ps-mule.elc    
emacs-common-21.3-alt4.1
~ $ 

-- 
With best regards,
                Serhii Hlodin

Re: [sisyphus] Emacs and UTF-8 again

[Serhii Hlodin]

>>>>> "SH" == Serhii Hlodin writes:

 SH>  Такое ощущение, что идет конфликт с каким-то установленным
 SH> пакетом. Но не могу понять с каким. :(

 Вроде вычислил проблему. Emacs вылетает при загрузке ps-mule по
 segfault при установленном auto-compression-mode (он включается при
 помощи 00auto-compr.el). Странно только, почему, при наличии
 ps-mule.elc он пробует распаковать и загрузить ps-mule.el.bz2? Выходит,
 что они не соответствуют и ps-mule.el.bz2 более новый чем
 ps-mule.elc. А вот почему emacs вылетает по сегфолту при распаковке
 bz2? Вот этого понять не могу.

~ $ rpm -qa | egrep '^emacs-' | sort
emacs-bbdb-2.35-alt0.1.20030915
emacs-bbdb-el-2.35-alt0.1.20030915
emacs-common-21.3-alt4.1
emacs-dictionary-1.8.4-alt3
emacs-dictionary-el-1.8.4-alt3
emacs-docbookide-0.1-alt4
emacs-ecb-1.96-alt1
emacs-ecb-el-1.96-alt1
emacs-ede-1.0-alt0.6beta2
emacs-ede-el-1.0-alt0.6beta2
emacs-eieio-0.17-alt6
emacs-eieio-el-0.17-alt6
emacs-el-21.3-alt4.1
emacs-elib-1.0-alt6
emacs-elib-el-1.0-alt6
emacs-elisp-manual-2.8-alt1
emacs-gnuplot-0.5s-alt4
emacs-gnus-21.3-alt4.1
emacs-gnus-el-21.3-alt4.1
emacs-jdee-2.3.3-alt2beta5
emacs-jdee-el-2.3.3-alt2beta5
emacs-leim-21.3-alt4.1
emacs-leim-el-21.3-alt4.1
emacs-mailcrypt-3.5.8-alt4
emacs-mailcrypt-el-3.5.8-alt4
emacs-manual-ru-20.7-alt1
emacs-maxima-5.9.0.1-alt0.07
emacs-misc-modes-0.1-alt4
emacs-mmm-mode-0.4.7-alt5
emacs-mmm-mode-el-0.4.7-alt5
emacs-mode-auctex-11.14-alt6
emacs-mode-auctex-el-11.14-alt6
emacs-mode-gnuplot-3.7.3-alt1
emacs-mode-gnuplot-el-3.7.3-alt1
emacs-mode-lilypond-2.0.0-alt0.5
emacs-mode-lilypond-el-2.0.0-alt0.5
emacs-mode-psgml-1.2.5-alt1
emacs-mode-psgml-el-1.2.5-alt1
emacs-mode-tdtd-0.71-alt1
emacs-mode-tdtd-el-0.71-alt1
emacs-mule-ucs-0.85rc1-alt1
emacs-mule-ucs-el-0.85rc1-alt1
emacs-nox-21.3-alt4.1
emacs-preview-latex-0.7.8-alt5
emacs-preview-latex-el-0.7.8-alt5
emacs-prog-modes-0.1-alt4
emacs-semantic-1.4.4-alt2
emacs-semantic-el-1.4.4-alt2
emacs-sml-mode-3.9.5-alt3
emacs-speedbar-0.14-alt0.8.beta4
emacs-speedbar-el-0.14-alt0.8.beta4
emacs-template-3.1a-alt3
emacs-text-modes-0.1-alt4
emacs-tiny-tools-1.0.200306807-alt1
emacs-tnt-2.4-alt2
emacs-tramp-2.0.33-alt1
emacs-tramp-el-2.0.33-alt1
emacs-X11-21.3-alt4.1
emacs-xslide-0.2.1-alt1
emacs-xslide-el-0.2.1-alt1
emacs-xslt-process-2.2-alt6
~ $ 

-- 
With best regards,
                Serhii Hlodin

Re: [sisyphus] Emacs and UTF-8 again

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 713 bytes --]

On Tue, Nov 04, 2003 at 02:18:02PM +0200, Serhii Hlodin wrote:
> >>>>> "SH" == Serhii Hlodin writes:
> 
>  SH>  Такое ощущение, что идет конфликт с каким-то установленным
>  SH> пакетом. Но не могу понять с каким. :(
> 
>  Вроде вычислил проблему. Emacs вылетает при загрузке ps-mule по
>  segfault при установленном auto-compression-mode (он включается при
>  помощи 00auto-compr.el). Странно только, почему, при наличии
>  ps-mule.elc он пробует распаковать и загрузить ps-mule.el.bz2? Выходит,
>  что они не соответствуют и ps-mule.el.bz2 более новый чем
>  ps-mule.elc. А вот почему emacs вылетает по сегфолту при распаковке
>  bz2? Вот этого понять не могу.

http://bugzilla.altlinux.ru/show_bug.cgi?id=2511

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]