ALT Linux Sisyphus discussions
 help / color / mirror / Atom feed
From: Boris Savelev <boris@etersoft.ru>
To: sisyphus@lists.altlinux.org
Subject: [sisyphus] perl и unicode
Date: Fri, 11 Apr 2008 13:40:47 +0400
Message-ID: <200804111340.47797.boris@office.etersoft.ru> (raw)

Здравствуйте!
Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
#!/usr/bin/perl -W
use strict;
print "Content-type: text/plain; charset=UTF-8\n\n";
my $text;
my $text_lc;
$text="БОЛЬШОЙ!маленький!small!BIG!";
$text_lc=lc($text);
print "Env 'PERL_UNICODE' is ";
print ${^UNICODE};
print "\n";
print "Run test: \n";
print "Source text\n";
print $text;
print "\n";
print "Text after LowerCase\n";
print $text_lc;

Текст написан в UTF8.
В таком виде тест не проходит, т.е. большие русские символы маленькими не 
становятся, хотя с латинскими все прекрасно.
Далее если в начале добавить:
use utf8;
то тест отрабатывается, но:
Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
(http://perldoc.perl.org/perluniintro.html)
rpm -qa | grep perl-base
perl-base-5.8.8-alt19
проверялось все это в OVZ-контейнере с apache22
Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с 
ним ни к чему не привели. Помогите советом, пожалуйста.

Еще хотелось бы спросить чем отличается использование
use utf8;
от
use encode 'utf-8';
?

PS: все это как-то всплыло при обнаружении не работающего поиска c 
использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но 
на этапе передачи параметров, слова поиска "портятся" (из-за двойного 
перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом 
запрос выглядит так (ищем слово "привет"):
SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, 
bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, 
map_assigned_to.login_name, bugs.bug_status, bugs.resolution, 
bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE 
WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM 
bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = 
map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = 
longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = 
bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) 
LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE 
((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND 
(MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc 
LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND 
((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND 
bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR 
(bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT 
200
Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема 
исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
Может я все усложнил, но help, help!
-- 
С уважением, Борис Савельев

             reply	other threads:[~2008-04-11  9:40 UTC|newest]

Thread overview: 4+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2008-04-11  9:40 Boris Savelev [this message]
2008-04-11  9:46 ` Boris Savelev
2008-04-11 22:21 ` Кокарев Константин
2008-04-12 17:17 ` Alexey Tourbin

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=200804111340.47797.boris@office.etersoft.ru \
    --to=boris@etersoft.ru \
    --cc=sisyphus@lists.altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Sisyphus discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/sisyphus/0 sisyphus/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 sisyphus sisyphus/ http://lore.altlinux.org/sisyphus \
		sisyphus@altlinux.ru sisyphus@altlinux.org sisyphus@lists.altlinux.org sisyphus@lists.altlinux.ru sisyphus@lists.altlinux.com sisyphus@linuxteam.iplabs.ru sisyphus@list.linux-os.ru
	public-inbox-index sisyphus

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.sisyphus


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git