[sisyphus] perl и unicode

[sisyphus] perl и unicode

[Boris Savelev]

Здравствуйте!
Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
#!/usr/bin/perl -W
use strict;
print "Content-type: text/plain; charset=UTF-8\n\n";
my $text;
my $text_lc;
$text="БОЛЬШОЙ!маленький!small!BIG!";
$text_lc=lc($text);
print "Env 'PERL_UNICODE' is ";
print ${^UNICODE};
print "\n";
print "Run test: \n";
print "Source text\n";
print $text;
print "\n";
print "Text after LowerCase\n";
print $text_lc;

Текст написан в UTF8.
В таком виде тест не проходит, т.е. большие русские символы маленькими не 
становятся, хотя с латинскими все прекрасно.
Далее если в начале добавить:
use utf8;
то тест отрабатывается, но:
Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
(http://perldoc.perl.org/perluniintro.html)
rpm -qa | grep perl-base
perl-base-5.8.8-alt19
проверялось все это в OVZ-контейнере с apache22
Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с 
ним ни к чему не привели. Помогите советом, пожалуйста.

Еще хотелось бы спросить чем отличается использование
use utf8;
от
use encode 'utf-8';
?

PS: все это как-то всплыло при обнаружении не работающего поиска c 
использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но 
на этапе передачи параметров, слова поиска "портятся" (из-за двойного 
перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом 
запрос выглядит так (ищем слово "привет"):
SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, 
bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, 
map_assigned_to.login_name, bugs.bug_status, bugs.resolution, 
bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE 
WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM 
bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = 
map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = 
longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = 
bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) 
LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE 
((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND 
(MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc 
LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND 
((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND 
bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR 
(bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT 
200
Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема 
исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
Может я все усложнил, но help, help!
-- 
С уважением, Борис Савельев

Re: [sisyphus] perl и unicode

[Boris Savelev]

ошибся выше
В сообщении от Friday 11 April 2008 13:40:47 Boris Savelev написал(а):
> Еще хотелось бы спросить чем отличается использование
> use utf8;
> от
> use encode 'utf-8';
use encoding 'utf8';
> ?
> Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема
Если добавить "use encoding 'utf8';" в buglist.cgi и в нужный шаблон, то 
проблема
> исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
> Может я все усложнил, но help, help!

-- 
С уважением, Борис Савельев

Re: [sisyphus] perl и unicode

[Кокарев Константин]

Boris Savelev пишет:
> Здравствуйте!
> Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
> #!/usr/bin/perl -W
> use strict;
> print "Content-type: text/plain; charset=UTF-8\n\n";
> my $text;
> my $text_lc;
> $text="БОЛЬШОЙ!маленький!small!BIG!";
> $text_lc=lc($text);
> print "Env 'PERL_UNICODE' is ";
> print ${^UNICODE};
> print "\n";
> print "Run test: \n";
> print "Source text\n";
> print $text;
> print "\n";
> print "Text after LowerCase\n";
> print $text_lc;
>
> Текст написан в UTF8.
> В таком виде тест не проходит, т.е. большие русские символы маленькими не 
> становятся, хотя с латинскими все прекрасно.
> Далее если в начале добавить:
> use utf8;
> то тест отрабатывается, но:
> Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
> (http://perldoc.perl.org/perluniintro.html)
> rpm -qa | grep perl-base
> perl-base-5.8.8-alt19
> проверялось все это в OVZ-контейнере с apache22
> Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с 
> ним ни к чему не привели. Помогите советом, пожалуйста.
>
> Еще хотелось бы спросить чем отличается использование
> use utf8;
> от
> use encode 'utf-8';
> ?
>
> PS: все это как-то всплыло при обнаружении не работающего поиска c 
> использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но 
> на этапе передачи параметров, слова поиска "портятся" (из-за двойного 
> перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом 
> запрос выглядит так (ищем слово "привет"):
> SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, 
> bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, 
> map_assigned_to.login_name, bugs.bug_status, bugs.resolution, 
> bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE 
> WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM 
> bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = 
> map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = 
> longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = 
> bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) 
> LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE 
> ((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND 
> (MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc 
> LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND 
> ((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND 
> bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR 
> (bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT 
> 200
> Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема 
> исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
> Может я все усложнил, но help, help!
>   
Как говорит кэмелбук, перл старше 5.8 воспринимает строку в utf8 если 
вся строка состоит из символов больше 255. В примере это не так.

Сделано для совместимости со старыми скриптами.


-- 
nwtour

Re: [sisyphus] perl и unicode

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 966 bytes --]

On Fri, Apr 11, 2008 at 01:40:47PM +0400, Boris Savelev wrote:
> Здравствуйте!
> Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
> #!/usr/bin/perl -W
> use strict;
> print "Content-type: text/plain; charset=UTF-8\n\n";
> my $text;
> my $text_lc;
> $text="БОЛЬШОЙ!маленький!small!BIG!";
> $text_lc=lc($text);
> print "Env 'PERL_UNICODE' is ";
> print ${^UNICODE};
> print "\n";
> print "Run test: \n";
> print "Source text\n";
> print $text;
> print "\n";
> print "Text after LowerCase\n";
> print $text_lc;
> 
> Текст написан в UTF8.
> В таком виде тест не проходит, т.е. большие русские символы маленькими не 
> становятся, хотя с латинскими все прекрасно.
> Далее если в начале добавить:
> use utf8;
> то тест отрабатывается, но:
> Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
> (http://perldoc.perl.org/perluniintro.html)

use utf8 в данном случае нужен, прочитайте 'perldoc utf8'.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]