Re: [sisyphus] perl и unicode

["Кокарев Константин" <nwtour-subs@mail.ru>]

Boris Savelev пишет:
> Здравствуйте!
> Столкнулся с проблемой использования юникода в перле, а именно (cgi тест)
> #!/usr/bin/perl -W
> use strict;
> print "Content-type: text/plain; charset=UTF-8\n\n";
> my $text;
> my $text_lc;
> $text="БОЛЬШОЙ!маленький!small!BIG!";
> $text_lc=lc($text);
> print "Env 'PERL_UNICODE' is ";
> print ${^UNICODE};
> print "\n";
> print "Run test: \n";
> print "Source text\n";
> print $text;
> print "\n";
> print "Text after LowerCase\n";
> print $text_lc;
>
> Текст написан в UTF8.
> В таком виде тест не проходит, т.е. большие русские символы маленькими не 
> становятся, хотя с латинскими все прекрасно.
> Далее если в начале добавить:
> use utf8;
> то тест отрабатывается, но:
> Starting from Perl 5.8.0, the use of use utf8  is no longer necessary
> (http://perldoc.perl.org/perluniintro.html)
> rpm -qa | grep perl-base
> perl-base-5.8.8-alt19
> проверялось все это в OVZ-контейнере с apache22
> Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с 
> ним ни к чему не привели. Помогите советом, пожалуйста.
>
> Еще хотелось бы спросить чем отличается использование
> use utf8;
> от
> use encode 'utf-8';
> ?
>
> PS: все это как-то всплыло при обнаружении не работающего поиска c 
> использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но 
> на этапе передачи параметров, слова поиска "портятся" (из-за двойного 
> перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом 
> запрос выглядит так (ищем слово "привет"):
> SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, 
> bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, 
> map_assigned_to.login_name, bugs.bug_status, bugs.resolution, 
> bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE 
> WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM 
> bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = 
> map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = 
> longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = 
> bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) 
> LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE 
> ((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND 
> (MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc 
> LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND 
> ((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND 
> bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR 
> (bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT 
> 200
> Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема 
> исчезает, но это хак, а хочется понять суть проблемы, может она банальна-)
> Может я все усложнил, но help, help!
>   
Как говорит кэмелбук, перл старше 5.8 воспринимает строку в utf8 если 
вся строка состоит из символов больше 255. В примере это не так.

Сделано для совместимости со старыми скриптами.


-- 
nwtour