From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.3 (2007-08-08) on sa.int.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-2.3 required=5.0 tests=BAYES_00 autolearn=ham version=3.2.3 Message-ID: <47FFE457.4000706@mail.ru> Date: Sat, 12 Apr 2008 02:21:11 +0400 From: =?UTF-8?B?0JrQvtC60LDRgNC10LIg0JrQvtC90YHRgtCw0L3RgtC40L0=?= User-Agent: Thunderbird 2.0.0.12 (X11/20080304) MIME-Version: 1.0 To: ALT Linux Sisyphus discussions References: <200804111340.47797.boris@office.etersoft.ru> In-Reply-To: <200804111340.47797.boris@office.etersoft.ru> Content-Type: text/plain; charset=UTF-8; format=flowed Content-Transfer-Encoding: 8bit X-Spam: Not detected Subject: Re: [sisyphus] =?utf-8?q?perl_=D0=B8_unicode?= X-BeenThere: sisyphus@lists.altlinux.org X-Mailman-Version: 2.1.10b3 Precedence: list Reply-To: ALT Linux Sisyphus discussions List-Id: ALT Linux Sisyphus discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Fri, 11 Apr 2008 23:30:29 -0000 Archived-At: List-Archive: List-Post: Boris Savelev пишет: > Здравствуйте! > Столкнулся с проблемой использования юникода в перле, а именно (cgi тест) > #!/usr/bin/perl -W > use strict; > print "Content-type: text/plain; charset=UTF-8\n\n"; > my $text; > my $text_lc; > $text="БОЛЬШОЙ!маленький!small!BIG!"; > $text_lc=lc($text); > print "Env 'PERL_UNICODE' is "; > print ${^UNICODE}; > print "\n"; > print "Run test: \n"; > print "Source text\n"; > print $text; > print "\n"; > print "Text after LowerCase\n"; > print $text_lc; > > Текст написан в UTF8. > В таком виде тест не проходит, т.е. большие русские символы маленькими не > становятся, хотя с латинскими все прекрасно. > Далее если в начале добавить: > use utf8; > то тест отрабатывается, но: > Starting from Perl 5.8.0, the use of use utf8 is no longer necessary > (http://perldoc.perl.org/perluniintro.html) > rpm -qa | grep perl-base > perl-base-5.8.8-alt19 > проверялось все это в OVZ-контейнере с apache22 > Был еще нарыт ключик -С к perl, определяющий PERL_UNICODE, но манипуляции с > ним ни к чему не привели. Помогите советом, пожалуйста. > > Еще хотелось бы спросить чем отличается использование > use utf8; > от > use encode 'utf-8'; > ? > > PS: все это как-то всплыло при обнаружении не работающего поиска c > использование кирилицы по Bugzilla. Вся багзила в юникоде, база в юникоде, но > на этапе передачи параметров, слова поиска "портятся" (из-за двойного > перекодирования?) из-за чего поиск ессно не удается. С включенным дебагом > запрос выглядит так (ищем слово "привет"): > SELECT bugs.bug_id, bugs.bug_severity, bugs.priority, bugs.bug_status, > bugs.resolution, bugs.bug_severity, bugs.priority, bugs.op_sys, > map_assigned_to.login_name, bugs.bug_status, bugs.resolution, > bugs.short_desc, (SUM(MATCH(longdescs_.thetext) AGAINST('привет' )) + CASE > WHEN bugs.short_desc LIKE '%������%' THEN 7 ELSE 0 END) AS relevance FROM > bugs INNER JOIN profiles AS map_assigned_to ON (bugs.assigned_to = > map_assigned_to.userid) INNER JOIN longdescs AS longdescs_ ON (bugs.bug_id = > longdescs_.bug_id ) LEFT JOIN bug_group_map ON bug_group_map.bug_id = > bugs.bug_id AND bug_group_map.group_id NOT IN (13,4,1,10,11,6,2,8,12,5,3,7,9) > LEFT JOIN cc ON cc.bug_id = bugs.bug_id AND cc.who = 1 WHERE > ((bugs.bug_status IN ('UNCONFIRMED','NEW','ASSIGNED','REOPENED')) AND > (MATCH(longdescs_.thetext) AGAINST('привет' ) > 0 OR (bugs.short_desc > LIKE '%������%'))) AND bugs.creation_ts IS NOT NULL AND > ((bug_group_map.group_id IS NULL) OR (bugs.reporter_accessible = 1 AND > bugs.reporter = 1) OR (bugs.cclist_accessible = 1 AND cc.who IS NOT NULL) OR > (bugs.assigned_to = 1) ) GROUP BY bugs.bug_id ORDER BY relevance desc LIMIT > 200 > Если добавить "use utf8;" в buglist.cgi и в нужный шаблон, то проблема > исчезает, но это хак, а хочется понять суть проблемы, может она банальна-) > Может я все усложнил, но help, help! > Как говорит кэмелбук, перл старше 5.8 воспринимает строку в utf8 если вся строка состоит из символов больше 255. В примере это не так. Сделано для совместимости со старыми скриптами. -- nwtour