[sisyphus] Jabberd2 2.1.9, mysql & utf8

[sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 1472 bytes --]

Здравствуйте.
Собрал новую версию jabberd2 2.1.9
Среди прочих изменений фигурирует
- MySQL connection defaults to UTF-8 now
Для впервые устанавливающих jabberd2 проблем не будет.
Но лично я при обновлении у себя схлопотал нечитаемость русских ников,названий групп и полей vcard
(а-ля Ёбург)
Не исключено, что у меня были кривые настройки кодировки в mysql
Справедливости ради отмечу, что до обновления, в phpMySQL в базе jabberd2 я видел все русские строки
в кривом виде (всё те-же Ёбург)
После обновления и перебивания кривых русских строк теперь и jabberd2 и phpMySQL показывает их
одинаково правильно.

Вот собственно и не знаю, под каким соусом и стоит-ли заливать это в сизиф...
И как предотвратить подобные проблемы у обновляющихся (кстати интересно, jabberd2 на альте вообще
кто-то юзает?)

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Vitaly Lipatov]

On 20 июля 2007, Alexey Sidorov wrote:
> Здравствуйте.
> Собрал новую версию jabberd2 2.1.9
Это хорошо :)
...
> Но лично я при обновлении у себя схлопотал нечитаемость
> русских ников,названий групп и полей vcard (а-ля Ёбург)
Ну мы тоже такое схлопотали, когда перешли на UTF8 (указав в 
сервере такую кодировку клиента).
...
> Вот собственно и не знаю, под каким соусом и стоит-ли заливать
> это в сизиф... И как предотвратить подобные проблемы у
Никак. Кодировка клиента не должна влиять на хранение информации, 
поэтому если прежде всё правильно хранилось (что вряд ли), то и 
сейчас не испортится.
> обновляющихся (кстати интересно, jabberd2 на альте вообще
> кто-то юзает?)
Я например, в нескольких организациях.



-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 1428 bytes --]

Vitaly Lipatov пишет:
> On 20 июля 2007, Alexey Sidorov wrote:
>> Здравствуйте.
>> Собрал новую версию jabberd2 2.1.9
> Это хорошо :)
> ...
>> Но лично я при обновлении у себя схлопотал нечитаемость
>> русских ников,названий групп и полей vcard (а-ля Ёбург)
> Ну мы тоже такое схлопотали, когда перешли на UTF8 (указав в 
> сервере такую кодировку клиента).
> ...
>> Вот собственно и не знаю, под каким соусом и стоит-ли заливать
>> это в сизиф... И как предотвратить подобные проблемы у
> Никак. Кодировка клиента не должна влиять на хранение информации, 
> поэтому если прежде всё правильно хранилось (что вряд ли), то и 
> сейчас не испортится.
>> обновляющихся (кстати интересно, jabberd2 на альте вообще
>> кто-то юзает?)
> Я например, в нескольких организациях.
> 
> 
> 
т.е. заливать?

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Vitaly Lipatov]

On 20 июля 2007, Alexey Sidorov wrote:
> Vitaly Lipatov пишет:
> > On 20 июля 2007, Alexey Sidorov wrote:
> >> Здравствуйте.
> >> Собрал новую версию jabberd2 2.1.9
...
> > Никак. Кодировка клиента не должна влиять на хранение
> > информации, поэтому если прежде всё правильно хранилось (что
> > вряд ли), то и сейчас не испортится.
...
> т.е. заливать?
Да.


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1.1: Type: text/plain, Size: 490 bytes --]

On 21 июля 2007, Vitaly Lipatov wrote:

[...]
> > т.е. заливать?
> Да.
Обнаружился подводный камень.
Хоть он и делает "set names utf8", но после перезапуска MySQL оно 
слетает.
не помогает ни init-connect в my.cnf, ни запуск mysqld -C utf8
Т.е. откат на предыдущее поведение (см. прикрепленный хак) помогает 
хотя бы не менять его.
Но фиксить, наверное, MySQL надо?

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #1.2: jabberd-2.1.15-zrg-enc.patch --]
[-- Type: text/x-diff, Size: 1055 bytes --]

diff -u'Nrpk~' jabberd-2.1.15~/storage/authreg_mysql.c jabberd-2.1.15/storage/authreg_mysql.c
--- jabberd-2.1.15~/storage/authreg_mysql.c	2007-06-18 22:04:22 +0400
+++ jabberd-2.1.15/storage/authreg_mysql.c	2007-09-02 12:55:10 +0400
@@ -419,7 +419,7 @@ DLLEXPORT int ar_init(authreg_t ar) {
         return 1;
     }
 
-    mysql_query(conn, "SET NAMES 'utf8'");
+    mysql_query(conn, "SET NAMES 'latin1'");
 
     /* Set reconnect flag to 1 (set to 0 by default from mysql 5 on) */
     conn->reconnect = 1;
diff -u'Nrpk~' jabberd-2.1.15~/storage/storage_mysql.c jabberd-2.1.15/storage/storage_mysql.c
--- jabberd-2.1.15~/storage/storage_mysql.c	2007-06-17 11:35:58 +0400
+++ jabberd-2.1.15/storage/storage_mysql.c	2007-09-02 12:55:19 +0400
@@ -630,7 +630,7 @@ DLLEXPORT st_ret_t st_init(st_driver_t d
         return st_FAILED;
     }
 
-    mysql_query(conn, "SET NAMES 'utf8'");
+    mysql_query(conn, "SET NAMES 'latin1'");
 
     /* Set reconnect flag to 1 (set to 0 by default from mysql 5 on) */
     conn->reconnect = 1;

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Vitaly Lipatov]

On 3 сентября 2007, Sergey V Turchin wrote:
> On 21 июля 2007, Vitaly Lipatov wrote:
>
> [...]
>
> > > т.е. заливать?
> >
> > Да.
>
> Обнаружился подводный камень.
> Хоть он и делает "set names utf8", но после перезапуска MySQL
> оно слетает.
> не помогает ни init-connect в my.cnf, ни запуск mysqld -C utf8
> Т.е. откат на предыдущее поведение (см. прикрепленный хак)
> помогает хотя бы не менять его.
> Но фиксить, наверное, MySQL надо?
Надо разобраться в ситуации. Все программы нормально с этим 
живут. jabberd похоже использует что-то нечто mysql_pconnect, и 
параметры созданного им постоянного соединения меняются что 
ли...
Вообще я где-то слышал, SET NAMES скоро выкинут...
А ключ -C для mysqld (это character_set_server) вообще влияет 
только на внутреннее хранение данных, не задевая
character_set_client
character_set_results
которые собственно и должны быть в utf8 по умолчанию. К 
сожалению, в каком-то неправильном месте там прибито latin1 по 
умолчанию.

Прочитал
http://mysqlfaq.wikispaces.com/Encoding
но так и не понял, что может помочь.
Но неужели у нас нет специалистов по MySQL?

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 312 bytes --]

On 3 сентября 2007, Vitaly Lipatov wrote:

[...]
> сожалению, в каком-то неправильном месте там прибито latin1 по
> умолчанию.
Судя по всему при автоматическом reconnect в libmysql

[...]

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 981 bytes --]

Sergey V Turchin пишет:
> On 21 июля 2007, Vitaly Lipatov wrote:
> 
> [...]
>>> т.е. заливать?
>> Да.
> Обнаружился подводный камень.
> Хоть он и делает "set names utf8", но после перезапуска MySQL оно 
> слетает.
> не помогает ни init-connect в my.cnf, ни запуск mysqld -C utf8
> Т.е. откат на предыдущее поведение (см. прикрепленный хак) помогает 
> хотя бы не менять его.
> Но фиксить, наверное, MySQL надо?
> 

У меня кстати вообще непонятная ситуация с jabberd2
С некоторых пор (весьма вероятно что с той-же 2.1.9) не могу залогинится по утрам
Т.е. вечером отключаюсь, а утром получаю что-то типа "сервер больше не обслуживается"
При этом такое ощущение, что не все аккаунты не могут залогинится, а только некоторые.
Пришлось тупо загнать в крон рестарт jabberd2 ночью. Точнее достаточно рестартить jabberd2-c2s.
Ни у кого случайно не воспроизводится?

-- 
Best regards,	Alexey Sidorov
 	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 309 bytes --]

On 4 сентября 2007, Alexey Sidorov wrote:

[...]
> Точнее достаточно рестартить jabberd2-c2s. Ни у кого случайно не
> воспроизводится?
Ни разу не видел.
Может, в логах c2s что-то есть?

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 913 bytes --]

Sergey V Turchin пишет:
> On 4 сентября 2007, Alexey Sidorov wrote:
> 
> [...]
>> Точнее достаточно рестартить jabberd2-c2s. Ни у кого случайно не
>> воспроизводится?
> Ни разу не видел.
> Может, в логах c2s что-то есть?
> 
кое-что есть:
в router.log:
Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error: XML parse error (not well-formed
(invalid token))
Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error: XML parse error (not well-formed
(invalid token))
Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] disconnect

в sm.log:
Sat Aug 18 09:37:39 2007 [notice] error from router: Stream error (not well-formed (invalid token))

в c2s.log в этот момент всё выглядит как клиент законнектился и сразу отключился

попытки разбирательства с апстримом ясности не внесли...

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 1053 bytes --]

On 4 сентября 2007, Alexey Sidorov wrote:
> Sergey V Turchin пишет:
> > On 4 сентября 2007, Alexey Sidorov wrote:
> >
> > [...]
> >
> >> Точнее достаточно рестартить jabberd2-c2s. Ни у кого случайно
> >> не воспроизводится?
> >
> > Ни разу не видел.
> > Может, в логах c2s что-то есть?
>
> кое-что есть:
> в router.log:
> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error:
> XML parse error (not well-formed (invalid token))
> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error:
> XML parse error (not well-formed (invalid token))
> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346]
> disconnect
>
> в sm.log:
> Sat Aug 18 09:37:39 2007 [notice] error from router: Stream error
> (not well-formed (invalid token))
>
> в c2s.log в этот момент всё выглядит как клиент законнектился и
> сразу отключился
А кто этот клиент с 127.0.0.1?

> попытки разбирательства с апстримом ясности не внесли...



-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 1304 bytes --]

Sergey V Turchin пишет:
> On 4 сентября 2007, Alexey Sidorov wrote:
>> Sergey V Turchin пишет:
>>> On 4 сентября 2007, Alexey Sidorov wrote:
>>>
>>> [...]
>>>
>>>> Точнее достаточно рестартить jabberd2-c2s. Ни у кого случайно
>>>> не воспроизводится?
>>> Ни разу не видел.
>>> Может, в логах c2s что-то есть?
>> кое-что есть:
>> в router.log:
>> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error:
>> XML parse error (not well-formed (invalid token))
>> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346] error:
>> XML parse error (not well-formed (invalid token))
>> Sat Aug 18 09:37:39 2007 [notice] [127.0.0.1, port=34346]
>> disconnect
>>
>> в sm.log:
>> Sat Aug 18 09:37:39 2007 [notice] error from router: Stream error
>> (not well-formed (invalid token))
>>
>> в c2s.log в этот момент всё выглядит как клиент законнектился и
>> сразу отключился
> А кто этот клиент с 127.0.0.1?
> 
>> попытки разбирательства с апстримом ясности не внесли...
> 
не, это-ж роутер
он принимает коннекты от других компонент (в моем случае это один из
jabberd2-c2s,jabberd2-s2s,jabberd2-sm,jabberd2-resolver)....
Узнать кто именно из них это был не представляется возможным...

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 566 bytes --]

On 4 сентября 2007, Alexey Sidorov wrote:

[...]
> >> попытки разбирательства с апстримом ясности не внесли...
>
> не, это-ж роутер
> он принимает коннекты от других компонент (в моем случае это один
> из jabberd2-c2s,jabberd2-s2s,jabberd2-sm,jabberd2-resolver)....
> Узнать кто именно из них это был не представляется возможным...
Возможно, что-то с конфигами. Не могут же они друг другу так просто 
кривой xml слать?
Сравните с дефолтными.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 902 bytes --]

Sergey V Turchin пишет:
> On 4 сентября 2007, Alexey Sidorov wrote:
> 
> [...]
>>>> попытки разбирательства с апстримом ясности не внесли...
>> не, это-ж роутер
>> он принимает коннекты от других компонент (в моем случае это один
>> из jabberd2-c2s,jabberd2-s2s,jabberd2-sm,jabberd2-resolver)....
>> Узнать кто именно из них это был не представляется возможным...
> Возможно, что-то с конфигами. Не могут же они друг другу так просто 
> кривой xml слать?
> Сравните с дефолтными.
> 
Дело не в настройках.
Кстати, сегодня ради эксперимента отключил ночной рестарт jabberd2
И с утра не смог подключится, но....
Другие юзеры смогли подключится
У них весь ростер отображался вопросиками (все клюенты юзают psi под win)
Похоже таки слетает кодировка [mysql]....
После рестарта jabberd2 всё опять ок

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 420 bytes --]

On 5 сентября 2007, Alexey Sidorov wrote:

[...]
> У них весь ростер отображался вопросиками (все клюенты юзают psi
> под win) Похоже таки слетает кодировка [mysql]....
> После рестарта jabberd2 всё опять ок
Дык, я об этом и писал. После перезапуска MySQL опять слетит после 
reconnect-а к нему.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 340 bytes --]

On 5 сентября 2007, Alexey Sidorov wrote:

[...]
> И с утра не смог подключится, но.... 
А у вас нелатинских букв случайно нет в JID или пароле?
Или символов, которые могут кракозябриться при слете кодировки.

[...]

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 535 bytes --]

Sergey V Turchin пишет:
> On 5 сентября 2007, Alexey Sidorov wrote:
> 
> [...]
>> И с утра не смог подключится, но.... 
> А у вас нелатинских букв случайно нет в JID или пароле?
> Или символов, которые могут кракозябриться при слете кодировки.
> 
> [...]
> 
В jid'е и пароле - нету
а вот в ростере естественно есть.
кстати отваливается именно в момент получения ростера (это хорошо видно в Bombus'е, это
жаббер-клиент для мобильных)

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 579 bytes --]

On 5 сентября 2007, Alexey Sidorov wrote:

[...]
> >> И с утра не смог подключится, но....
> > А у вас нелатинских букв случайно нет в JID или пароле?
> > Или символов, которые могут кракозябриться при слете кодировки.
> В jid'е и пароле - нету
> а вот в ростере естественно есть.
> кстати отваливается именно в момент получения ростера (это хорошо
> видно в Bombus'е, это жаббер-клиент для мобильных)
Может, там какой-нибудь символ нехороший получается.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Alexey Sidorov]

[-- Attachment #1: Type: text/plain, Size: 832 bytes --]

Sergey V Turchin пишет:
> On 5 сентября 2007, Alexey Sidorov wrote:
> 
> [...]
>>>> И с утра не смог подключится, но....
>>> А у вас нелатинских букв случайно нет в JID или пароле?
>>> Или символов, которые могут кракозябриться при слете кодировки.
>> В jid'е и пароле - нету
>> а вот в ростере естественно есть.
>> кстати отваливается именно в момент получения ростера (это хорошо
>> видно в Bombus'е, это жаббер-клиент для мобильных)
> Может, там какой-нибудь символ нехороший получается.
> 
Может-быть.
Но тем не менее, даже если я вычислю и заменю этот символ - у всех остальных проблема с кодирокой
останется
а вообще странно, ведь у меня мускул не рестартится
а кодировка слетает...
хотя может его logrotate рестартит?

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[Vitaly Lipatov]

On 4 сентября 2007, Alexey Sidorov wrote:
...
> У меня кстати вообще непонятная ситуация с jabberd2
> С некоторых пор (весьма вероятно что с той-же 2.1.9) не могу
> залогинится по утрам Т.е. вечером отключаюсь, а утром получаю
...
> ночью. Точнее достаточно рестартить jabberd2-c2s. Ни у кого
> случайно не воспроизводится?
У нас было нечто подобное, причём при логине некоторых 
пользователей вообще сервер падал. Решилось исправлением проблем 
с кодировками.


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[@ 2007-09-07 4:04 UTC (permalink / raw)]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[@ 2007-07-20 11:12 UTC (permalink / raw)]

Re: [sisyphus] Jabberd2 2.1.9, mysql & utf8

[@ 2007-07-20 11:19 UTC (permalink / raw)]