Re: [Comm] Автораспознавание кодировки?

[Andrey Orlov <cray_@neural.ru>]

On Sunday 14 November 2004 00:04, Денис Смирнов wrote:
> AO> Зачем хранить для всех? Достаточно хранить только для тех, которые значимы для задачи 
> AO> выбора - а это существенно меньше, в том-то и пафос. 
> 
> Дык я совсем-совсем тупым алгоритмом это делал -- считал статистику, а
> потом перемножал её на эталонную статистику для разных кодировок. Считал
> суммы и делал выводы :)
> 
> А алгоритма для поиска более важных для принятия решения данных я не знаю.

Значимых. Не важных. Не вдаваясь в математические подробности,  просто укажу один упрощенный 
практически допустимый случай - оценка значимости по выборочной вероятности.  Т.е. 
если вы просто выкините все триграммы, вероятность появления которых близка к нулю - 
вы очень сильно сократите таблицу. Я обращаю внимание, что это упрощенная оценка (не строгая), 
применимая, однако, в данном частном случае. Более качественные, в общем случае, результаты 
дает т.н. "Inverse Documents Frequency" (IDF, см. google), а  более математически строгими являеются 
оценки на основе теоремы Байеса (см. там же). Хотя,  разумеется, во всех трех случаях вывод 
начинается примерно из одного и того же места, просто делаются
более или менее строгие / общие допущения. Если хочется совсем "кашмарной теории", то можете
обратить внимание на LSA / LSI (см. там же) или Кохоненовский "bluring" (ищите по слову WEBSOM). 
Хотя, конечно, LSA & WEBSOM для определения кодировки - это уже overkill ;)

> Ну это уж гораздо сложнее логика получается.

Логика абсолютно та же самая, выбор наиболее близкой (в среднеквадратичном смысле) теоретической 
гистограммы признаков генеральной совокупности к выборочной гистограмме признаков. Просто 
множество признаков другое. Если алгоритм удачно факторизован, то имеет место семейство алгоритмов, 
различающихся лишь словарем признаков. 

-- 
WthBstRgrds -- Андрей Орлов --  
 --- http: www.neural.ru, mail: cray@neural.ru, jid: cray@altlinux.org ---
----------------------------------------