From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: From: Andrey Orlov To: community@altlinux.ru Subject: Re: [Comm] =?koi8-r?b?4dfUz9LB09DP2s7B18HOycU=?= =?koi8-r?b?IMvPxMnSz9fLyT8=?= Date: Sun, 14 Nov 2004 02:35:27 +0300 User-Agent: KMail/1.7.1 References: <418FD594.3000403@ramendik.ru> <200411132340.04703.cray@neural.ru> <20041113210431.GA14160@mithraen_ws> In-Reply-To: <20041113210431.GA14160@mithraen_ws> MIME-Version: 1.0 Content-Type: text/plain; charset="koi8-r" Content-Transfer-Encoding: 8bit Content-Disposition: inline Message-Id: <200411140235.28086.cray_@neural.ru> X-BeenThere: community@altlinux.ru X-Mailman-Version: 2.1.5 Precedence: list Reply-To: community@altlinux.ru List-Id: Mailing list for ALT Linux users List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Sat, 13 Nov 2004 23:27:34 -0000 Archived-At: List-Archive: List-Post: On Sunday 14 November 2004 00:04, Денис Смирнов wrote: > AO> Зачем хранить для всех? Достаточно хранить только для тех, которые значимы для задачи > AO> выбора - а это существенно меньше, в том-то и пафос. > > Дык я совсем-совсем тупым алгоритмом это делал -- считал статистику, а > потом перемножал её на эталонную статистику для разных кодировок. Считал > суммы и делал выводы :) > > А алгоритма для поиска более важных для принятия решения данных я не знаю. Значимых. Не важных. Не вдаваясь в математические подробности, просто укажу один упрощенный практически допустимый случай - оценка значимости по выборочной вероятности. Т.е. если вы просто выкините все триграммы, вероятность появления которых близка к нулю - вы очень сильно сократите таблицу. Я обращаю внимание, что это упрощенная оценка (не строгая), применимая, однако, в данном частном случае. Более качественные, в общем случае, результаты дает т.н. "Inverse Documents Frequency" (IDF, см. google), а более математически строгими являеются оценки на основе теоремы Байеса (см. там же). Хотя, разумеется, во всех трех случаях вывод начинается примерно из одного и того же места, просто делаются более или менее строгие / общие допущения. Если хочется совсем "кашмарной теории", то можете обратить внимание на LSA / LSI (см. там же) или Кохоненовский "bluring" (ищите по слову WEBSOM). Хотя, конечно, LSA & WEBSOM для определения кодировки - это уже overkill ;) > Ну это уж гораздо сложнее логика получается. Логика абсолютно та же самая, выбор наиболее близкой (в среднеквадратичном смысле) теоретической гистограммы признаков генеральной совокупности к выборочной гистограмме признаков. Просто множество признаков другое. Если алгоритм удачно факторизован, то имеет место семейство алгоритмов, различающихся лишь словарем признаков. -- WthBstRgrds -- Андрей Орлов -- --- http: www.neural.ru, mail: cray@neural.ru, jid: cray@altlinux.org --- ----------------------------------------