* [devel] sitemap on packages.altlinux.org
@ 2011-07-05 8:49 Igor Zubkov
2011-07-05 9:03 ` Rinat Bikov
0 siblings, 1 reply; 4+ messages in thread
From: Igor Zubkov @ 2011-07-05 8:49 UTC (permalink / raw)
To: ALT Linux Team development discussions
Hi, All!
Вчера я переделал в prometheus2.0 ту часть которая долго меня не
устраивала. Это сайтмапы. Они теперь делаются по крону раз в неделю в
воскресенье. Выглядит это примерно так:
# date && bundle exec rake RAILS_ENV=production sitemap:refresh && date
Mon Jul 4 11:16:33 MSD 2011
+ sitemap1.xml.gz 50000 links / 8.93 MB / 236 KB gzipped
+ sitemap2.xml.gz 50000 links / 8.94 MB / 231 KB gzipped
+ sitemap3.xml.gz 50000 links / 8.96 MB / 236 KB gzipped
+ sitemap4.xml.gz 50000 links / 8.97 MB / 236 KB gzipped
+ sitemap5.xml.gz 50000 links / 8.91 MB / 241 KB gzipped
+ sitemap6.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap7.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap8.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap9.xml.gz 50000 links / 8.78 MB / 238 KB gzipped
+ sitemap10.xml.gz 50000 links / 8.77 MB / 237 KB gzipped
+ sitemap11.xml.gz 50000 links / 8.9 MB / 241 KB gzipped
+ sitemap12.xml.gz 50000 links / 8.92 MB / 239 KB gzipped
+ sitemap13.xml.gz 50000 links / 8.76 MB / 239 KB gzipped
+ sitemap14.xml.gz 50000 links / 8.85 MB / 236 KB gzipped
+ sitemap15.xml.gz 50000 links / 8.92 MB / 236 KB gzipped
+ sitemap16.xml.gz 50000 links / 8.95 MB / 230 KB gzipped
+ sitemap17.xml.gz 50000 links / 8.95 MB / 234 KB gzipped
+ sitemap18.xml.gz 50000 links / 8.97 MB / 238 KB gzipped
+ sitemap19.xml.gz 50000 links / 8.88 MB / 240 KB gzipped
+ sitemap20.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap21.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap22.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap23.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap24.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap25.xml.gz 50000 links / 8.92 MB / 241 KB gzipped
+ sitemap26.xml.gz 50000 links / 8.89 MB / 239 KB gzipped
+ sitemap27.xml.gz 50000 links / 8.76 MB / 240 KB gzipped
+ sitemap28.xml.gz 50000 links / 8.88 MB / 236 KB gzipped
+ sitemap29.xml.gz 50000 links / 8.91 MB / 234 KB gzipped
+ sitemap30.xml.gz 50000 links / 8.97 MB / 230 KB gzipped
+ sitemap31.xml.gz 50000 links / 9.01 MB / 236 KB gzipped
+ sitemap32.xml.gz 50000 links / 8.91 MB / 239 KB gzipped
+ sitemap33.xml.gz 50000 links / 8.86 MB / 240 KB gzipped
+ sitemap34.xml.gz 50000 links / 8.78 MB / 238 KB gzipped
+ sitemap35.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap36.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap37.xml.gz 50000 links / 8.77 MB / 237 KB gzipped
+ sitemap38.xml.gz 50000 links / 8.8 MB / 239 KB gzipped
+ sitemap39.xml.gz 50000 links / 8.92 MB / 241 KB gzipped
+ sitemap40.xml.gz 50000 links / 8.87 MB / 239 KB gzipped
+ sitemap41.xml.gz 50000 links / 8.76 MB / 239 KB gzipped
+ sitemap42.xml.gz 50000 links / 8.91 MB / 234 KB gzipped
+ sitemap43.xml.gz 50000 links / 8.89 MB / 233 KB gzipped
+ sitemap44.xml.gz 50000 links / 8.99 MB / 232 KB gzipped
+ sitemap45.xml.gz 50000 links / 9 MB / 236 KB gzipped
+ sitemap46.xml.gz 50000 links / 8.91 MB / 239 KB gzipped
+ sitemap47.xml.gz 50000 links / 8.83 MB / 238 KB gzipped
+ sitemap48.xml.gz 50000 links / 8.77 MB / 238 KB gzipped
+ sitemap49.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap50.xml.gz 50000 links / 8.78 MB / 239 KB gzipped
+ sitemap51.xml.gz 50000 links / 8.76 MB / 237 KB gzipped
+ sitemap52.xml.gz 50000 links / 8.83 MB / 240 KB gzipped
+ sitemap53.xml.gz 50000 links / 8.92 MB / 240 KB gzipped
+ sitemap54.xml.gz 50000 links / 8.84 MB / 238 KB gzipped
+ sitemap55.xml.gz 50000 links / 8.76 MB / 238 KB gzipped
+ sitemap56.xml.gz 14642 links / 2.62 MB / 66.8 KB gzipped
+ sitemap_index.xml.gz 56 sitemaps / 4.38 KB / 375 Bytes gzipped
Sitemap stats: 2,764,642 links / 56 sitemaps / 107m20s
Successful ping of Google
Successful ping of Ask
Successful ping of Bing
Successful ping of Sitemap Writer
To ping Yahoo you require a Yahoo AppID. Add it to your config/sitemap.rb with:
SitemapGenerator::Sitemap.yahoo_app_id = "my_app_id"
For more information see
http://developer.yahoo.com/search/siteexplorer/V1/updateNotification.html
Mon Jul 4 13:04:33 MSD 2011
#
Итого, это почти три миллиона страниц. Зато статика и отдаётся почти
мгновенно. И теперь положить сервер в аут вытягивая с него сайтмапы не
получится.
P.S.: приминаю заказы на то что ещё можно сделать на packages.altlinux.org.
--
Igor Zubkov
http://hi.im/ice
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] sitemap on packages.altlinux.org
2011-07-05 8:49 [devel] sitemap on packages.altlinux.org Igor Zubkov
@ 2011-07-05 9:03 ` Rinat Bikov
2011-07-05 9:22 ` Igor Zubkov
0 siblings, 1 reply; 4+ messages in thread
From: Rinat Bikov @ 2011-07-05 9:03 UTC (permalink / raw)
To: ALT Linux Team development discussions
5 июля 2011 г. 12:49 Igor Zubkov написал:
> P.S.: приминаю заказы на то что ещё можно сделать на packages.altlinux.org.
Тесткейс:
1. открываешь http://packages.altlinux.org
2. Вводишь в поле "Search..." волшебное слово: "qt".
3. Нажимаешь "find".
4. Получаешь: We're sorry, but something went wrong.
We've been notified about this issue and we'll take a look at it shortly.
Видимо чего-то где-то переполняется, пытается оперировать со слишком
большим объёмом данных одновременно...
--
С уважением, Ринат Биков.
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] sitemap on packages.altlinux.org
2011-07-05 9:03 ` Rinat Bikov
@ 2011-07-05 9:22 ` Igor Zubkov
2011-07-07 13:38 ` Igor Zubkov
0 siblings, 1 reply; 4+ messages in thread
From: Igor Zubkov @ 2011-07-05 9:22 UTC (permalink / raw)
To: ALT Linux Team development discussions
2011/7/5 Rinat Bikov:
> 5 июля 2011 г. 12:49 Igor Zubkov написал:
>> P.S.: приминаю заказы на то что ещё можно сделать на packages.altlinux.org.
> Тесткейс:
> 1. открываешь http://packages.altlinux.org
> 2. Вводишь в поле "Search..." волшебное слово: "qt".
> 3. Нажимаешь "find".
> 4. Получаешь: We're sorry, but something went wrong.
> We've been notified about this issue and we'll take a look at it shortly.
Да и не только на qt оно ведёт себя так. На menu тоже.
> Видимо чего-то где-то переполняется, пытается оперировать со слишком
> большим объёмом данных одновременно...
Нет. Оно пережёвывает запросы "perl" и "python" которые почти по 1500
пакетов. Умирает вот на таком:
undefined method `repocop' for nil:NilClass
app/views/searches/show.html.haml:72:in `block in
_app_views_searches_show_html_haml___3037971919777837214_153679200__2605747396699871780'
Как я понимаю, что-то не так с repocop данными в базе прометея. Базу я
сейчас зажму и вытащу себе что бы понять что же происходит.
--
Igor Zubkov
http://hi.im/ice
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [devel] sitemap on packages.altlinux.org
2011-07-05 9:22 ` Igor Zubkov
@ 2011-07-07 13:38 ` Igor Zubkov
0 siblings, 0 replies; 4+ messages in thread
From: Igor Zubkov @ 2011-07-07 13:38 UTC (permalink / raw)
To: ALT Linux Team development discussions
2011/7/5 Igor Zubkov:
> 2011/7/5 Rinat Bikov:
>> 5 июля 2011 г. 12:49 Igor Zubkov написал:
>>> P.S.: приминаю заказы на то что ещё можно сделать на packages.altlinux.org.
>> Тесткейс:
>> 1. открываешь http://packages.altlinux.org
>> 2. Вводишь в поле "Search..." волшебное слово: "qt".
>> 3. Нажимаешь "find".
>> 4. Получаешь: We're sorry, but something went wrong.
>> We've been notified about this issue and we'll take a look at it shortly.
>
> Да и не только на qt оно ведёт себя так. На menu тоже.
Fixed. Оказалось что данные для sphinx не обновлялись корректно и он
отдавал старые данные которых уже не было в базе.
--
Igor Zubkov
http://hi.im/ice
^ permalink raw reply [flat|nested] 4+ messages in thread
end of thread, other threads:[~2011-07-07 13:38 UTC | newest]
Thread overview: 4+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2011-07-05 8:49 [devel] sitemap on packages.altlinux.org Igor Zubkov
2011-07-05 9:03 ` Rinat Bikov
2011-07-05 9:22 ` Igor Zubkov
2011-07-07 13:38 ` Igor Zubkov
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git