Re: [devel] robots VS sisyphus

[Sergei Epiphanov <serpiph@nikiet.ru>]

On 28 декабря 2011 00:09 Alexey Tourbin wrote:
> > Я пока еще не замечал, чтобы у рядового пользователя стоял бы сервер с
> > 24ГБ  памяти на борту. Hasher, например, для сборки пакета задействует
> > apt не единожды и с базой Сизифа, объединённой со своей локальной для
> > возможности сборки пакетов с учётом уже собранных ранее. И так для
> > каждого пакета, проверяемого локально на сборку. А если пакетов
> > несколько десятков?
> Я привёл пример c 24G RAM, чтобы исключить влияние виртуальной памяти и
> page faults.  Понятно, что если у Вас 1G RAM и запущен Firefox, то hasher
> не справится за секунду.  Но всё же справится относительно быстро, а
> торомоза не следовало бы относить в первую очередь на счет apt.

А что значит "относительно быстро"? У меня дома i7 975 с 12ГБ на борту
(виртуальной памяти нет) и винтом Velociraptor 10000rpm. И то сбор данных
занимает порядка двух секунд. А hasher'у по каждому собираемому пакету
сначала нужно проверить адекватность chroot (первое обращение), потом
поставить пакеты (второе обращение), потом под конец ещё одна генерация списка.

Сервера (на Xeon и Opteron) показывают в 5-10 раз выше производительность
в обработке данных по сравнению с любыми десктопными процессорами той же
частоты даже при меньшей паспортной производительности памяти. Сужу
по сравнению старого Xeon 3.2ГГц с i7 760. Уже одно это отрывает Ваш пример
от действительности.

i7 960 + 24ГБ оперативки (6х4ГБ) с винтом WD Diamond Black 2ТБ
с локальной базой Сизифа
======================================
С реальным чтением с диска
# time apt-get update
[sudo] password for pif:
Reading Package Lists... Done
Building Dependency Tree... Done
2.07user 0.60system 0:11.88elapsed 22%CPU (0avgtext+0avgdata 279120maxresident)k
382136inputs+151480outputs (28major+27754minor)pagefaults 0swaps

С закешированными в памяти данными
# time apt-get update
Reading Package Lists... Done
Building Dependency Tree... Done
1.89user 0.36system 0:03.11elapsed 72%CPU (0avgtext+0avgdata 279504maxresident)k
8inputs+151480outputs (22major+28804minor)pagefaults 0swaps
# 

Xeon 3.2ГГц + 4ГБ оперативки (4х1ГБ) с softRAID1 на WD DIamond Black 1ТБ
с удалённой базой Сизифа через сеть 100МБит
=====================================
С реальным чтением базы с диска
# time apt-get update
Get:1 ftp://IP i586 release [861B]                                                                                                                                
Get:2 ftp://IP noarch release [859B]                                                                                                                              
Fetched 1720B in 0s (4066B/s)                                                                                                                                                  
Hit ftp://IP i586/classic pkglist                                                                                                                                 
Hit ftp://IP i586/classic release                                                                                                                                 
Hit ftp://IP noarch/classic pkglist                                                                                                                               
Hit ftp://IP noarch/classic release                                                                                                                               
Reading Package Lists...                                                                                                                                                       
Building Dependency Tree...                                                                                                                                                    
3.62user 1.40system 0:11.95elapsed 42%CPU (0avgtext+0avgdata 220048maxresident)k                                                                                               
312248inputs+148008outputs (29major+41574minor)pagefaults 0swaps

С закешированными в памяти данными
# time apt-get update
Get:1 ftp://IP i586 release [861B]                                                                                                                                
Get:2 ftp://IP noarch release [859B]                                                                                                                              
Fetched 1720B in 0s (6490B/s)                                                                                                                                                  
Hit ftp://IP i586/classic pkglist                                                                                                                                 
Hit ftp://IP i586/classic release                                                                                                                                 
Hit ftp://IP noarch/classic pkglist                                                                                                                               
Hit ftp://IP noarch/classic release                                                                                                                               
Reading Package Lists...                                                                                                                                                       
Building Dependency Tree...                                                                                                                                                    
1.21user 0.12system 0:01.86elapsed 71%CPU (0avgtext+0avgdata 193232maxresident)k                                                                                               
0inputs+912outputs (3major+19584minor)pagefaults 0swaps

Вопрос: что читает apt с диска  в течение 10 сек?

-- 
С уважением, Епифанов Сергей