[devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Michael Shigorin]

On Thu, Apr 02, 2015 at 04:43:28AM +0000, QA Team Robot wrote:
> installer - Installer common parts
> * Tue Mar 31 2015 Gleb F-Malinovskiy <glebfm@altlinux> 1.8.28-alt1
> - Added default APT::Cache-Limit=32M for installer.

На самом деле экспериментально выяснено, что для установки
altlinux-7.0.0-kdesktop-x86_64-ru-install-dvd5.iso с его ~3000
пакетов достаточно 8M (где-то между 6 и 8), а более мелкие
RPMS.main вроде того, что в regular-sysv-tde (~1000 пакетов),
довольствуются тремями метрами.

Отсюда предложение не спеша снизить порог минимум ещё вдвое
(оставив двойной запас), а то и портировать в p7 до выпуска
7.0.5.  Если когда-либо будет добавлена логика для подключения
бранча при установке (с тем, чтобы обновлённые ядро и пакеты
сразу получить) -- там же выполним и удаление/правку файла
/etc/apt/apt.conf.d/installer-cache-limit.conf в install2.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton Farygin]

On 02.04.2015 12:14, Michael Shigorin wrote:
> On Thu, Apr 02, 2015 at 04:43:28AM +0000, QA Team Robot wrote:
>> installer - Installer common parts
>> * Tue Mar 31 2015 Gleb F-Malinovskiy <glebfm@altlinux> 1.8.28-alt1
>> - Added default APT::Cache-Limit=32M for installer.
> На самом деле экспериментально выяснено, что для установки
> altlinux-7.0.0-kdesktop-x86_64-ru-install-dvd5.iso с его ~3000
> пакетов достаточно 8M (где-то между 6 и 8), а более мелкие
> RPMS.main вроде того, что в regular-sysv-tde (~1000 пакетов),
> довольствуются тремями метрами.
>
> Отсюда предложение не спеша снизить порог минимум ещё вдвое
> (оставив двойной запас), а то и портировать в p7 до выпуска
> 7.0.5.  Если когда-либо будет добавлена логика для подключения
> бранча при установке (с тем, чтобы обновлённые ядро и пакеты
> сразу получить) -- там же выполним и удаление/правку файла
> /etc/apt/apt.conf.d/installer-cache-limit.conf в install2.
>

Миша, проверь пожалуйста уровень реальной потребляемой оперативной 
памяти apt'ом в случае с

APT::Cache-Limit=32M и в случае с 8M.

И расскажи нам о разнице.

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Michael Shigorin]

On Thu, Apr 02, 2015 at 12:41:47PM +0300, Anton Farygin wrote:
> Миша, проверь пожалуйста уровень реальной потребляемой
> оперативной памяти apt'ом в случае с APT::Cache-Limit=32M
> и в случае с 8M.  И расскажи нам о разнице.

Для этого надо в alterator-pkg его запускать под чем-то
вроде time -f "%Mk", а мне кажется и так очевидным, что
разница в результате будет порядка 24M по той причине,
что эта память выделяется вся и сразу.

Собственно, Глеб делал замеры перед тем, как производить
это изменение -- заодно выяснилось, что разница между
i586 и x86_64 незначительна.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton Farygin]

On 02.04.2015 12:57, Michael Shigorin wrote:
> On Thu, Apr 02, 2015 at 12:41:47PM +0300, Anton Farygin wrote:
>> Миша, проверь пожалуйста уровень реальной потребляемой
>> оперативной памяти apt'ом в случае с APT::Cache-Limit=32M
>> и в случае с 8M.  И расскажи нам о разнице.
> Для этого надо в alterator-pkg его запускать под чем-то
> вроде time -f "%Mk", а мне кажется и так очевидным, что
> разница в результате будет порядка 24M по той причине,
> что эта память выделяется вся и сразу.
Если так рассуждать, то ты должен увидеть разницу между

APT::Cache-Limit=128M и APT::Cache-Limit=256M тут и сразу ?

И да, для этого ты можешь его запускать просто на локальной машине, а не в alterator-pkg. Если хочется проверять инсталлер - то можно замерять сколько потреблял процесс kvm.

>
> Собственно, Глеб делал замеры перед тем, как производить
> это изменение -- заодно выяснилось, что разница между
> i586 и x86_64 незначительна.
Это как раз понятно.

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Michael Shigorin]

On Thu, Apr 02, 2015 at 01:38:02PM +0300, Anton Farygin wrote:
> >а мне кажется и так очевидным, что разница в результате будет
> >порядка 24M по той причине, что эта память выделяется вся и сразу.
> Если так рассуждать, то ты должен увидеть разницу между
> APT::Cache-Limit=128M и APT::Cache-Limit=256M тут и сразу ?

Угу.

> И да, для этого ты можешь его запускать просто на локальной
> машине, а не в alterator-pkg.

И это угу.

> Если хочется проверять инсталлер - то можно замерять
> сколько потреблял процесс kvm.

Можно и проще, но "вот и верь после этого людям":

# /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=134217728 -qq update
110036k
# /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=268435456 -qq update
110160k

(циферки чуть плавают, вторая может быть и меньше первой)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton Farygin]

On 02.04.2015 14:09, Michael Shigorin wrote:
> On Thu, Apr 02, 2015 at 01:38:02PM +0300, Anton Farygin wrote:
>>> а мне кажется и так очевидным, что разница в результате будет
>>> порядка 24M по той причине, что эта память выделяется вся и сразу.
>> Если так рассуждать, то ты должен увидеть разницу между
>> APT::Cache-Limit=128M и APT::Cache-Limit=256M тут и сразу ?
> Угу.
>
>> И да, для этого ты можешь его запускать просто на локальной
>> машине, а не в alterator-pkg.
> И это угу.
>
>> Если хочется проверять инсталлер - то можно замерять
>> сколько потреблял процесс kvm.
> Можно и проще, но "вот и верь после этого людям":
>
> # /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=134217728 -qq update
> 110036k
> # /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=268435456 -qq update
> 110160k
>
> (циферки чуть плавают, вторая может быть и меньше первой)
>
И ещё раз тоже самое с 64M и 32М

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Michael Shigorin]

On Thu, Apr 02, 2015 at 02:16:58PM +0300, Anton Farygin wrote:
> ># /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=134217728 -qq update
> >110036k
> ># /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=268435456 -qq update
> >110160k
> И ещё раз тоже самое с 64M и 32М

На sisyphus (x86_64 + x86_64-i586 + noarch) оба вываливаются,
успев потребить 87676k и 48004k соответственно.

Собственно, речь была о том, что инсталер оперирует гораздо
меньшим количеством пакетов и там можно не поднимать лимит,
как для сизифа, а наоборот -- урезать.

Например, с 8M на сизифе выпадает (19624k), а kdesktop ставит.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton Farygin]

On 02.04.2015 14:42, Michael Shigorin wrote:
> On Thu, Apr 02, 2015 at 02:16:58PM +0300, Anton Farygin wrote:
>>> # /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=134217728 -qq update
>>> 110036k
>>> # /usr/bin/time -f "%Mk" apt-get -o APT::Cache-Limit=268435456 -qq update
>>> 110160k
>> И ещё раз тоже самое с 64M и 32М
> На sisyphus (x86_64 + x86_64-i586 + noarch) оба вываливаются,
> успев потребить 87676k и 48004k соответственно.
>
> Собственно, речь была о том, что инсталер оперирует гораздо
> меньшим количеством пакетов и там можно не поднимать лимит,
> как для сизифа, а наоборот -- урезать.
>
> Например, с 8M на сизифе выпадает (19624k), а kdesktop ставит.
>
Ну а я веду к тому, что цифра не влияет на реально поведение apt'а и 
поэтому можно особо не заморачиваться и поднять до максимума.

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton V. Boyarshinov]

> Ну а я веду к тому, что цифра не влияет на реально поведение apt'а и 
> поэтому можно особо не заморачиваться и поднять до максимума.
Это не так. Я однажды поставил лишний нолик или два -- конца запуска
apt не дождался...

Re: [devel-distro] по /etc/apt/apt.conf.d/installer-cache-limit.conf

[Anton Farygin]

On 02.04.2015 16:09, Anton V. Boyarshinov wrote:
>> Ну а я веду к тому, что цифра не влияет на реально поведение apt'а и
>> поэтому можно особо не заморачиваться и поднять до максимума.
> Это не так. Я однажды поставил лишний нолик или два -- конца запуска
> apt не дождался...
Наверное с тех пор что-то поменялось?
# apt-get -o APT::Cache-Limit=1342177280000 update
Get:1 http://mirror.yandex.ru x86_64 release [915B]
Get:2 http://mirror.yandex.ru x86_64-i586 release [573B]
Get:3 http://mirror.yandex.ru noarch release [709B]
Fetched 2197B in 5s (429B/s)
Get:1 http://mirror.yandex.ru x86_64/classic pkglist [17.9MB]
Get:2 http://mirror.yandex.ru x86_64/classic release [147B]
Get:3 http://mirror.yandex.ru x86_64/debuginfo pkglist [2746kB]
Get:4 http://mirror.yandex.ru x86_64/debuginfo release [149B]
Get:5 http://mirror.yandex.ru x86_64-i586/classic pkglist [13.2MB]
Get:6 http://mirror.yandex.ru x86_64-i586/classic release [152B]
Get:7 http://mirror.yandex.ru noarch/classic pkglist [4281kB]
Get:8 http://mirror.yandex.ru noarch/classic release [147B]
Fetched 38.2MB in 12s (3097kB/s)
Segmentation faultsts... 0%

При этом, если убрать один нолик, то:
# apt-get -o APT::Cache-Limit=134217728000 update
Get:1 http://mirror.yandex.ru x86_64 release [915B]
Get:2 http://mirror.yandex.ru x86_64-i586 release [573B]
Get:3 http://mirror.yandex.ru noarch release [709B]
Fetched 2197B in 5s (434B/s)
Hit http://mirror.yandex.ru x86_64/classic pkglist
Hit http://mirror.yandex.ru x86_64/classic release
Hit http://mirror.yandex.ru x86_64/debuginfo pkglist
Hit http://mirror.yandex.ru x86_64/debuginfo release
Hit http://mirror.yandex.ru x86_64-i586/classic pkglist
Hit http://mirror.yandex.ru x86_64-i586/classic release
Hit http://mirror.yandex.ru noarch/classic pkglist
Hit http://mirror.yandex.ru noarch/classic release
Reading Package Lists... Done
Building Dependency Tree... Done
#