[devel] build process in VPS

[devel] build process in VPS

[Alexander Volkov]

Приветствую!
Коллеги, прошу помощи в построении сборочных контейнеров.
Вводная такая - держать сизиф кроме бука негде, но есть пачка
серверов(4.0),
где можно собирать пакеты в контейнерах VPS.
Создал х86 и х86_64 контейнеры, завел пользователей, хэшер, апгрейд до
сизифа, доставил etersoft-build-utils, настроил аналогично сборочнице на одном из узлов. А не выходит каменный цветок.
etersoft-build-utils внутри контейнера сразу матерятся на строку в
sources.list.s:
rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic
(не в vps работает и так).
hsh начинает сборку, отваливается на недостающем пакете, а hsh-install
также ругается на sources.list.
Может кто подсказать правильную конфигурацию контейнера, а также как туда
рекомендуется tmpfs пробросить?
--
 Regards, Alexander

Re: [devel] build process in VPS

[Mikhail Gusarov]

[-- Attachment #1: Type: text/plain, Size: 180 bytes --]

Twas brillig at 18:57:56 30.11.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

 AV> rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic
Опечатка.

-- 

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-11-30 22:10:25 +0600, Mikhail Gusarov wrote:
MG> Twas brillig at 18:57:56 30.11.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

MG>  AV> rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic
MG> Опечатка.
Хотя вопрос и не об этом, но почему в aptbox это попадает в таком виде,
ибо исходно sources.list.s выглфдит так:
rpm http://192.168.100.203/altlinux/Sisyphus i586 classic
rpm http://192.168.100.203/altlinux/Sisyphus noarch classic
rpm-src http://192.168.100.203/altlinux/Sisyphus i586 classic

--
 Regards, Alexander

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-12-01 10:00:21 +0300, Alexander Volkov wrote:
AV> On 2008-11-30 22:10:25 +0600, Mikhail Gusarov wrote:
AV> MG> Twas brillig at 18:57:56 30.11.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

AV> MG>  AV> rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic
AV> MG> Опечатка.
AV> Хотя вопрос и не об этом, но почему в aptbox это попадает в таком виде,
AV> ибо исходно sources.list.s выглфдит так:
AV> rpm http://192.168.100.203/altlinux/Sisyphus i586 classic
AV> rpm http://192.168.100.203/altlinux/Sisyphus noarch classic
AV> rpm-src http://192.168.100.203/altlinux/Sisyphus i586 classic
Это, конечно, для 32-битного контейнера :)
--
 Regards, Alexander

Re: [devel] build process in VPS

[Mikhail Gusarov]

Twas brillig at 10:00:21 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

 AV> Хотя вопрос и не об этом, но почему в aptbox это попадает в таком виде,
 AV> ибо исходно sources.list.s выглфдит так:
Что такое sources.list.s?

-- 

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-12-01 14:57:04 +0600, Mikhail Gusarov wrote:
MG> Twas brillig at 10:00:21 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

MG>  AV> Хотя вопрос и не об этом, но почему в aptbox это попадает в таком виде,
MG>  AV> ибо исходно sources.list.s выглфдит так:
MG> Что такое sources.list.s?
cat ~/apt.conf.SS
Dir::Etc::SourceParts "/var/empty";
Dir::Etc::SourceList "/home/vaa/sources.list.s";

файл используется e-b-u и hsh --apt-conf=
--
 Regards, Alexander

Re: [devel] build process in VPS

[Mikhail Gusarov]

Twas brillig at 12:51:23 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

 AV> файл используется e-b-u и hsh --apt-conf=

Воспроизводится ли без e-b-u, просто созданием хэшерницы с помощью hsh --apt-conf?

-- 

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-12-01 15:55:46 +0600, Mikhail Gusarov wrote:

MG> Twas brillig at 12:51:23 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

MG>  AV> файл используется e-b-u и hsh --apt-conf=

MG> Воспроизводится ли без e-b-u, просто созданием хэшерницы с помощью hsh --apt-conf?
Вот просто hsh работает. Но он каждый раз очищает чрут - долго получается.
Неудобно.

--
 Regards, Alexander

Re: [devel] build process in VPS

[Mikhail Gusarov]

Twas brillig at 14:12:10 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

 MG>> Воспроизводится ли без e-b-u, просто созданием хэшерницы с помощью hsh
 MG>> --apt-conf?

 AV> Вот просто hsh работает.

Вешайте багу на e-b-u.

-- 

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-12-01 17:20:06 +0600, Mikhail Gusarov wrote:

MG> Twas brillig at 14:12:10 01.12.2008 UTC+03 when vaa@altlinux.org did gyre and gimble:

MG>  MG>> Воспроизводится ли без e-b-u, просто созданием хэшерницы с помощью hsh
MG>  MG>> --apt-conf?

MG>  AV> Вот просто hsh работает.

MG> Вешайте багу на e-b-u.
рано :)
Target ALT Linux system: SS, use /etc/apt/apt.conf.SS

Однако на исходную просьбу поделиться конфигамиVPS/советами никто не
откликнулся пока.

--
 Regards, Alexander

Re: [devel] build process in VPS

[Vitaly Lipatov]

On 1 декабря 2008, Alexander Volkov wrote:
> On 2008-11-30 22:10:25 +0600, Mikhail Gusarov wrote:
> MG> Twas brillig at 18:57:56 30.11.2008 UTC+03 when
> vaa@altlinux.org did gyre and gimble:
>
> MG>  AV> rpm http://192.168.100.203/altinux/Sisyphus/x86_64
> classic MG> Опечатка.
> Хотя вопрос и не об этом, но почему в aptbox это попадает в
> таком виде, ибо исходно sources.list.s выглфдит так:
Вообще-то репозитории берутся из файла
/etc/apt/sources.list.SS

-- 
С уважением,
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [devel] build process in VPS

[Michael Shigorin]

On Sun, Nov 30, 2008 at 06:57:56PM +0300, Alexander Volkov wrote:
> rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic

BTW если есть зеркало на той же машине -- bind mount
(и openvz action scripts, google://vzmount) выручат
более эффективно, чем копировать по http.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-11-30 23:32:13 +0200, Michael Shigorin wrote:
MS> On Sun, Nov 30, 2008 at 06:57:56PM +0300, Alexander Volkov wrote:
MS> > rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic

MS> BTW если есть зеркало на той же машине -- bind mount
MS> (и openvz action scripts, google://vzmount) выручат
MS> более эффективно, чем копировать по http.
Нет зеркала. это nginx as reverse proxy.

--
 Regards, Alexander

[devel] nginx as reverse proxy

[Gennady Kovalev]

В Пнд, 01/12/2008 в 10:01 +0300, Alexander Volkov пишет:
> Нет зеркала. это nginx as reverse proxy.

А кстати, кто и как синхронизирует cache от nginx? Всмысле мусор
устаревший чистит и обновляет закешированные индексы?

Дайте правильную командочку пожалуйста.

-- 
Gennady Kovalev <gik@bigur.ru>
BIGUR

Re: [devel] nginx as reverse proxy

[Alexander Volkov]

On 2008-12-01 14:05:39 +0300, Gennady Kovalev wrote:
GK> В Пнд, 01/12/2008 в 10:01 +0300, Alexander Volkov пишет:
GK> > Нет зеркала. это nginx as reverse proxy.

GK> А кстати, кто и как синхронизирует cache от nginx? Всмысле мусор
GK> устаревший чистит и обновляет закешированные индексы?

GK> Дайте правильную командочку пожалуйста.
У меня так:
#!/bin/bash
# script clears some files in nginx cache for apt
find /var/www/html/altlinux/ -type d -name base -exec rm -rf '{}' \;
# remove old files
rsync -r --delete-before --existing rsync://ftp.altlinux.org/ALTLinux/
/var/www/html/altlinux/

--
 Regards, Alexander

Re: [devel] nginx as reverse proxy

[Mykola S. Grechukh]

2008/12/1 Alexander Volkov <>:
> On 2008-12-01 14:05:39 +0300, Gennady Kovalev wrote:
> GK> В Пнд, 01/12/2008 в 10:01 +0300, Alexander Volkov пишет:
> GK> > Нет зеркала. это nginx as reverse proxy.
>
> GK> А кстати, кто и как синхронизирует cache от nginx? Всмысле мусор
> GK> устаревший чистит и обновляет закешированные индексы?
>
> GK> Дайте правильную командочку пожалуйста.
> У меня так:
> #!/bin/bash
> # script clears some files in nginx cache for apt
> find /var/www/html/altlinux/ -type d -name base -exec rm -rf '{}' \;
> # remove old files
> rsync -r --delete-before --existing rsync://ftp.altlinux.org/ALTLinux/
> /var/www/html/altlinux/

AFAIK второе выполнит и работу первого

Re: [devel] nginx as reverse proxy

[Alexander Volkov]

On 2008-12-01 13:17:28 +0200, Mykola S. Grechukh wrote:
MSG> 2008/12/1 Alexander Volkov <>:
MSG> > On 2008-12-01 14:05:39 +0300, Gennady Kovalev wrote:
MSG> > GK> В Пнд, 01/12/2008 в 10:01 +0300, Alexander Volkov пишет:
MSG> > GK> > Нет зеркала. это nginx as reverse proxy.
MSG> >
MSG> > GK> А кстати, кто и как синхронизирует cache от nginx? Всмысле мусор
MSG> > GK> устаревший чистит и обновляет закешированные индексы?
MSG> >
MSG> > GK> Дайте правильную командочку пожалуйста.
MSG> > У меня так:
MSG> > #!/bin/bash
MSG> > # script clears some files in nginx cache for apt
MSG> > find /var/www/html/altlinux/ -type d -name base -exec rm -rf '{}' \;
MSG> > # remove old files
MSG> > rsync -r --delete-before --existing rsync://ftp.altlinux.org/ALTLinux/
MSG> > /var/www/html/altlinux/
Пожалуй :)
Оно просто заремарено было некоторое время, потом включил.
--
 Regards, Alexander

Re: [devel] build process in VPS

[Vitaly Lipatov]

On 30 ноября 2008, Alexander Volkov wrote:
...
> апгрейд до сизифа, доставил etersoft-build-utils, настроил
> аналогично сборочнице на одном из узлов. А не выходит каменный
> цветок. etersoft-build-utils внутри контейнера сразу матерятся
> на строку в sources.list.s:
> rpm http://192.168.100.203/altinux/Sisyphus/x86_64 classic
> (не в vps работает и так).
> hsh начинает сборку, отваливается на недостающем пакете, а
> hsh-install также ругается на sources.list.
Настройте sources.list.SS нормально, и всё будет. vps тут ни при 
чём, это вам просто кажется.


-- 
С уважением,
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [devel] build process in VPS

[Vladimir V. Kamarzin]

>>>>> On 30 Nov 2008 at 20:57 "AV" == Alexander Volkov writes:

AV> Может кто подсказать правильную конфигурацию контейнера, а также как туда
AV> рекомендуется tmpfs пробросить?

Побольше ресурсов дать контейнеру, а приоритеты поставить поменьше (cpuunits,
ioprio). tmpfs делается так же как везде, прописыванием в fstab.

-- 
vvk

Re: [devel] build process in VPS

[Alexander Volkov]

On 2008-12-02 12:38:46 +0500, Vladimir V. Kamarzin wrote:
VVK> >>>>> On 30 Nov 2008 at 20:57 "AV" == Alexander Volkov writes:

VVK> AV> Может кто подсказать правильную конфигурацию контейнера, а также как туда
VVK> AV> рекомендуется tmpfs пробросить?

VVK> Побольше ресурсов дать контейнеру, а приоритеты поставить поменьше (cpuunits,
VVK> ioprio). tmpfs делается так же как везде, прописыванием в fstab.
Спасибо, добрый человек :)
А цифирьки приоритетов есть примерные?

--
 Regards, Alexander

Re: [devel] build process in VPS

[Vladimir V. Kamarzin]

>>>>> On 02 Dec 2008 at 18:17 "AV" == Alexander Volkov writes:

VVK>> AV> Может кто подсказать правильную конфигурацию контейнера, а также как туда
VVK>> AV> рекомендуется tmpfs пробросить?

VVK>> Побольше ресурсов дать контейнеру, а приоритеты поставить поменьше (cpuunits,
VVK>> ioprio). tmpfs делается так же как везде, прописыванием в fstab.
AV> Спасибо, добрый человек :)
AV> А цифирьки приоритетов есть примерные?

--ioprio - 6 или 7, остальное зависит от конкретной HN. hint: можно
использовать vzsplit.

-- 
vvk

Re: [devel] build process in VPS

[Mikhail A. Pokidko]

2008/12/2 Vladimir V. Kamarzin <vvk@altlinux.ru>:
>>>>>> On 02 Dec 2008 at 18:17 "AV" == Alexander Volkov writes:
>
> VVK>> AV> Может кто подсказать правильную конфигурацию контейнера, а также как туда
> VVK>> AV> рекомендуется tmpfs пробросить?
>
> VVK>> Побольше ресурсов дать контейнеру, а приоритеты поставить поменьше (cpuunits,
> VVK>> ioprio). tmpfs делается так же как везде, прописыванием в fstab.
> AV> Спасибо, добрый человек :)
> AV> А цифирьки приоритетов есть примерные?
>
> --ioprio - 6 или 7, остальное зависит от конкретной HN. hint: можно
> использовать vzsplit.

Так это.. Чем выше ioprio, тем выше приоритет


-- 
xmpp: pma AT altlinux DOT org

Re: [devel] build process in VPS

[Vladimir V. Kamarzin]

>>>>> On 02 Dec 2008 at 19:08 "MAP" == Mikhail A Pokidko writes:

>> VVK>> AV> Может кто подсказать правильную конфигурацию контейнера, а также как туда
>> VVK>> AV> рекомендуется tmpfs пробросить?
>>
>> VVK>> Побольше ресурсов дать контейнеру, а приоритеты поставить поменьше (cpuunits,
>> VVK>> ioprio). tmpfs делается так же как везде, прописыванием в fstab.
>> AV> Спасибо, добрый человек :)
>> AV> А цифирьки приоритетов есть примерные?
>>
>> --ioprio - 6 или 7, остальное зависит от конкретной HN. hint: можно
>> использовать vzsplit.

MAP> Так это.. Чем выше ioprio, тем выше приоритет

Ага, перепутал. Спасибо что поправил :)

-- 
vvk

Re: [devel] build process in VPS

[Michael Shigorin]

On Tue, Dec 02, 2008 at 12:38:46PM +0500, Vladimir V. Kamarzin wrote:
> > Может кто подсказать правильную конфигурацию контейнера,
> > а также как туда рекомендуется tmpfs пробросить?
> Побольше ресурсов дать контейнеру, а приоритеты поставить
> поменьше (cpuunits, ioprio).

Для ориентировки: в старом офисе терминальный сервер уживается 
на одной железке с hasher32, hasher64 и 4Gb.

Отношение параметров примерно такое:
CPUUNITS: 20000/1000
IOPRIO: 5/3

> tmpfs делается так же как везде, прописыванием в fstab.

Отнюдь -- для ovz ещё надо shmpages соответственно задрать.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] build process in VPS

[Mikhail A. Pokidko]

2008/12/3 Michael Shigorin <mike@>:
> On Tue, Dec 02, 2008 at 12:38:46PM +0500, Vladimir V. Kamarzin wrote:
>> > Может кто подсказать правильную конфигурацию контейнера,
>> > а также как туда рекомендуется tmpfs пробросить?
>> Побольше ресурсов дать контейнеру, а приоритеты поставить
>> поменьше (cpuunits, ioprio).
>
> Для ориентировки: в старом офисе терминальный сервер уживается
> на одной железке с hasher32, hasher64 и 4Gb.
>
> Отношение параметров примерно такое:
> CPUUNITS: 20000/1000
> IOPRIO: 5/3
3 у сборочниц?

>> tmpfs делается так же как везде, прописыванием в fstab.
>
> Отнюдь -- для ovz ещё надо shmpages соответственно задрать.

У нас на свежих хост-машинах и в контейнерах делается
mem=$(grep -i memtotal /proc/meminfo|awk {'print $2'});
shm=$(($mem*1024*8/10)); \
echo "kernel.shmall=$shm" >> /etc/sysctl.conf; \
echo "kernel.shmmax=$shm" >> /etc/sysctl.conf; \
sysctl kernel.shmall=$shm; \
sysctl kernel.shmmax=$shm





-- 
xmpp: pma AT altlinux DOT org

Re: [devel] build process in VPS

[Michael Shigorin]

On Wed, Dec 03, 2008 at 02:49:16PM +0300, Mikhail A. Pokidko wrote:
> > Отношение параметров примерно такое:
> > CPUUNITS: 20000/1000
> > IOPRIO: 5/3
> 3 у сборочниц?

Да, или даже меньше можно.  Здесь эти контейнеры ещё и по разным
группам дисков разнесены (AMD X2, 4Gb, 5HDD).

> >> tmpfs делается так же как везде, прописыванием в fstab.
> > Отнюдь -- для ovz ещё надо shmpages соответственно задрать.
> У нас на свежих хост-машинах и в контейнерах делается
> mem=$(grep -i memtotal /proc/meminfo|awk {'print $2'});
> shm=$(($mem*1024*8/10)); \
> echo "kernel.shmall=$shm" >> /etc/sysctl.conf; \
> echo "kernel.shmmax=$shm" >> /etc/sysctl.conf; \
> sysctl kernel.shmall=$shm; \
> sysctl kernel.shmmax=$shm

Этого мало, если собирать что-то толще RAM
(обычно это openoffice.org или дистрибутивы).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/