[Comm] обновление фермы серверов

[Comm] обновление фермы серверов

[Maxim Bodyansky]

Приятного дня.

Хочется сделать единую систему обновлений для фермы серверов.

Допустим, имеются сервера A и B. На каждом свой состав пакетов.
Необходимо:
 1. Получить объединение множеств A и B.
 2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
    из этого множества.
 3. Раздать обновления серверам A и B.

Кто-нибудь желает поделиться своим решением подобной проблемы?

Конечная цель, как Вы уже догадались, уменьшение трафика с Интернета.

Re: [Comm] обновление фермы серверов

[Andrey A. Yefremov]

Здравствуйте, Maxim.

Вы писали 16 августа 2005 г., 14:44:44:

> Приятного дня.

> Хочется сделать единую систему обновлений для фермы серверов.

> Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> Необходимо:
>  1. Получить объединение множеств A и B.
>  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
>     из этого множества.
>  3. Раздать обновления серверам A и B.

> Кто-нибудь желает поделиться своим решением подобной проблемы?

дял экономии траффика не подойдет, я лично rcync-аю на локальный фтп
апдейты и вперед.. хочешь экономить? элементарно perl + wget думаю
справятся..


-- 
С уважением,
 Andrey                          mailto:alt@techno.dn.ua

Re: [Comm] обновление фермы серверов

[Maxim Bodyansky]

On Tue, Aug 16, 2005 at 02:48:33PM +0300 Andrey A. Yefremov wrote:
> Здравствуйте, Maxim.
> 
> Вы писали 16 августа 2005 г., 14:44:44:
> 
> > Приятного дня.
> 
> > Хочется сделать единую систему обновлений для фермы серверов.
> 
> > Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> > Необходимо:
> >  1. Получить объединение множеств A и B.
> >  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
> >     из этого множества.
> >  3. Раздать обновления серверам A и B.
> 
> > Кто-нибудь желает поделиться своим решением подобной проблемы?
> 
> дял экономии траффика не подойдет, я лично rcync-аю на локальный фтп
> апдейты и вперед.. хочешь экономить? элементарно perl + wget думаю
> справятся..

почему не подойдёт?

Re: [Comm] обновление фермы серверов

[Eugene Ostapets]

16.08.05, Andrey A. Yefremov<alt techno.dn.ua> написал(а):
> Здравствуйте, Maxim.
> > Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> > Необходимо:
> >  1. Получить объединение множеств A и B.
> >  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
> >     из этого множества.
> >  3. Раздать обновления серверам A и B.
> 
> > Кто-нибудь желает поделиться своим решением подобной проблемы?
> 
> дял экономии траффика не подойдет, 
Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
то все буде в порядке - пакеты уже скачаные другими серверами будут
ставиться из кеша, а недостающие пакеты будут качаться и укладываться
в кэш...

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [Comm] обновление фермы серверов

[Maxim Bodyansky]

On Втр, Авг 16, 2005 at 02:56:12 +0300 Eugene Ostapets wrote:
> 16.08.05, Andrey A. Yefremov<alt techno.dn.ua> написал(а):
> > Здравствуйте, Maxim.
> > > Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> > > Необходимо:
> > >  1. Получить объединение множеств A и B.
> > >  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
> > >     из этого множества.
> > >  3. Раздать обновления серверам A и B.
> > 
> > > Кто-нибудь желает поделиться своим решением подобной проблемы?
> > 
> > дял экономии траффика не подойдет, 
> Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
> то все буде в порядке - пакеты уже скачаные другими серверами будут
> ставиться из кеша, а недостающие пакеты будут качаться и укладываться
> в кэш...

Довольно сложно :) Мне вообще надо минимизировать трафик с
updates.altlinux.ru. Он внешний.

Re: [Comm] обновление фермы серверов

[Eugene Ostapets]

16.08.05, Maxim Bodyansky<maximbo rambler.ru> написал(а):
> > > дял экономии траффика не подойдет,
> > Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
> > то все буде в порядке - пакеты уже скачаные другими серверами будут
> > ставиться из кеша, а недостающие пакеты будут качаться и укладываться
> > в кэш...
> Довольно сложно :) Мне вообще надо минимизировать трафик с
> updates.altlinux.ru. Он внешний.
Сложного тут ничего нет - nfs и все дела:)
Можно пойти по более сложному пути:
1. На одном сервере скачать обновление индексов
2. На каждом выполнить apt-get dist-upgrade --print-uris
3. Списки объединить, обработать uniq и по желанию sort
4. Скормить итоговый список wget
5. Уложить файлы в кеш apt и распространить по серверам
6. На каждом выполнить apt-get dist-upgrade
-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [Comm] обновление фермы серверов

[Maxim Bodyansky]

On Втр, Авг 16, 2005 at 03:16:33 +0300 Eugene Ostapets wrote:
> 16.08.05, Maxim Bodyansky<maximbo rambler.ru> написал(а):
> > > > дял экономии траффика не подойдет,
> > > Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
> > > то все буде в порядке - пакеты уже скачаные другими серверами будут
> > > ставиться из кеша, а недостающие пакеты будут качаться и укладываться
> > > в кэш...
> > Довольно сложно :) Мне вообще надо минимизировать трафик с
> > updates.altlinux.ru. Он внешний.
> Сложного тут ничего нет - nfs и все дела:)
> Можно пойти по более сложному пути:
> 1. На одном сервере скачать обновление индексов
> 2. На каждом выполнить apt-get dist-upgrade --print-uris
> 3. Списки объединить, обработать uniq и по желанию sort
> 4. Скормить итоговый список wget
> 5. Уложить файлы в кеш apt и распространить по серверам
> 6. На каждом выполнить apt-get dist-upgrade

Сервер C выступает как локальный репозиторий.

Re: [Comm] обновление фермы серверов

[Olvin]

Maxim Bodyansky wrote:
>>>>Допустим, имеются сервера A и B. На каждом свой состав пакетов.
>>>>Необходимо:
>>>> 1. Получить объединение множеств A и B.
>>>> 2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
>>>>    из этого множества.
>>>> 3. Раздать обновления серверам A и B.
>>>>Кто-нибудь желает поделиться своим решением подобной проблемы?
>>>дял экономии траффика не подойдет, 
>>Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
>>то все буде в порядке - пакеты уже скачаные другими серверами будут
>>ставиться из кеша, а недостающие пакеты будут качаться и укладываться
>>в кэш...
> Довольно сложно :) Мне вообще надо минимизировать трафик с
> updates.altlinux.ru. Он внешний.

Хотите проще - придётся платить :)
Ставите и настраиваете squid, настраиваете параметры кэша, сервера за 
обновлениями пускаете через squid.
Что - ещё проще?! :)

Re: [Comm] обновление фермы серверов

[Maxim Bodyansky]

On Втр, Авг 16, 2005 at 03:18:26 +0300 Olvin wrote:
> Maxim Bodyansky wrote:
> >>>>Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> >>>>Необходимо:
> >>>>1. Получить объединение множеств A и B.
> >>>>2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
> >>>>   из этого множества.
> >>>>3. Раздать обновления серверам A и B.
> >>>>Кто-нибудь желает поделиться своим решением подобной проблемы?
> >>>дял экономии траффика не подойдет, 
> >>Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
> >>то все буде в порядке - пакеты уже скачаные другими серверами будут
> >>ставиться из кеша, а недостающие пакеты будут качаться и укладываться
> >>в кэш...
> >Довольно сложно :) Мне вообще надо минимизировать трафик с
> >updates.altlinux.ru. Он внешний.
> 
> Хотите проще - придётся платить :)

"Всё должно быть настолько просто, насколько возможно. Но не проще" (c)

> Ставите и настраиваете squid, настраиваете параметры кэша, сервера за 
> обновлениями пускаете через squid.
> Что - ещё проще?! :)

знаете, а хорошая идея :) Тупой буфер (в виде сквида) и нечего умничать :)

Re[2]: [Comm] обновление фермы серверов

[Andrey A. Yefremov]

Здравствуйте, Maxim.

Вы писали 16 августа 2005 г., 15:09:42:

> Довольно сложно :) Мне вообще надо минимизировать трафик с
> updates.altlinux.ru. Он внешний.

извини, но по моему это нездоровое жлобство. :-) попроси тогда друзей
с анлимом рсинкать апдейты и нарезай на болванки. :-)

-- 
С уважением,
 Andrey                          mailto:alt@techno.dn.ua

Re: [Comm] обновление фермы серверов

[Maxim Bodyansky]

On Втр, Авг 16, 2005 at 03:28:18 +0300 Andrey A. Yefremov wrote:
> Здравствуйте, Maxim.
> 
> Вы писали 16 августа 2005 г., 15:09:42:
> 
> > Довольно сложно :) Мне вообще надо минимизировать трафик с
> > updates.altlinux.ru. Он внешний.
> 
> извини, но по моему это нездоровое жлобство. :-) попроси тогда друзей
> с анлимом рсинкать апдейты и нарезай на болванки. :-)

Не автоматизировано. А про жлобство... Это, IMO, перегиб.

[Comm] Re: обновление фермы серверов

[Michael Shigorin]

On Tue, Aug 16, 2005 at 03:28:18PM +0300, Andrey A. Yefremov wrote:
> > Довольно сложно :) Мне вообще надо минимизировать трафик с
> > updates.altlinux.ru. Он внешний.
> извини, но по моему это нездоровое жлобство. :-)

Знаете, бывает по-разному.  Мегабайт трафика может стоить вполне
ощутимых единиц баксов.

И в любом случае не стоит обвинять собеседника в чём-то эдаком,
не зная подробностей.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] обновление фермы серверов

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 950 bytes --]

On Tue, Aug 16, 2005 at 03:28:18PM +0300, Andrey A. Yefremov wrote:
> Здравствуйте, Maxim.
> 
> извини, но по моему это нездоровое жлобство. :-) попроси тогда друзей
> с анлимом рсинкать апдейты и нарезай на болванки. :-)
> 
ну что, я тогда тоже этим страдаю. 

у меня пять серверов под сизифом висят. не самым свежим - его ещё погонять
надо, прежде чем накатывать, но всё же.

так что такой механизм мной тоже будет востребован.

unlim'а в городе ни у кого нет, хотел развести на него директора, но с
нужными нам скоростями и реально необходимым обьемом трафика unlim на том
же спутнике будет гораздо дороже - где-то раза в полтора. а платить
дополнительно $200-300 за один халяву работникам не каждый согласится.


то есть оплачивать мне синхронизацию сизифа никто не будет, включая тебя.
100-200М в день за 2р/метр не каждый ни с того ни с сего будет оплачивать. 
включая нашу контору.
-- 
 С уважением,
 Афанасов Дмитрий

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

apt-proxy wanted! (was: [Comm] обновление фермы серверов)

[Vladimir V. Kamarzin]

>>>>> On 16 Aug 2005 at 17:56 Eugene Ostapets writes:

>> > Допустим, имеются сервера A и B. На каждом свой состав пакетов.
>> > Необходимо:
>> >  1. Получить объединение множеств A и B.
>> >  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
>> >     из этого множества.
>> >  3. Раздать обновления серверам A и B.
>> 
>> > Кто-нибудь желает поделиться своим решением подобной проблемы?
>> 
>> дял экономии траффика не подойдет, 
 EO> Ну почему же... Если /var/cache/apt сделать единым для всех серверов,
 EO> то все буде в порядке - пакеты уже скачаные другими серверами будут
 EO> ставиться из кеша, а недостающие пакеты будут качаться и укладываться
 EO> в кэш...

В дебиане давно есть такая удобная тулза как apt-proxy. Кто бы взялся
соорудить что-нить этакое для ALT ;-)

-- 
WBR, Vladimir V. Kamarzin.

Слоган дня : "Сисадмин, не внедришь линукс ТЫ, его внедрит тот, кто скоро
придет работать вместо ТЕБЯ !"
		-- Aleksey Barabanov in RU.LINUX

[Comm] Re: apt-proxy wanted!

[Alexey Rusakov]

Vladimir V. Kamarzin wrote:

>В дебиане давно есть такая удобная тулза как apt-proxy. Кто бы взялся
>соорудить что-нить этакое для ALT ;-)
>  
>
К сожалению, я не нашёл ничего подобного в рабочем состоянии для 
apt-rpm. Правда, я искал в начале года, может сейчас что-то уже допилили.

-- 
  Alexey "Ktirf" Rusakov

Re: [Comm] Re: apt-proxy wanted!

[Odergimiy Odergimiy]

> К сожалению, я не нашёл ничего подобного в рабочем состоянии для 
> apt-rpm. Правда, я искал в начале года, может сейчас что-то уже допилили.
> 
А чем вам не устраивают комманды
export http_proxy="http://myproxy:3128/"
export ftp_proxy="http://myproxy:3128/"

Re: [Comm] Re: apt-proxy wanted!

[Alexey Rusakov]

Odergimiy Odergimiy wrote:

>>К сожалению, я не нашёл ничего подобного в рабочем состоянии для 
>>apt-rpm. Правда, я искал в начале года, может сейчас что-то уже допилили.
>>    
>>
>А чем вам не устраивают комманды
>export http_proxy="http://myproxy:3128/"
>export ftp_proxy="http://myproxy:3128/"
>  
>
Тем, что ваш метод не помогает для репозиториев, начинающихся на file:// 
(на моей машине нет apt-сервера, иначе вопрос бы не стоял). Для меня это 
критично.

-- 
  Alexey "Ktirf" Rusakov

Re: [Comm] Re: apt-proxy wanted!

[Антон Горлов]

Alexey Rusakov пишет:

>>> К сожалению, я не нашёл ничего подобного в рабочем состоянии для 
>>> apt-rpm. Правда, я искал в начале года, может сейчас что-то уже 
>>> допилили.
>> А чем вам не устраивают комманды
>> export http_proxy="http://myproxy:3128/"
>> export ftp_proxy="http://myproxy:3128/"
> Тем, что ваш метод не помогает для репозиториев, начинающихся на file:// 
> (на моей машине нет apt-сервера, иначе вопрос бы не стоял). Для меня это 
> критично.

А зачем вам прокси..при наличии локального репоитория????

-- 
   np: silence

Re: [Comm] Re: apt-proxy wanted!

[Alexey Rusakov]

Антон Горлов wrote:

>А зачем вам прокси..при наличии локального репоитория????
>  
>
Ну, на самом деле я хочу от прокси слишком уж много, наверное - я хочу, 
чтобы этот прокси ещё и скрывал тот факт, что репозиториев несколько и 
они разные.

-- 
  Alexey "Ktirf" Rusakov

Re: [Comm] Re: apt-proxy wanted!

[Odergimiy]

В сообщении от 10 Сентябрь 2005 12:56 Alexey Rusakov написал(a):
> Антон Горлов wrote:
> >А зачем вам прокси..при наличии локального репоитория????
>
> Ну, на самом деле я хочу от прокси слишком уж много, наверное - я хочу,
> чтобы этот прокси ещё и скрывал тот факт, что репозиториев несколько и
> они разные.

А почему бы вам не сделать так:

На сервере С в кроне запускается скрипт, который качает нужные пакеты копирует 
это все дело в папку /var/ftp    далее обрабатывает репозиторий в 
паке /var/ftp  а машины А и В  забирают с ФТП сервера С нужные им пакеты.

Я считаю это не сложно.

Re: [Comm] Re: apt-proxy wanted!

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 879 bytes --]

On Sat, Sep 10, 2005 at 09:45:44PM +0400, Odergimiy wrote:
> В сообщении от 10 Сентябрь 2005 12:56 Alexey Rusakov написал(a):
> > Антон Горлов wrote:
> > >А зачем вам прокси..при наличии локального репоитория????
> >
> > Ну, на самом деле я хочу от прокси слишком уж много, наверное - я хочу,
> > чтобы этот прокси ещё и скрывал тот факт, что репозиториев несколько и
> > они разные.
> 
> А почему бы вам не сделать так:
> 
> На сервере С в кроне запускается скрипт, который качает нужные пакеты копирует 
> это все дело в папку /var/ftp    далее обрабатывает репозиторий в 
> паке /var/ftp  а машины А и В  забирают с ФТП сервера С нужные им пакеты.
> 
> Я считаю это не сложно.
весь вопрос в подсчёте "нужных пакетов". откуда взять имена этих пакеты?

кстати, спасёт ли apt-proxy, если репозитарии на машинах разные?

-- 
 С уважением,
 Афанасов Дмитрий

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: apt-proxy wanted!

[Alexey Rusakov]

On 10.09.2005 21:45, Odergimiy wrote:
> А почему бы вам не сделать так:
>
> На сервере С в кроне запускается скрипт, который качает нужные пакеты копирует 
> это все дело в папку /var/ftp    далее обрабатывает репозиторий в 
> паке /var/ftp  а машины А и В  забирают с ФТП сервера С нужные им пакеты.
>
> Я считаю это не сложно.
>   
Отдаёт наколеночностью и ненадёжно в месте "нужных пакетов". И у меня 
противоположная задача: есть два репозитория на разных машинах, я хочу 
их запроксить на локальной машине (не обязательно под видом одного репо, 
но удобнее - одного).

-- 
  Alexey "Ktirf" Rusakov

Re: [Comm] обновление фермы серверов

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 1026 bytes --]

On Tue, Aug 16, 2005 at 03:44:44PM +0400, Maxim Bodyansky wrote:
> Приятного дня.
> 
> Хочется сделать единую систему обновлений для фермы серверов.
> 
> Допустим, имеются сервера A и B. На каждом свой состав пакетов.
> Необходимо:
>  1. Получить объединение множеств A и B.
>  2. "Попросить" сервер C скачать с updates.altlinux.ru обновления пакетов
>     из этого множества.
>  3. Раздать обновления серверам A и B.
> 
> Кто-нибудь желает поделиться своим решением подобной проблемы?
> 
> Конечная цель, как Вы уже догадались, уменьшение трафика с Интернета.
вряд ли это уже сделалали. скорей всего придётся писать простенькие
скриптики для apt-get'а.


что если на каждой из двух машин запускать сначала apt-get update (у меня
почему-то не получилось просто перекидывать списки пакетов для apt-get'а.
всё равно сволочь закачивает), затем apt-get -u -qq dist-upgrade и на
основе вывода команды на машине C через тот же apt-get -d закачивать эти
самые пакеты.

-- 
 С уважением,
 Афанасов Дмитрий

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]