From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.5 (2008-06-10) on sa.int.altlinux.org X-Spam-Level: ** X-Spam-Status: No, score=3.0 required=5.0 tests=BAYES_50,DNS_FROM_OPENWHOIS, FUZZY_XPILL,RDNS_NONE,SPF_PASS autolearn=no version=3.2.5 Date: Sun, 6 Feb 2011 23:36:49 +0000 From: Sergey Alembekov To: devel@lists.altlinux.org Message-ID: <20110206233644.GA13563@banzay.localdomain> Mail-Followup-To: devel@lists.altlinux.org References: <4D4C0A45.6020709@altlinux.com> <4D4C13B6.1030300@altlinux.ru> <4D4C14DB.90306@altlinux.com> <4D4C15E9.9030509@altlinux.ru> <4D4C1991.3030601@altlinux.com> <20110204193443.GF11630@altlinux.org> <4D4CD360.8060704@altlinux.com> <4D4DA94F.6010403@altlinux.com> <20110205200330.GB1824@altlinux.org> MIME-Version: 1.0 Content-Type: text/plain; charset=koi8-r Content-Disposition: inline Content-Transfer-Encoding: 8bit In-Reply-To: <20110205200330.GB1824@altlinux.org> User-Agent: Mutt/1.5.21 (2010-09-15) Subject: Re: [devel] =?koi8-r?b?1dbFIMTB187PIM7FIM8gxM/L1c3FztTBw8nJ?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Sun, 06 Feb 2011 20:43:28 -0000 Archived-At: List-Archive: List-Post: On Sat, Feb 05, 2011 at 11:03:30PM +0300, Dmitry V. Levin wrote: > On Sat, Feb 05, 2011 at 10:47:27PM +0300, Anton Farygin wrote: > > 05.02.2011 10:09, Aleksey Novodvorsky пишет: > > >5 февраля 2011 г. 7:34 пользователь Anton Farygin написал: > > >>04.02.2011 22:34, Dmitry V. Levin пишет: > > >>>Т.н. карманы можно было бы реализовать > > >>>ещё в прошлом году. Параллельная > > >>>обработка заданий была реализована в > > >>>первую очередь как первый шаг на > > >>>пути к реализации этих карманов. Потом > > >>>мы столкнулись с непреодоленными > > >>>до сих пор организационно-техническими > > >>>преградами, о необходимости > > >>>преодоления которых все > > >>>заинтересованные, надеюсь, помнят > > >>>постоянно. > > >> > > >>Т.е. - если я правильно понял этот тонкий > > >>намёк - у нас сейчас тонкое место > > >>- это отсутствие необходимых серверных > > >>мощностей и каналов связи. > > > > > >Да. Это главная и застарелая проблема, > > >которая не решается парой серверов. > > > > А каким количеством серверов она > > решается ? > > Это зависит от постановки задачи. Например, от того, сколько карманов в > единицу времени требуется обрабатывать одновременно (в среднем и > максимально). Реализация параллельной обработки показала, что большой > объем вычислительных мощностей требуется не только для сборки самих > пакетов на вычислительных узлах, но также и для вычисления нового > состояния репозитория с последующими проверками целостности. Сейчас все > такие вычисления централизованы, и мне очевидно, что система начинает > заметно проседать уже при параллельном вычислении двух состояний разных > репозиториев. Очевидно, что система, рассчитанная на _одновременную_ > обработку нескольких заданий с вычислением репозиториев, должна > распределять по узлам не только сборку самих пакетов, но и все сложные > вычисления по репозиториям. Опыт показал, что качество кэширования > радикально влияет на производительность системы, производящей вычисления > над репозиторием. Это значит, что последовательная обработка двух разных > репозиториев на одном узле заметно снижает производительность этой > обработки. Я попробую сформулировать изначальную проблему. Сразу оговорюсь, что всё это исключительно мой опыт и возможно я где-то ошибаюсь. Сейчас, что бы дистрибутивы альтлинукс использовались в "энтерпрайзе", у системного администратора должны быть крепкие нервы и опыт сборки пакетов, потому что администратор, обеспечивает экосистему для разработчиков и их приложений (в моём случае веб-приложений). Обычно требования сводятся к определённой версии высокоуровневого языка, базы данных, веб-сервера и т.д. В такой ситуации бранч 5.1 устарел ещё до того, как я начал его использовать, а сизиф был слишком новым. Пришлось делать свой репозиторий с бэкпортированными пакетам, либо с пакетами пересобранными под мои нужды. Если дать возможность мантейнерам публиковать такие репозитории(они очень похожи на test-only таски) и возможность обновлять их полуавтоматически, то таким образом можно было бы продлить срок жизни бранча. Ведь для веб-сервиса обычно не столь важно каким компилятором он собран на сервере, но жизненно важно иметь набор пакетов определённых версий, обеспечивающий работоспособность прикладного софта. Тоесть более или менее замороженная basesystem и несколько вариантов высокоуровнего софта типа php, python, раздичных СУБД и т.д. в отдельных репозиториях. Видимо это не есть те самые карманы, так же это не совсем и backports, а что-то типа молодильных яблок для бранча )