From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.5 (2008-06-10) on sa.int.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-1.8 required=5.0 tests=AWL,BAYES_00, RCVD_IN_SORBS_WEB,SPF_PASS autolearn=no version=3.2.5 Date: Wed, 15 May 2013 22:01:17 +0300 From: Igor Vlasenko To: devel@lists.altlinux.org Message-ID: <20130515190117.GA24411@dad.imath.kiev.ua> MIME-Version: 1.0 Content-Type: text/plain; charset=utf-8 Content-Disposition: inline Content-Transfer-Encoding: 8bit User-Agent: Mutt/1.5.21 (2010-09-15) X-imath-kiev-ua-MailScanner-Information: Please contact the ISP for more information X-imath-kiev-ua-MailScanner-ID: 2458B6C96A2.A0496 X-imath-kiev-ua-MailScanner: Found to be clean X-imath-kiev-ua-MailScanner-From: vlasenko@imath.kiev.ua Subject: [devel] =?utf-8?b?STogRGlzdHJvREIuINGHLjEgLSDQktCy0LXQtNC10L0=?= =?utf-8?b?0LjQtS4=?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Wed, 15 May 2013 19:08:10 -0000 Archived-At: List-Archive: List-Post: DistroDB и DistroDB utils. Уважаемые коллеги! хотел бы продолжить рассказ о стеке решений для автоматизации. Напомню, прошлый раз я выделял * библиотеки и утилиты для преобразования или создания отдельного пакета. * библиотеки и утилиты для обработки пакетов по списку на уровне репозиториев. * утилиты обслуживания автономных нод (наподобие autoports.altlinux.org или autoimports.altlinux.org). Сегодня хочу рассказать о ведущейся разработке DistroDB utils. Что это такое? Вкратце, это утилиты для генерации и поддержания списков задач для автономных нод и баз данных distromap в актуальном состоянии. == DistroDB. Введение. Библиотеки и утилиты для преобразования или создания отдельного пакета - вещь достаточно сложная. Со временем в них выделились в отдельные компоненты такие подсистемы, как * SourceAnalyzer - библиотеки для генерации сборочных зависимостей приложения по его исходным текстам (отдельно можно использовать через утилиту buildreq-src; собираюсь также встроить эту функциональность в утилиты общего назначения srpmnmu и srpmtool). * DistroMap - базы данных и библиотеки для трансляции имен бинарных и исходных пакетов из одного дистрибутива в другой. В частности, используется для трансляции сборочных и установочных зависимостей в утилитах импорта. Для работы SourceAnalyzer нужна база DistroDB. Процесс создания баз DistroDB встроен в repocop, который ежедневно обновляет и выкладывает свежую базу DistroDB для скачивания. Скачиваемый архив сейчас весит около 3мб. Для упрощения скачиваения есть специальные утилиты distrodb-update-repocop-db-altlinux-sisyphus - скачивает базу DistroDB для Сизифа и распаковывает ее в ~/.cache/distrodb/altlinux/sisyphus distrodb-update-repocop-db-altlinux-t6 - то же, но для t6. ~/.cache/distrodb/altlinux/t6 С появлением t7 будет и база DistroDB для t7. база DistroDB содержит информацию в виде текстовых таблиц, предназначенную для SourceAnalyzer. Например, таблица devel-libs содержит информацию, в каких пакетах содержится данная библиотека. Записи там имеют вид 2geom lib2geom-devel 3dkit svgalib-devel 3ds lib3ds-devel ... означают, например, что -l3dkit, т.е. lib3dkit.so, содержится в пакете svgalib-devel. Есть таблица path для имен executable приложений в default $PATH. Есть таблица gir для .gir файлов, таблица headers для файлов в /usr/include, таблица pkg-config для имен pkg-config файлов, таблицы perl, python2 и python3, для поддержки этих скриптовых языков, таблица provides, таблица sourcename для быстрого поиска имени исходного пакета по имени бинарного пакета, таблица srcname2binnames со списком имен бинарных пакетов для данного имени исходного пакета, и ряд других таблиц. DistroDB находится в постоянной разработке, так же, как и SourceAnalyzer. Например, сейчас в SourceAnalyzer еще нет поддержки ruby. Но когда она появится, то она будет опираться на соответствующие таблицы для ruby в DistroDB. repocop-report-distrodb является стандартным предпочтительным методом для генерации DistroDB для репозитория пакетов. В настоящее время для генерации DistroDB хватает той информации, которая содержится в rpm headers пакета, без заглядывания в собственно файлы пакета. Соответственно, в составе DistroDB utils существует и развивается другая утилита, которая создает большую часть таблиц базы DistroDB либо из индексов apt, либо из сырого набора бинарных пакетов. Однако достаточно очевидно, что по мере развития SourceAnalyzer информации из rpm headers уже не будет хватать. Для примера, чтобы корректно отобразить модули питона, которые загружаются директивой import, в имена пакетов, нужно еще заглядывать внутрь .so и .pth файлов. Это же, кстати, хорошо было бы научить делать и python*.prov, чтобы он находил там provides. Поэтому repocop-report-distrodb в перспективе более удобен, там легче заглядывать внутрь пакетов. -- Dr. Igor Vlasenko -------------------- Topology Department Institute of Math Kiev, Ukraine -- This message has been scanned for viruses and dangerous content by MailScanner, and is believed to be clean.