[devel] git usage question

[devel] git usage question

[Alexey Morozov]

Здравствуйте!

Столкнулся тут с тем, что не могу обновить репозиторий с qt4 
(http://git.altlinux.org/people/zerg/packages/?p=qt4.git;a=summary). У меня 
имеется клон этого репозитория примерно годовой давности, там нет ни одного 
моего коммита, и при попытке сказать git pull / git fetch в консоль выпадает 
следующее:

remote: Counting objects: 418, done.
remote: fatal: Out of memory, malloc failed
remote: aborting due to possible repository corruption on the remote side.
fatal: protocol error: bad pack header

Получив этот репозиторий другим способом (хе-хе, 300-500 Mb траффика в наше 
суровое время - фигня, не так ли?), попытался разобраться, в чём же его, 
репозитория, непорядок. 

Выяснилось, что git pack-objects, который, насколько я понимаю, участвует в 
создании thin-pack'а, быстро дорастает до 2 гигов памяти и, соответственно, 
отчаливает в мир счастливых программ и отсутствия каких-либо хардварных 
ограничений.

В ходе короткого гугления выяснилось, что такое может быть, если в репозитории 
одновременно присутствуют и большие объекты и большое количество мелких. 
Такую проблему в ряде случаев можно обойти при помощи 
указания --window-memory, но, понятное дело, не в этом. В качестве решения 
предлагалось перейти к "констистентным" репозиториям.

Действительно, после "конвертации" репозитория в форму, когда сорцы qt лежат 
не в форме цельных .tar'ов, а в развернутом виде, данная проблема исчезает. 
Более того, размер репозитория (.git/) уменьшается с 327Mb до 191 при полном 
сохранении истории изменений, и становится возможным запустить git 
gc --aggressive. Время подготовки .src.rpm из репозитория при таком способе 
практически не изменяется (подавляющую часть времени, около минуты, у меня 
отрабатывает rpmbuild, то есть, .tar'ы к тому моменту уже созданы).

Соответственно, возникает вопрос: а не следует ли рекомендовать в правилах 
использования git'а (git.alt'а) класть в репозиторий раскрытые архивы, а 
не .tar'ы.

С уважением,
Алексей Морозов

Re: [devel] git usage question

[Afanasov Dmitry]

16 января 2009 г. 10:20 пользователь Alexey Morozov <morozov_ml@ngs.ru> написал:
> Соответственно, возникает вопрос: а не следует ли рекомендовать в правилах
> использования git'а (git.alt'а) класть в репозиторий раскрытые архивы, а
> не .tar'ы.
а такой рекомендации разве не было? мне с самого начала сказали -
рекомендуем хранить в незапакованном виде :)
также была рекомендация в качестве Source: указывать не запакованный
tar (tar.bz2 например), а просто tar. после ввода lzma rpm пакуется
эффективнее в случае tar, чем тот же tar.bz2

-- 
С уважением
Афанасов Дмитрий

Re: [devel] git usage question

[Epiphanov Sergei]

On Friday 16 January 2009 10:20:13 Alexey Morozov wrote:

> Соответственно, возникает вопрос: а не следует ли рекомендовать в правилах
> использования git'а (git.alt'а) класть в репозиторий раскрытые архивы, а
> не .tar'ы.

Помню, на эту тему ldv@ очень хорошо сказал, что тут с одной стороны 
репозиторий заметно уменьшается (если разворачивать tar), но при этом 
теряется информация о правах доступа (кроме бита исполнения) и там ещё 
что-то. С противоположной стороны сохраняется авторская сборка исходников, 
но разрастается репозиторий.

-- 
С уважением, Епифанов Сергей

Re: [devel] git usage question

[Alexey Morozov]

Здравствуйте.

On Friday 16 January 2009 14:19:37 Epiphanov Sergei wrote:
> Помню, на эту тему ldv@ очень хорошо сказал, что тут с одной стороны
> репозиторий заметно уменьшается (если разворачивать tar), но при этом
> теряется информация о правах доступа (кроме бита исполнения) и там ещё
> что-то.

Хм, а это правда актуально в случае исходников?

> С противоположной стороны сохраняется авторская сборка исходников, 
> но разрастается репозиторий.
Да ладно бы он разрастался. Он становится непригодным к использованию, что 
лично меня печалит больше.

С уважением, Алексей Морозов.

Re: [devel] git usage question

[Epiphanov Sergei]

On Friday 16 January 2009 11:33:39 Alexey Morozov wrote:
> > Помню, на эту тему ldv@ очень хорошо сказал, что тут с одной стороны
> > репозиторий заметно уменьшается (если разворачивать tar), но при этом
> > теряется информация о правах доступа (кроме бита исполнения) и там ещё
> > что-то.
>
> Хм, а это правда актуально в случае исходников?

В наших srpms-пакетах оказывается уже не оригинальный тарболл, поэтому 
непонятно, как давать ссылку, откуда тарболл качать, если человек 
воспользуется nosrpm-пакетом. Ну и вопрос авторства (как я понял). То есть 
сборке это практически не мешает, а вот с распространением вопрос.

-- 
С уважением, Епифанов Сергей

Re: [devel] git usage question

[Alexey Morozov]

On Friday 16 January 2009 15:09:32 Epiphanov Sergei wrote:
> On Friday 16 January 2009 11:33:39 Alexey Morozov wrote:
> > Хм, а это правда актуально в случае исходников?
>
> В наших srpms-пакетах оказывается уже не оригинальный тарболл, поэтому
> непонятно, как давать ссылку, откуда тарболл качать, если человек
> воспользуется nosrpm-пакетом. Ну и вопрос авторства (как я понял). То есть
> сборке это практически не мешает, а вот с распространением вопрос.

Да, тарболлы будут формально различаться (и физически, если в них хранятся 
сущности, не упаковываемые в git (н-р, пустые каталоги). Но, насколько я 
понимаю, в 99.99% случаев никакой практической разницы между "оригинальным" 
и "генерённым" тарболлами не будет. Сам по себе тарболл не содержит 
какой-то "законнической" информации, соответственно, я не очень понимаю, в 
чём заключается "вопрос авторства".

С уважением,
Алексей Морозов

Re: [devel] git usage question

[Epiphanov Sergei]

On Friday 16 January 2009 12:18:58 Alexey Morozov wrote:
> Да, тарболлы будут формально различаться (и физически, если в них хранятся
> сущности, не упаковываемые в git (н-р, пустые каталоги). Но, насколько я
> понимаю, в 99.99% случаев никакой практической разницы между
> "оригинальным" и "генерённым" тарболлами не будет. Сам по себе тарболл не
> содержит какой-то "законнической" информации, соответственно, я не очень
> понимаю, в чём заключается "вопрос авторства".

Я не спец в этом деле. Лучше или поднять архивы, или поговорить с более 
знающими людьми.

Иногда может быть ситуация, что программа сборки ждёт пустой каталог и 
вылетает по ошибке, если не обнаруживает его. Такое бывает сплошь и рядом в 
самописных скриптах.

-- 
С уважением, Епифанов Сергей

Re: [devel] git usage question

[Led]

On Friday 16 January 2009 11:52:04 Epiphanov Sergei wrote:
> On Friday 16 January 2009 12:18:58 Alexey Morozov wrote:
> > Да, тарболлы будут формально различаться (и физически, если в них
> > хранятся сущности, не упаковываемые в git (н-р, пустые каталоги). Но,
> > насколько я понимаю, в 99.99% случаев никакой практической разницы между
> > "оригинальным" и "генерённым" тарболлами не будет. Сам по себе тарболл не
> > содержит какой-то "законнической" информации, соответственно, я не очень
> > понимаю, в чём заключается "вопрос авторства".
>
> Я не спец в этом деле. Лучше или поднять архивы, или поговорить с более
> знающими людьми.
>
> Иногда может быть ситуация, что программа сборки ждёт пустой каталог и
> вылетает по ошибке, если не обнаруживает его. Такое бывает сплошь и рядом в
> самописных скриптах.

Это обходится либо грубо - в эти каталоги помещаются dummy-файлы нулевого 
размера, либо правильно - правятся скрипты и Makefile*

-- 
Led

Re: [devel] git usage question

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 859 bytes --]

On Fri, Jan 16, 2009 at 12:52:04PM +0300, Epiphanov Sergei wrote:
> On Friday 16 January 2009 12:18:58 Alexey Morozov wrote:
> > Да, тарболлы будут формально различаться (и физически, если в них хранятся
> > сущности, не упаковываемые в git (н-р, пустые каталоги). Но, насколько я
> > понимаю, в 99.99% случаев никакой практической разницы между
> > "оригинальным" и "генерённым" тарболлами не будет. Сам по себе тарболл не
> > содержит какой-то "законнической" информации, соответственно, я не очень
> > понимаю, в чём заключается "вопрос авторства".
> 
> Я не спец в этом деле. Лучше или поднять архивы, или поговорить с более 
> знающими людьми.

http://lists.altlinux.org/pipermail/devel/2006-September/129669.html

Опыт эксплуатации, накопившийся за это время, говорит о том, что
желательно хранить тарболлы распакованными.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] git usage question

[Grigory Batalov]

On Fri, Jan 16, 2009 at 03:18:58PM +0600, Alexey Morozov wrote:
> Сам по себе тарболл не содержит 
> какой-то "законнической" информации, соответственно, я не очень понимаю, в 
> чём заключается "вопрос авторства".

Несколько лет назад в лицензии DOSEmu была смешная кляуза:
"наш тарбол нельзя перепаковывать" (.tgz). =)
Уж не знаю, насколько она правомерна.

Re: [devel] [JT] git usage question

[Alexey Morozov]

On Friday 16 January 2009 16:20:48 Grigory Batalov wrote:
> On Fri, Jan 16, 2009 at 03:18:58PM +0600, Alexey Morozov wrote:
> Несколько лет назад в лицензии DOSEmu была смешная кляуза:
> "наш тарбол нельзя перепаковывать" (.tgz). =)
> Уж не знаю, насколько она правомерна.

Для DOSEmu можно добавить исключение :-)