Re: [devel] rpm: rsyncable deflate vs LZMA

[Alexey Tourbin <at@altlinux.ru>]

[-- Attachment #1: Type: text/plain, Size: 3223 bytes --]

On Fri, May 30, 2008 at 01:56:10AM +0400, Dmitry V. Levin wrote:
> On Fri, May 30, 2008 at 01:31:14AM +0400, Alexey Tourbin wrote:
> [...]
> > У меня есть идея.  Для выбора точек синхронизации (gzflush) можно
> > использовать не только "слепой" rsync hint, но и cpio hint -- как
> > только мы видим cpio magic "070707", мы знаем, что через несколько
> > байтов будет mtime и потом пойдёт имя и содержимое файла.  То есть
> > sync можно делать в месте окончания очередного cpio header.
> 
> Это заметно снизит степень сжатия, когда в архиве много маленьких файлов?

Этим можно управлять, чтобы сознательно пропускать только "совсем
маленькие" файлы.

> > Правда, я не знаю, даст это что-нибудь в случае с маленькими файлами
> > или нет.  Это может ничего не дать из-за того, что первые совпавшие
> > блоки в сжатом виде всё равно могут отличаться (из-за backreferences
> > в предыдущий блок).
> 
> Могут или будут?

Если сделать как показано ниже, то для пакета man-pages (после повторной
пересборки) 'speedup 1.09' возрастает до 'speedup 1.19'.  То есть эффект
от синхронизации сразу после cpio хедера есть, он заметный, но не
настолько большой, чтобы всё искупать.

--- rpmio.c-	2008-05-29 22:27:55 +0400
+++ rpmio.c	2008-05-30 03:08:32 +0400
@@ -2148,6 +2148,9 @@ struct rsync_state {
 typedef struct rpmGZFILE_s {
 	gzFile *gz;
 	struct rsync_state rs;
+	uint32_t cs; /* cpio state */
+	uint32_t nb; /* bytes pending for sync */
+
 } rpmGZFILE;
 
 static /*@null@*/ FD_t gzdOpen(const char * path, const char * fmode)
@@ -2274,6 +2277,56 @@ bool rsync_next(struct rsync_state *s, u
 	return false;
 }
 
+/* from ../lib/cpio.h */
+#define CPIO_NEWC_MAGIC "070701"
+#define PHYS_HDR_SIZE 110
+
+static inline
+bool sync_hint(rpmGZFILE *rpmgz, unsigned char c)
+{
+    /* sync only if at least nb_min bytes pending */
+    static const uint32_t nb_min = PHYS_HDR_SIZE + 1024;
+    rpmgz->nb++;
+    if (rpmgz->cs >= sizeof(CPIO_NEWC_MAGIC) - 1) {
+	/* cpio major progress, reset rsync */
+	rpmgz->rs.n = rpmgz->rs.sum = 0;
+	rpmgz->cs++;
+	if (rpmgz->cs >= PHYS_HDR_SIZE) {
+	    /* sync after cpio header */
+	    rpmgz->cs = 0;
+	    if (rpmgz->nb >= nb_min) {
+		rpmgz->nb = 0;
+		fprintf(stderr, "SYNC cpio\n");
+		return true;
+	    }
+	    else {
+		fprintf(stderr, "SKIP cpio\n");
+		return false;
+	    }
+	}
+    }
+    else if (CPIO_NEWC_MAGIC[rpmgz->cs] == c) {
+	/* cpio minor progress */
+	rpmgz->cs++;
+    }
+    else {
+	rpmgz->cs = 0;
+    }
+    if (rsync_next(&rpmgz->rs, c)) {
+	if (rpmgz->nb >= nb_min) {
+	    rpmgz->nb = 0;
+	    rpmgz->cs = 0;
+	    fprintf(stderr, "SYNC rsync\n");
+	    return true;
+	}
+	else {
+	    fprintf(stderr, "SKIP rsync\n");
+	    return false;
+	}
+    }
+    return false;
+}
+
 static ssize_t
 rsyncable_gzwrite(rpmGZFILE *rpmgz, const unsigned char *const buf, size_t len)
 {
@@ -2283,7 +2336,7 @@ rsyncable_gzwrite(rpmGZFILE *rpmgz, cons
     size_t i;
 
     for (i = 0; i < len; i++) {
-	if (rsync_next(&rpmgz->rs, buf[i])) {
+	if (sync_hint(rpmgz, buf[i])) {
 	    size_t n = i + 1 - (begin - buf);
 	    rc = gzwrite(rpmgz->gz, begin, n);
 	    if (rc < 0)

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]