[devel] kernel 2.6.0-test11

[devel] kernel 2.6.0-test11

[Ed V. Bartosh]

Hi,

Результаты наших с Глебом(UlfR) усилий по сборке ядра 2.6 лежат здесь:
ftp://ftp.altlinux.ru/pub/people/ed/

Вкратце:

1. kernel-build-tools 
- Добавлена возможность прикладывать патчи только к определенной
  версии ядра и также иметь общие патчи для разных версий.

2. kernel-fix-build 
- Здесь можно посмотреть как это делается для 2.6
К сожалению сборку на 2.4 еще не проверял.

3. kernel-{image,headers,headers-modules}-std26-up
- собственно ядро и его хедеры.

4. kernel-modpost 
- утилита, использующаяся для сборки модулей отдельно от дерева сорцов.
может быть имеет смысл не выносить ее в отдельный пакет, а
переименовать kernel-headers-modules в kernel-modules-tools или типа
того и ее туда положить.
Но пока сделано так.

5. modutils
- modutils, работающие для 2.4 и для 2.6. Пока это сделано по-быстрому
и неправильно, просто module-init-tools завраплены в modutils.
В дальнейшем нужно будет интегрировать это по-человечески, о чем писал
Саша Боковой в @devel.

6. bootloader-utils
- мелкие правки в части герерирования валидных строк для lilo и grub-а
- временно убран framebuffer, не заработал сразу.

7. mkinitrd
- обновлен и вылечен busybox в части работы с модулями от 2.6

8. nvidia
- сорцы и модуль.

Все это загрузилось и работает на моей машине.

Всякие мелочи типа убирания klogd из chroot-а и правки /etc/rc.sysinit
в части монтирования sysfs и работы с /proc/kallsyms еще не опакечены,
сделаю скоро.

Если кому интересна эта тема - милости прошу, давайте обсуждать,
тестировать и все такое. Основной задачей у меня было получить
работающее ядро, а не сделать все с начала до конца правильно самому,
так что включайтесь, плз.

-- 
Best regards,
Ed V. Bartosh

Re: [devel] kernel 2.6.0-test11

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 869 bytes --]

On Tue, Dec 16, 2003 at 07:43:58PM +0300, Ed V. Bartosh wrote:
> Hi,
> 
> Результаты наших с Глебом(UlfR) усилий по сборке ядра 2.6 лежат здесь:
> ftp://ftp.altlinux.ru/pub/people/ed/
> 
> Вкратце:
[...]

> 5. modutils
> - modutils, работающие для 2.4 и для 2.6. Пока это сделано по-быстрому
> и неправильно, просто module-init-tools завраплены в modutils.
> В дальнейшем нужно будет интегрировать это по-человечески, о чем писал
> Саша Боковой в @devel.

Это точно.  Добровольцы есть?

> 6. bootloader-utils
> - мелкие правки в части герерирования валидных строк для lilo и grub-а
> - временно убран framebuffer, не заработал сразу.

at@?

> 7. mkinitrd
> - обновлен и вылечен busybox в части работы с модулями от 2.6

"modprobe -]" - это сильно :)

[...]
> Всякие мелочи типа убирания klogd из chroot-а

Мы вроде бы уже решили откатить это изменение в 2.6?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: kernel 2.6.0-test11

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 291 bytes --]

On Tue, Dec 16, 2003 at 09:02:16PM +0300, Dmitry V. Levin wrote:
> > 6. bootloader-utils
> > - мелкие правки в части герерирования валидных строк для lilo и grub-а
> > - временно убран framebuffer, не заработал сразу.
> 
> at@?

Уже посмотрел.  Пусть пока так.
Переписывание кода в прцессе.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: kernel 2.6.0-test11

[Ed V. Bartosh]

 AT> On Tue, Dec 16, 2003 at 09:02:16PM +0300, Dmitry V. Levin wrote:
 >> > 6. bootloader-utils
 >> > - мелкие правки в части герерирования валидных строк для lilo и grub-а
 >> > - временно убран framebuffer, не заработал сразу.
 >> 
 >> at@?

 AT> Уже посмотрел.  Пусть пока так.
 AT> Переписывание кода в прцессе.

Когда можно надеяться на появление сего в Сизифе ?

-- 
Best regards,
Ed V. Bartosh

[devel] Re: kernel 2.6.0-test11

[Alexey Tourbin]

[-- Attachment #1.1: Type: text/plain, Size: 514 bytes --]

On Wed, Dec 17, 2003 at 11:22:27AM +0300, Ed V. Bartosh wrote:
>  AT> Уже посмотрел.  Пусть пока так.
>  AT> Переписывание кода в прцессе.
> 
> Когда можно надеяться на появление сего в Сизифе ?

Сейчас полностью переписан /usr/sbin/detectloader.
От него оторван perl-MDK-Common, взамен написан модуль bootloader_utils.pm.

Остается переписать /usr/share/loader/{grub,lilo} и /sbin/installkernel.

Лучше объясните мне, как /sbin/installkernel должен расставлять симлинки
и чем его текущее поведение не устраивает.

[-- Attachment #1.2: bootloader_utils.pm --]
[-- Type: text/plain, Size: 3636 bytes --]

package bootloader_utils;
# $Id: bootloader_utils.pm,v 1.2 2003/12/04 12:29:17 at Exp $
#--------------------------------------------------------------------
# Copyright (C) 2000, 2001, 2002 by MandrakeSoft.
# Chmouel Boudjnah <chmouel@mandrakesoft.com>.
#
# Redistribution of this file is permitted under the terms of the GNU 
# Public License (GPL)
#--------------------------------------------------------------------
# Copyright (C) 2003 by ALT Linux Team,
# Alexey Tourbin <at@altlinux.org>.
#--------------------------------------------------------------------

require Exporter;
@ISA = qw(Exporter);
@EXPORT_OK = qw(mnt2dev partitions typeOfMBR getroot);

use strict;

sub fstab {
	open my $f, '/etc/fstab' or return;
	my @fstab;
	while (<$f>) {
		next if /^\s*#/;
		my @ent = split;
		push @fstab, \@ent;
	}
	return @fstab;
}

sub mnt2dev {
	my $mnt = shift;
	foreach my $ent (fstab()) {
		return $$ent[0] if $$ent[1] eq $mnt;
	}
	return;
}

my @MBR_signatures = (
	[ 'empty', 0, "\0\0\0\0" ],
	[ 'grub', 0, "\xEBG", 0x17d, "stage1 \0" ],
	[ 'grub', 0, "\xEBH", 0x17e, "stage1 \0" ],
	[ 'grub', 0, "\xEBH", 0x18a, "stage1 \0" ],
	[ 'grub', 0, "\xEBH", 0x181, "GRUB \0" ],
	[ 'lilo', 0x2,  "LILO" ],
	[ 'lilo', 0x6,  "LILO" ],
	[ 'grub', 0x6,  "GRUB" ],
	[ 'osbs', 0x2,  "OSBS" ], #- http://www.prz.tu-berlin.de/~wolf/os-bs.html
	[ 'pqmagic', 0xef, "PQV" ],
	[ 'BootStar', 0x130, "BootStar:" ],
	[ 'DocsBoot', 0x148, 'DocsBoot' ],
	[ 'system_commander', 0x1ad, "SYSCMNDRSYS" ],
	[ 'Be Os', 0x24, 'Boot Manager' ],
	[ 'os2', 0, "\xFA\xB8\x30\x00", 0xfA, "OS/2" ],
	[ 'TimO', 0, 'IBM Thinkpad hibernation partition' ],
	[ 'dos', 0xa0, "\x25\x03\x4E\x02\xCD\x13" ],
	[ 'dos', 0xa0, "\x00\xB4\x08\xCD\x13\x72" ], #- nt2k's
	[ 'dos', 0x60, "\xBB\x00\x7C\xB8\x01\x02\x57\xCD\x13\x5F\x73\x0C\x33\xC0\xCD\x13" ], #- nt's
	[ 'dos', 0x70, "\x0C\x33\xC0\xCD\x13\x4F\x75\xED\xBE\xA3" ],
	[ 'freebsd', 0xC0, "\x00\x30\xE4\xCD\x16\xCD\x19\xBB\x07\x00\xB4" ],
	[ 'freebsd', 0x160, "\x6A\x10\x89\xE6\x48\x80\xCC\x40\xCD\x13" ],
	[ 'dummy', 0xAC, "\x0E\xB3\x07\x56\xCD\x10\x5E\xEB" ], #- caldera?
	[ 'ranish', 0x100, "\x6A\x10\xB4\x42\x8B\xF4\xCD\x13\x8B\xE5\x73" ],
	[ 'os2', 0x1c2, "\x0A" ],
	[ 'Acronis', 0, "\xE8\x12\x01" ],
);

sub typeFromMagic {
	my $fname = shift;
	sysopen my $fh, $fname, 0 or return;
set:	foreach my $set (@_) {
		my ($type, %magic) = @$set;
		while (my ($offset, $signature) = each %magic) {
			sysseek($fh, $offset, 0)
				or next set;
			my $n = length $signature;
			sysread($fh, my $buf, $n) == $n
				or next set;
			$buf eq $signature
				or next set;
		}
		return $type;
	}
	return;
}

use File::Temp qw(tempdir);
use sigtrap qw(die normal-signals);

sub typeOfMBR($) {
	my $disk = shift;
	my $dev = "/dev/$$disk{dev}";
	unless (-b $dev) {
		my $dir = tempdir("bootloader.XXXXXXXXXX", CLEANUP => 1, TMPDIR => 1);
		$dev = "$dir/$$disk{dev}";
		system "mknod", $dev, "b", $$disk{major}, $$disk{minor};
		die "$0: cannot create block special file $dev\n"
			unless $? == 0 && -b $dev;
	}
	return typeFromMagic($dev, @MBR_signatures);
}

sub media_type {
	my $dev = shift;
	open my $fh, "/proc/ide/$dev/media" or return;
	my $type = <$fh>;
	chomp $type;
	return $type;
}

sub partitions {
	open my $fh, "/proc/partitions" or return;
	my @all;
	while (<$fh>) {
		next unless /\d/;
		my %ent;
		@ent{qw(major minor size dev)} = split;
		$ent{media} = media_type $ent{dev};
		push @all, \%ent;
	}
	return @all;
}

sub getroot {
	if (open my $fh, "/proc/cmdline") {
		return $1 if <$fh> =~ /root=(\/\S+)/;
	}
	my $root = mnt2dev("/");
	return $root if $root;
	return $& if `/usr/sbin/rdev` =~ /\/\S+/;
	return;	
}

1;

[-- Attachment #1.3: detectloader --]
[-- Type: text/plain, Size: 2199 bytes --]

#!/usr/bin/perl
# $Id: detectloader,v 1.3 2003/12/06 15:21:28 at Exp $

=head1	NAME

detectloader - detect what type of loader you have on your disk

=head1	DESCRIPTION

detectloader detects the type of the boot loader you have on your MBR.  It
finds the first disk via /proc/partitions and looks via the magic serial what
kind of boot loader you have installed.  If neither LILO nor GRUB is found on
MBR, try partitions too.

=head1	LIMITATION

Supports only grub and lilo.  Patches welcome for other boot loaders.

=head1	COPYRIGHT

Copyright (C) 2003 by ALT Linux Team, Alexey Tourbin <at@altlinux.org>.

Copyright (C) 2000, 2001, 2002 by MandrakeSoft, Pixel <pixel@mandrakesoft.com>
and others MandrakeSoft folks.

Redistribution of this file is permitted under the terms of the GNU 
Public License (GPL).

=cut

use bootloader_utils qw(partitions typeOfMBR);
use strict;

use Getopt::Long qw(GetOptions);
GetOptions "q|quiet" => \my $quiet
	or die "usage: $0 [-q|--quiet]\n";

sub warning {
	warn "@_\n" unless $quiet;
}

sub read_skiplist {
	open my $fh, "/etc/bootloader/skiplist" or return;
	my @list;
	while (<$fh>) {
		next unless /^#/;
		/\S+/ and push @list, $&;
	}
	return @list;
}

sub detect {
	my %known_loaders = map { $_ => 1 } qw(grub lilo);
	my %skiplist = map { $_ => 1 } read_skiplist();
	my (@disks, @partitions);
	foreach (partitions()) {
		next if $skiplist{$$_{dev}};
		next if $$_{media} eq "cdrom";
		$$_{dev} =~ /\d$/
			? push @partitions, $_
			: push @disks, $_
			;
	}
	foreach my $disk (@disks) {
		my $loader = typeOfMBR($disk);
		if ($known_loaders{$loader}) {
			warning "$0: $$disk{dev}: $loader";
			return $loader;
		}
	}
	warning "no bootloader on MBR, trying partitions!";
	open my $pipe, "-|", "fdisk", "-l",
		or warning "$0: fdisk not available"
		and return;
	while (<$pipe>) {
		next unless m#^/dev/(\w+\d+)\s+\*\s+#;
		next if $skiplist{$1};
		my ($partition) = grep { $$_{dev} eq $1 } @partitions;
		next unless $partition;
		my $loader = typeOfMBR($partition);
		if ($known_loaders{$loader}) {
			warning "$0: $$partition{dev}: $loader";
			return $loader;
		}
	}
	return;
}

my $loader = $ENV{DEFAULT_LOADER} || detect();
print uc($loader) . "\n";

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: kernel 2.6.0-test11

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 834 bytes --]

On Wed, Dec 17, 2003 at 09:28:47PM +0300, Alexey Tourbin wrote:
> On Wed, Dec 17, 2003 at 11:22:27AM +0300, Ed V. Bartosh wrote:
> >  AT> Уже посмотрел.  Пусть пока так.
> >  AT> Переписывание кода в прцессе.
> > 
> > Когда можно надеяться на появление сего в Сизифе ?
> 
> Сейчас полностью переписан /usr/sbin/detectloader.
> От него оторван perl-MDK-Common, взамен написан модуль bootloader_utils.pm.
> 
> Остается переписать /usr/share/loader/{grub,lilo} и /sbin/installkernel.
> 
> Лучше объясните мне, как /sbin/installkernel должен расставлять симлинки
> и чем его текущее поведение не устраивает.

У installkernel должно быть достаточно возможностей, чтобы его можно
было использовать для установки memtest86.  Иначе дублирование его
функций в установочных скриптах memtest86 неминуемо приведёт к
неприятностям (уже приводит).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: kernel 2.6.0-test11

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 450 bytes --]

On Wed, Dec 17, 2003 at 09:28:47PM +0300, Alexey Tourbin wrote:
> Лучше объясните мне, как /sbin/installkernel должен расставлять
> симлинки и чем его текущее поведение не устраивает.

Хорошо бы, чтоб можно было сказать "_не_ обновлять симлинки";
например, после установки 2.6 (спасибо, Эд!) я был *несколько*
удивлен тем, что оно даже их заменило :-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] kernel 2.6.0-test11

[Ed V. Bartosh]

 >> 5. modutils
 >> - modutils, работающие для 2.4 и для 2.6. Пока это сделано по-быстрому
 >> и неправильно, просто module-init-tools завраплены в modutils.
 >> В дальнейшем нужно будет интегрировать это по-человечески, о чем писал
 >> Саша Боковой в @devel.

 DVL> Это точно.  Добровольцы есть?

Да, уже начали.

 >> 6. bootloader-utils
 >> - мелкие правки в части герерирования валидных строк для lilo и grub-а
 >> - временно убран framebuffer, не заработал сразу.

 DVL> at@?

 >> 7. mkinitrd
 >> - обновлен и вылечен busybox в части работы с модулями от 2.6

 DVL> "modprobe -]" - это сильно :)
:)
Будет переделано.
может есть мысли как это сделать правильно ?
На всякий случай: речь идет о работе modprobe под одним ядром, в случае, когда нужно
оперировать модулями от другого. Ничего, кроме дополнительного ключа
не придумалось, к сожалению. --force-kver или просто -kver пойдет ?

 DVL> [...]
 >> Всякие мелочи типа убирания klogd из chroot-а

 DVL> Мы вроде бы уже решили откатить это изменение в 2.6?
Я это, видимо пропустил. Где это можно прочитать ?

Давайте, может, распланируем как это все безболезненно в Сизиф втащить ?

-- 
Best regards,
Ed V. Bartosh

Re: [devel] kernel 2.6.0-test11

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 979 bytes --]

On Wed, Dec 17, 2003 at 11:20:26AM +0300, Ed V. Bartosh wrote:
>  >> Всякие мелочи типа убирания klogd из chroot-а
> 
>  DVL> Мы вроде бы уже решили откатить это изменение в 2.6?
> Я это, видимо пропустил. Где это можно прочитать ?

Этот вопрос несколько раз поднимался на #altlinux и, видимо, в личных
переговорах.

Ситуация следующая: некоторое время назад в 2.6 (тогда ещё 2.5) произошло
изменение:

http://linux.bkbits.net:8080/linux-2.5/cset@1.889.89.3?nav=index.html|src/|src/kernel|related/kernel/printk.c

При этом, среди прочего, в kernel/printk.c проверка прав доступа к
сообщениям ядра была перенесена из sys_syslog() в do_syslog(), в
результате эти ограничения стали действовать на доступ и через системный
вызов syslog, и через /proc/kmsg.  Именно эту часть изменения и
предлагается откатить (перенести вызов security_syslog() из do_syslog()
назад в sys_syslog()).  После этого доступ через /proc/kmsg будет
ограничиваться только правами на этот файл, как и раньше.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: [d-kernel] kernel 2.6.0-test11

[Anton Farygin]

Ed V. Bartosh wrote:
> Hi,
> 
> Результаты наших с Глебом(UlfR) усилий по сборке ядра 2.6 лежат здесь:
> ftp://ftp.altlinux.ru/pub/people/ed/
> 
> Вкратце:
> 
> 1. kernel-build-tools 
> - Добавлена возможность прикладывать патчи только к определенной
>   версии ядра и также иметь общие патчи для разных версий.
> 
> 2. kernel-fix-build 
> - Здесь можно посмотреть как это делается для 2.6
> К сожалению сборку на 2.4 еще не проверял.
> 
> 3. kernel-{image,headers,headers-modules}-std26-up
> - собственно ядро и его хедеры.
> 
> 4. kernel-modpost 
> - утилита, использующаяся для сборки модулей отдельно от дерева сорцов.
> может быть имеет смысл не выносить ее в отдельный пакет, а
> переименовать kernel-headers-modules в kernel-modules-tools или типа
> того и ее туда положить.
> Но пока сделано так.
> 
> 5. modutils
> - modutils, работающие для 2.4 и для 2.6. Пока это сделано по-быстрому
> и неправильно, просто module-init-tools завраплены в modutils.
> В дальнейшем нужно будет интегрировать это по-человечески, о чем писал
> Саша Боковой в @devel.
> 
> 6. bootloader-utils
> - мелкие правки в части герерирования валидных строк для lilo и grub-а
> - временно убран framebuffer, не заработал сразу.
> 
> 7. mkinitrd
> - обновлен и вылечен busybox в части работы с модулями от 2.6
> 
> 8. nvidia
> - сорцы и модуль.
> 
> Все это загрузилось и работает на моей машине.
> 
> Всякие мелочи типа убирания klogd из chroot-а и правки /etc/rc.sysinit
> в части монтирования sysfs и работы с /proc/kallsyms еще не опакечены,
> сделаю скоро.

klogd из чрута убирать не надо... есть же уже решение этой проблемы, я 
тебе в IRC бросал патч.

Повторяю тут:

--- printk.c.orig       2003-12-17 12:52:39 +0300
+++ printk.c    2003-12-17 12:53:04 +0300
@@ -207,10 +207,6 @@
         char c;
         int error = 0;

-       error = security_syslog(type);
-       if (error)
-               return error;
-
         switch (type) {
         case 0:         /* Close log */
                 break;
@@ -328,6 +324,11 @@

  asmlinkage long sys_syslog(int type, char __user * buf, int len)
  {
+       int error = 0;
+
+       error = security_syslog(type);
+       if (error)
+               return error;
         return do_syslog(type, buf, len);
  }


> 
> Если кому интересна эта тема - милости прошу, давайте обсуждать,
> тестировать и все такое. Основной задачей у меня было получить
> работающее ядро, а не сделать все с начала до конца правильно самому,
> так что включайтесь, плз.
> 

ok. Сейчас утянем и займемся.

Rgds,
Rider

[devel] Re: [d-kernel] kernel 2.6.0-test11

[Ed V. Bartosh]

>>>>> "AF" == Anton Farygin writes:

 >>  Всякие мелочи типа убирания klogd из chroot-а и правки
 >>  /etc/rc.sysinit в части монтирования sysfs и работы с
 >>  /proc/kallsyms еще не опакечены, сделаю скоро.
  
 AF>  klogd из чрута убирать не надо... есть же уже решение этой
 AF>  проблемы, я тебе в IRC бросал патч.
  
 AF>  Повторяю тут:
  
 AF>  --- printk.c.orig 2003-12-17 12:52:39 +0300 +++ printk.c
 AF>  2003-12-17 12:53:04 +0300 @@ -207,10 +207,6 @@
 AF>           char c; int error = 0;
  
 AF>  - error = security_syslog(type); - if (error) - return error; -
 AF>           switch (type) { case 0: /* Close log */
 AF>                   break;
 AF>  @@ -328,6 +324,11 @@
  
 AF>    asmlinkage long sys_syslog(int type, char __user * buf, int
 AF>    len) {
 AF>  +       int error = 0;
 AF>  +
 AF>  +       error = security_syslog(type); if (error) return error;
 AF>           return do_syslog(type, buf, len);
 AF>    }

Спасибо.  
Кстати, вижу я это впервые.
  
 >>  Если кому интересна эта тема - милости прошу, давайте обсуждать,
 >>  тестировать и все такое. Основной задачей у меня было получить
 >>  работающее ядро, а не сделать все с начала до конца правильно
 >>  самому, так что включайтесь, плз.
 >>
  
 AF>  ok. Сейчас утянем и займемся.

Чудненько. Держите меня в курсе.  

-- 
Best regards,
Ed V. Bartosh