[mdk-re] big file trouble?

[mdk-re] big file trouble?

[Sergey Ivanov]

     Всем привет!

    Я натолкнулся на проблему в чтении большого файла. Большим файлом был
полный архив переписки mandrake-russian.mbox, вчера взятый с
Альтлинукс-сайта. при попытке доставить мне заголовки сообщений сдох imap.
Потом сдох где-то на трети этого файла при поиске строки в нем Midnight
Commander. Потом и vi его не смог открыть и произошел core dump. Less стал
считать сколько в файле строчек и тоже свалился. В следующий раз я отменил
подсчет строчек и видел начало файла, но поисх погиб с дампом кора примерно
в том же месте. Последней каплей было выпадение кора у команды cp
mandrake-russian.mbox /dev/null.
    Этот файл получен был вчера командой wget, я легко могу видеть его head
и tail. Я подозреваю что это может быть связано с маломощностью машины, - я
ее планировал использовать как шлюз в интернет, а вот теперь на ней и IMAP
поставил... Оперативной памяти 96 мегабайт, своп на 125 мегабайт. Ядро -
2.4.18.alt0.2.pre4-up, система периодически синхронизируется с Сизифом.
    У меня два вопроса: первый - как поправить дело чтобы у меня такого не
повторялось, и второй - является ли это багом, связанным с конкретным ядром,
или reiserfs, или их взаимодействием или еще чего-нибудь, - или так и
должно, - сам должен был быть умнее и не брать файлов которые больше по
размеру чем объем оперативной памяти и чем раздел свопа?

    С уважением,
        Сергей

Re: [mdk-re] big file trouble?

[Egor Grebnev]

Я месяц назад писал о такой проблеме с dbx файлом с почтой из Outlook 
Express. Симптомы очень похожие...

Только то был Mandrake 8.0.

Re: [mdk-re] big file trouble?

[Sergey Ivanov]

>      Всем привет!
>
>     Я натолкнулся на проблему в чтении большого файла. Большим файлом был
> полный архив переписки mandrake-russian.mbox, вчера взятый с
> Альтлинукс-сайта. при попытке доставить мне заголовки сообщений сдох imap.
> Потом сдох где-то на трети этого файла при поиске строки в нем Midnight
> Commander. Потом и vi его не смог открыть и произошел core dump. Less стал
> считать сколько в файле строчек и тоже свалился. В следующий раз я отменил
> подсчет строчек и видел начало файла, но поисх погиб с дампом кора
примерно
> в том же месте. Последней каплей было выпадение кора у команды cp
> mandrake-russian.mbox /dev/null.
>     Этот файл получен был вчера командой wget, я легко могу видеть его
head
> и tail. Я подозреваю что это может быть связано с маломощностью машины, -
я
> ее планировал использовать как шлюз в интернет, а вот теперь на ней и IMAP
> поставил... Оперативной памяти 96 мегабайт, своп на 125 мегабайт. Ядро -
> 2.4.18.alt0.2.pre4-up, система периодически синхронизируется с Сизифом.

Тут выяснились еще дополнительные детали: не рабТут выяснились еще
дополнительные детали: не работает много чего. Apt-get, apt-cache -
мгновенно выпадают. Когда-то подобное вылечилось командой rpm --rebuilddb
теперь и она выпадает в коре. При этом в /var/log/syslog messages массой
идут сообщения об безуспешных попытках выполнить запрос на страницу памяти
со стороны ядра.

Jan 30 11:21:48 compaq kernel:  <1>Unable to handle kernel paging request at
virtual address 204d503c
Jan 30 11:21:48 compaq kernel:  printing eip:
Jan 30 11:21:48 compaq kernel: c0124a33
Jan 30 11:21:48 compaq kernel: *pde = 00000000
Jan 30 11:21:48 compaq kernel: Oops: 0000
Jan 30 11:21:48 compaq kernel: CPU:    0
Jan 30 11:21:48 compaq kernel: EIP:    0010:[page_cache_read+99/216]
Tainted: P
Jan 30 11:21:48 compaq kernel: EIP:    0010:[<c0124a33>]    Tainted: P
Jan 30 11:21:48 compaq kernel: EFLAGS: 00010202
Jan 30 11:21:48 compaq kernel: eax: 204d5034   ebx: c5f4c174   ecx: 0000000f
edx: c349c000
Jan 30 11:21:48 compaq kernel: esi: 00002a06   edi: 00002a08   ebp: c5f8f57c
esp: c349decc
Jan 30 11:21:48 compaq kernel: ds: 0018   es: 0018   ss: 0018
Jan 30 11:21:48 compaq kernel: Process imapd (pid: 23408,
stackpage=c349d000)
Jan 30 11:21:48 compaq kernel: Stack: c4c79be0 00000002 00002a06 c4c79be0
0000795f c0125041 0000001f 00000020
Jan 30 11:21:48 compaq kernel:        c11150c0 00000000 c5f4c174 000029e7
c01252b5 00000001 c4c79be0 c5f4c0c0
Jan 30 11:21:48 compaq kernel:        c11150c0 00001000 00000001 00000000
00000000 c5f4c0c0 00000286 00000084
Jan 30 11:21:48 compaq kernel: Call Trace: [generic_file_readahead+257/312]
[__do_generic_file_read+521/1168] [generic_file_read+126/296]
[file_read_actor+0/84] [sys_read+150/204]
Jan 30 11:21:48 compaq kernel: Call Trace: [<c0125041>] [<c01252b5>]
[<c01257ea>] [<c0125718>] [<c0130416>]
Jan 30 11:21:48 compaq kernel:    [sys_lseek+110/120] [system_call+51/64]
Jan 30 11:21:48 compaq kernel:    [<c013029e>] [<c0106e03>]
Jan 30 11:21:48 compaq kernel:
Jan 30 11:21:48 compaq kernel: Code: 39 58 08 75 f4 39 78 0c 75 ef 85 c0 75
5c 8b 43 30 31 d2 89

Помогите, подскажите что это и как быть.

Re: [mdk-re] big file trouble?

[Michael Shigorin]

On Wed, Jan 30, 2002 at 11:44:49AM -0500, Sergey Ivanov wrote:
> >     Я натолкнулся на проблему в чтении большого файла. Большим файлом был
> Jan 30 11:21:48 compaq kernel:  <1>Unable to handle kernel paging request at
> virtual address 204d503c
Память?  Кулер?  Пропылесосить/подергать/поменять?
Раньше не глючило?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ http://visa.chem.univ.kiev.ua/~mike/

Re: [mdk-re] big file trouble?

[Sergey Ivanov]

----- Original Message -----
From: "Michael Shigorin" <mike@lic145.kiev.ua>
To: <mandrake-russian@altlinux.ru>
Sent: Wednesday, January 30, 2002 1:34 PM
Subject: Re: [mdk-re] big file trouble?


> On Wed, Jan 30, 2002 at 11:44:49AM -0500, Sergey Ivanov wrote:
> > >     Я натолкнулся на проблему в чтении большого файла. Большим файлом
был
> > Jan 30 11:21:48 compaq kernel:  <1>Unable to handle kernel paging
request at
> > virtual address 204d503c
> Память?  Кулер?  Пропылесосить/подергать/поменять?
> Раньше не глючило?
>

    Помогло когда добавил еще один своп раздел. Вернее, почти помогло. cp
... >/dev/null проходит успешно, midnight commander тоже просматривает почти
весь файл и где-то на 90 процентах грохается. То же и с uw-imap, аварийно
завершается где-то на последних 10 процентах файла.
    Сергей.

Re: [mdk-re] [JT] big file trouble?

[Michael Shigorin]

On Wed, Jan 30, 2002 at 10:42:07PM -0500, Sergey Ivanov wrote:
>     Помогло когда добавил еще один своп раздел. Вернее, почти помогло. cp
В критических случаях можно подбрасывать еще своп-файл -- но,
может, просто не пользоваться такими шпагоглотателями?  У меня на
атлоне/256M вон vim серьезно задумался над файликом в одну
строчку (и 670K ;-) -- content.xml из распакованного .sxw...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ http://visa.chem.univ.kiev.ua/~mike/

[mdk-re] Re: [JT] big file trouble?

[Mikhail Zabaluev]

Hello Michael,

On Thu, Jan 31, 2002 at 10:38:20AM +0200, Michael Shigorin wrote:
>
> On Wed, Jan 30, 2002 at 10:42:07PM -0500, Sergey Ivanov wrote:
> >     Помогло когда добавил еще один своп раздел. Вернее, почти помогло. cp
> В критических случаях можно подбрасывать еще своп-файл -- но,
> может, просто не пользоваться такими шпагоглотателями?  У меня на
> атлоне/256M вон vim серьезно задумался над файликом в одну
> строчку (и 670K ;-) -- content.xml из распакованного .sxw...

Можно, кстати, попробовать в деревце перегнать и аккуратно сохранить с
помощью xmllint. Правда, может понадобиться DTD для того, чтобы
решить, где можно добавлять переводы строки и пробелы.

-- 
Stay tuned,
  MhZ                                     JID: mookid@jabber.org
___________
Talent does what it can.
Genius does what it must.
You do what you get paid to do.

Re: [mdk-re] S: oo-noimg.sh (was: big file trouble?)

[Michael Shigorin]

[-- Attachment #1.1: Type: text/plain, Size: 556 bytes --]

On Thu, Jan 31, 2002 at 12:02:47PM +0300, Mikhail Zabaluev wrote:
> > >     Помогло когда добавил еще один своп раздел. Вернее,
> > строчку (и 670K ;-) -- content.xml из распакованного .sxw...
> сохранить с помощью xmllint. Правда, может понадобиться DTD для
Кстати, в процессе вычитки всякого-разного родился мелкий
скпритик, который берет аргументы (*.sxw) и выдирает из них
картинки с целью уменьшения объема собственно текста.  Вдруг кому
пригодится....

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ http://visa.chem.univ.kiev.ua/~mike/

[-- Attachment #1.2: oo-noimg.sh --]
[-- Type: text/plain, Size: 462 bytes --]

#!/bin/bash
[ -z "$*" ] && {
	echo "$0: stripping images from OpenOffice.org documents"
	echo "*** usage: $0 document.sxw [...]"
	echo "*** stripped files written as _ORIGINALNAME"
	exit 1
}

for i in $*; do 
	NEW=_"`basename $i`"
	NEWDIR="`dirname $i`"
	DIR=`mktemp -d $TMPDIR/oo-no-img.XXXXXX`
	unzip $i -d $DIR
	rm -f $DIR/Pictures/*
	(cd $DIR; zip -9 -r "$NEW" *)
	mv "$DIR/$NEW" "$NEWDIR"
	echo "Look: "
	ls -l $i "$NEWDIR/$NEW"
	echo ---
	rm -rf $DIR
done

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] big file trouble?

[Konstantin Volckov]

[-- Attachment #1: Type: text/plain, Size: 260 bytes --]

On Wed, 30 Jan 2002 11:44:49 -0500
"Sergey Ivanov" <seriv@parkheights.dyndns.org> wrote:

> >      Всем привет!

Hi!

> Помогите, подскажите что это и как быть.

Очень похоже на проблемы с винтом либо в самом винте, либо в интерфейсе.

-- 
Успехов,
Konstantin

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]