[mdk-re] procmail, postfix and very big mbox

[mdk-re] procmail, postfix and very big mbox

[Alexey Voinov]

[-- Attachment #1: Type: text/plain, Size: 1272 bytes --]

Приветствую!

Вот заметил интересную особенность.
У меня эта рассылка складывается в один ящик, время от времени я
оттуда вычищаю пустое, но не всегда успеваю, поэтому вырос ящик
аж больше 50МБ.

Недавно заметил, что перестали правильно работать правила в .procmailrc
А именнго часть писем складываются в дефолтный ящик, хотя внешне в них всё
правильно. Причём запускание formail -ds procmail <mbox абсолютно
правильно всё раскладывает.

Включил в ~/.procmailrc VERBOSE=on LOGFILENAME=~/procmail.log. Получил там
сообщения:
procmail: Opening "mdk_linux"
procmail: Acquiring kernel-lock
procmail: Error while writing to "mdk_linux"
procmail: Truncated file to former size

Если я правильно понимаю ситуацию procmail просто не успевает в приемлимое
для postfix время добавить к этим 50 МБ очередное сообщение и отваливается. 
Места на диске --- выше крыши.

У кого какие комментарии будут?


На всякий случай:
$ rpm -q postfix procmail
postfix-20011008-alt1
procmail-3.22-alt1

Файловая система --- ext2fs

-- 
Best Regards!           | Когда вам платят за работу, надо по крайней мере
Alexey Voinov           | делать вид, что вы работаете...
                        |                         Б.Виан "Осень в Пекине"
voins@voins.program.ru
voins@online.ru
vns@altlinux.ru


[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] procmail, postfix and very big mbox

[Alexandre Prokoudine]

On Mon, 22 Oct 2001 20:57:51 +0400
Alexey Voinov <voins@voins.program.ru> wrote:

> Приветствую!
> 
> Вот заметил интересную особенность.
> У меня эта рассылка складывается в один ящик, время от времени я
> оттуда вычищаю пустое, но не всегда успеваю, поэтому вырос ящик
> аж больше 50МБ.
> 

А кстати, каким образом можно автоматизировать бэкапинг почты? Ну, так,
чтобы некий скриптик (хоть на Питоне) автоматически стартовал с системой
(это не проблема), читал дату создания файлов в заданных директориях
(немного сложнее) и давал команду bzip2 ... (что скорее легко, чем
сложно) для создания архива нужных файлов (опять же момрока для
не-программера) ...

Какие идеи будут?

Или всё самому ручками бэкапить? :)

Александр

Re: [mdk-re] procmail, postfix and very big mbox

[Oleg S. Gints]

> А кстати, каким образом можно автоматизировать бэкапинг почты? Ну, так,
> чтобы некий скриптик (хоть на Питоне) автоматически стартовал с системой
> (это не проблема), читал дату создания файлов в заданных директориях
> (немного сложнее) и давал команду bzip2 ... (что скорее легко, чем
> сложно) для создания архива нужных файлов (опять же момрока для
> не-программера) ...
> 
> Какие идеи будут?
> 
> Или всё самому ручками бэкапить? :)
> 

Зачем же руками? :-)
Посмотрите сюда:

http://www.opennet.ru/dev/fsbackup/


------------
С уважением,
Олег Гинц

Re: [mdk-re] procmail, postfix and very big mbox

[Michael Shigorin]

On Tue, Oct 23, 2001 at 03:36:46PM +1000, Oleg S. Gints wrote:
> > А кстати, каким образом можно автоматизировать бэкапинг почты? Ну, так,
> Зачем же руками? :-)
> http://www.opennet.ru/dev/fsbackup/
Так речь о почте. Ее без понимания структуры mbox'а (если это 
mbox) можно "все или ничего". А мне, например, хочется оставить 
почту за последнюю неделю "для контексту". Вот и написал себе
поделие.

fsbackup и подобные методы могут в случае mdir/MH пригодиться,
как я понимаю. Могу, правда, не понимать -- не дорос еще ;)

-- 
WBR, Michael Shigorin -- webmaster at www.chem.univ.kiev.ua
>Home Page:  http://visa.chem.univ.kiev.ua/~mike/  ICQ: 113344029
>Brainbench: http://www.brainbench.com/transcript.jsp?pid=2434729

[mdk-re] mailrotate.sh (а также к слову о быстрой настройке почты)

[Michael Shigorin]

[-- Attachment #1.1: Type: text/plain, Size: 897 bytes --]

On Tue, Oct 23, 2001 at 09:15:28AM +0400, Alexandre Prokoudine wrote:
> А кстати, каким образом можно автоматизировать бэкапинг почты? Ну, так,
> Какие идеи будут?
Стоп. Или я на днях постил mailrotate.sh, или скажите, что я
неправ. Цепляю еще раз.

Кстати, вообще есть мысль наваять тиклевый конфигуратор
(quickstarter этакий) на тему "сделать ~/.procmailrc (с фильтром
дубликатов :-d), запустить fetchmailconf, включить бэкап,
прописать его в кронтаб; взять базовые настройки почтовки из
/etc/skel || набора".

Пока чуть-чуть застрял с интерфейсом (в общем виде). Хотя, по
правде, сделать бы это все модульным и умным, не стыдно было бы и
в мир показать. Пока даже приаттачить считай что нечего :(

-- 
WBR, Michael Shigorin -- webmaster at www.chem.univ.kiev.ua
>Home Page:  http://visa.chem.univ.kiev.ua/~mike/  ICQ: 113344029
>Brainbench: http://www.brainbench.com/transcript.jsp?pid=2434729

[-- Attachment #1.2: mailrotate.sh --]
[-- Type: text/plain, Size: 1918 bytes --]

#!/bin/sh
# A free script to rotate mail by Michael Shigorin <mike@altlinux.ru>
# v20011020

# moves $MBOXES (wildcards allowed) in $MAIL to files named after $DATEFMT in
# directories under $ARCROOT, leaving fresher than $KEEP (see also $SINCEAFTER)
# not to leave mailboxes empty.

# WARNING: BACKUP YOUR MAIL BEFORE USING! NO WARRANTIES!

MDIR="$HOME/mail"
ARCROOT="$MDIR/archive"
MBOXES="_* READ MDS"
LOG="$ARCROOT/mailrotate.log"
KEEP="7 days"	# to leave me in context
KEEPEMPTY=	# keep empty boxes? "" or non-empty string
SKIPEXIST=	# skip existing archive mbox or append to it?
MODE=644	# mktemp will 
DATEFMT="%Y-%m-%d"
SINCEAFTER=after	# ...or "since". One day difference.
MAILPS="mutt"	# egrep's regexp, i.e. (mutt|pine|sylpheed)

echo `date +$DATEFMT` >>$LOG
[ -n "`ps -u $USER | egrep " $MAILPS$"`" ] && {
	echo "$MAILPS running as $USER, exiting..." >>$LOG
	exit
} || echo "$0: starting..." >>$LOG

perl -e 'require Date::Parse; require Date::Manip' || {
	echo "ERROR: grepmail needs Date::Parse and Date::Manip to" >&2
	echo "       enable -d option (which we need)." >&2
	echo >&2
	echo "Exiting to keep your mail safe; please run" >&2
	echo "perl -MCPAN -e 'install Date::Parse' && perl -MCPAN -e 'install Date::Manip'" >&2
	echo "as root to install the needed modules!" >&2
	exit 1
}

cd "$MDIR"
for i in $MBOXES; do
	[ ! -f "$i" -o -f "$i.lock" ] && continue
	ARCDIR="$ARCROOT/$i"
	[ -d "$ARCDIR" ] || mkdir -p "$ARCDIR"
	ARCMBOX="$ARCDIR/`date -d "$KEEP ago" +$DATEFMT`"
	[ -f "$ARCMBOX" -a "$SKIPEXIST" ] && continue
	TMPFILE="`mktemp "$i.tmp-XXXXXX"`"
	grepmail -had "$SINCEAFTER $KEEP ago" "$i" >"$TMPFILE" 2>>$LOG
#	[ -f "$ARCMBOX" ] && echo "WARNING: $ARCMBOX already exists!" >>$LOG
	grepmail -vhad "$SINCEAFTER $KEEP ago" "$i" >>"$ARCMBOX" 2>>$LOG
	[ -s "$TMPFILE" -o "$KEEPEMPTY" ] && {
		mv "$TMPFILE" "$i"
		chmod $MODE "$i"
	}
	[ -s "$ARCMBOX" -o "$KEEPEMPTY" ] || rm -f "$ARCMBOX"
done


[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] mailrotate.sh (а также к слову о быстрой настройке почты)

[Alexandre Prokoudine]

Михаил, а не подскажете ли, как заставить IceWM'ов апплет читать почту?

Где это у него настраивается? Конфиг ведь наверняка специальный есть.

Спасибо

Александр

Re: [mdk-re] mailrotate.sh (а также к слову о быстрой настройке почты)

[Michael Shigorin]

On Tue, Oct 23, 2001 at 10:20:24AM +0400, Alexandre Prokoudine wrote:
> Михаил, а не подскажете ли, как заставить IceWM'ов апплет читать почту?
> Где это у него настраивается? Конфиг ведь наверняка специальный есть.
~/.icewm*, вестимо. Я давно ice'ом не пользовался, а в WM у меня
на все шорткаты (и со вчера -- аналоги root-tail на паре
десктопов, спасибо прозрачному aterm, 8-)

-- 
WBR, Michael Shigorin -- webmaster at www.chem.univ.kiev.ua
>Home Page:  http://visa.chem.univ.kiev.ua/~mike/  ICQ: 113344029
>Brainbench: http://www.brainbench.com/transcript.jsp?pid=2434729

Re: [mdk-re] procmail, postfix and very big mbox

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1636 bytes --]

On Mon, Oct 22, 2001 at 08:57:51PM +0400, Alexey Voinov wrote:
> Вот заметил интересную особенность.
> У меня эта рассылка складывается в один ящик, время от времени я
> оттуда вычищаю пустое, но не всегда успеваю, поэтому вырос ящик
> аж больше 50МБ.
> 
> Недавно заметил, что перестали правильно работать правила в .procmailrc
> А именнго часть писем складываются в дефолтный ящик, хотя внешне в них всё
> правильно. Причём запускание formail -ds procmail <mbox абсолютно
> правильно всё раскладывает.
> 
> Включил в ~/.procmailrc VERBOSE=on LOGFILENAME=~/procmail.log. Получил там
> сообщения:
> procmail: Opening "mdk_linux"
> procmail: Acquiring kernel-lock
> procmail: Error while writing to "mdk_linux"
> procmail: Truncated file to former size
> 
> Если я правильно понимаю ситуацию procmail просто не успевает в приемлимое
> для postfix время добавить к этим 50 МБ очередное сообщение и отваливается. 
> Места на диске --- выше крыши.
> 
> У кого какие комментарии будут?
> 
> 
> На всякий случай:
> $ rpm -q postfix procmail
> postfix-20011008-alt1
> procmail-3.22-alt1
> 
> Файловая система --- ext2fs

Я бы не удивился, если бы это случилось на reiserfs-3.5.x;
а вот на ext2 не должно быть.
Это, скорее всего, проблемы в ядре (каком, кстати?)


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@alt-linux.org
ALT Linux Team      http://www.altlinux.ru/
Fandra Project      http://www.fandra.org/
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] procmail, postfix and very big mbox

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 463 bytes --]

On Wed, Oct 24, 2001 at 02:15:04PM +0400, Dmitry V. Levin wrote:
> > Файловая система --- ext2fs
> Я бы не удивился, если бы это случилось на reiserfs-3.5.x;
Таак. А что с 3.5.x? Или сервер, недавно поставленный на rfs,
поднимать с 2.2.19 на 2.4 || уводить на ext2?

-- 
WBR, Michael Shigorin -- webmaster at www.chem.univ.kiev.ua
>Home Page:  http://visa.chem.univ.kiev.ua/~mike/  ICQ: 113344029
>Brainbench: http://www.brainbench.com/transcript.jsp?pid=2434729

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] procmail, postfix and very big mbox

[Alexey Voinov]

[-- Attachment #1: Type: text/plain, Size: 856 bytes --]

Dmitry V. Levin wrote
<skip>
> > Если я правильно понимаю ситуацию procmail просто не успевает в приемлимое
> > для postfix время добавить к этим 50 МБ очередное сообщение и отваливается. 
> > Места на диске --- выше крыши.
> > 
> > У кого какие комментарии будут?
> > 
> > 
> > На всякий случай:
> > $ rpm -q postfix procmail
> > postfix-20011008-alt1
> > procmail-3.22-alt1
> > 
> > Файловая система --- ext2fs
> 
> Я бы не удивился, если бы это случилось на reiserfs-3.5.x;
> а вот на ext2 не должно быть.
> Это, скорее всего, проблемы в ядре (каком, кстати?)
$ uname -r
2.4.7-alt2-up

-- 
Best Regards!           | Когда вам платят за работу, надо по крайней мере
Alexey Voinov           | делать вид, что вы работаете...
                        |                         Б.Виан "Осень в Пекине"
voins@voins.program.ru
voins@online.ru
vns@altlinux.ru


[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]