[Comm] Синхронизация внешниго IMAP с внутренним.

[Comm] Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Здравствуйте Уважаемые.

   Как получать почту ро POP и IMAP я болие мение понял (понял, 
что данную задачу решает Fetchmail и болимение понятно, как её 
настраивать для данной задачи). Но непонятно как, подступиться к 
синхронизации 2х IMAP серверов. (Возможно меня клинит, или просто 
думаю не в ту сторону.)

   Задача такая:

   Есть внешний ящик приличного, но ограниченного объёма. На него 
я принимаю данную рассылку. И два места откуда я им пользуюсь:

1. Дом - есть локальный почтовый сервер. (Точнее будет: я его 
поднимаю, ещё не всё настроил. :-)) Модем, подключение к сети 
_только_ в ночной период с 2 ночи. И работа с почтой в режиме 
offline, съём - Fetchmail-ом.

2. Работа - организация локального почтового сервера (кроме 
корпоративного) смысла не имеет - достаточно часто приходится 
работать под виндой. С внешней почтой работою в режиме online.

   Нужно обеспечить нормальную работу с почтой дома и на работе 
(и там, и там - почтовик Mozilla).

   В первом приближении задача решается достаточно просто:

1. Принимать все сообщения в домашний архив, оставляя их на сервере.

2. Убивать сообщения сообщения на сервере по заданному критерию 
(те, что старше недели и не отмечены флагом, например)

   Сдесь вопросов нет (но возможно есть грабли ;-)).

   Непонятно, в какую сторону копать, чтобы обеспечить 
синхронизацию Мозиловских выделений в архиве и на сервере: 
Понятно, что надо организовать синхронизацию заголовков. (Скорее 
всего - некоторых полей в них: думаю за флаги отвечают какието из 
полей вида X-*, но могу и ошибаться. Пожалуйста, поправьте меня, 
если я порю лажу.) Но я непонимаю, как это сделать. И незнаю как 
подступиться.

   Пожалуйста, помогите. Ткните в документацию...

   Спасибо за внимание.

-- 

С уважением. Алексей.

Re: [Comm] Синхронизация внешниго IMAP с внутренним.

[Прокопьев Евгений]

Aleksey Avdeev пишет:

> Непонятно, в какую сторону копать, чтобы обеспечить синхронизацию 
> Мозиловских выделений в архиве и на сервере: Понятно, что надо 
> организовать синхронизацию заголовков. (Скорее всего - некоторых полей в 
> них: думаю за флаги отвечают какието из полей вида X-*, но могу и 
> ошибаться. Пожалуйста, поправьте меня, если я порю лажу.) Но я 
> непонимаю, как это сделать. И незнаю как подступиться.

Боюсь, что это нерешаемая задача.

В maildir (этот формат используется в CourierIMAP) прочитанные и 
непрочитанные сообщения просто лежат в разных папках - вот и вся разница 
между ними. В mbox - не знаю. И я плохо себе представляю, как эту 
информацию можно использовать на практике - уж слишком сложным и 
ненадежным будет механизм синхронизации. Придется писать двух демонов на 
работе и дома, которые будут обмениваться данными о прочитанных письмах.

-- 
С уважением, Прокопьев Евгений

Re: [Comm] Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Прокопьев Евгений пишет:
> Aleksey Avdeev пишет:
> 
>> Непонятно, в какую сторону копать, чтобы обеспечить синхронизацию 
>> Мозиловских выделений в архиве и на сервере: Понятно, что надо 
>> организовать синхронизацию заголовков. (Скорее всего - некоторых полей 
>> в них: думаю за флаги отвечают какието из полей вида X-*, но могу и 
>> ошибаться. Пожалуйста, поправьте меня, если я порю лажу.) Но я 
>> непонимаю, как это сделать. И незнаю как подступиться.

   Думаю я действительно нёс полную лажу. :-)

   После прочтения 
http://www.podgoretsky.com/ftp/Docs/Internet/Semenov/4/44/imap4443.htm 
начал думать что мозиловские флаги отображаются на флаги IMAP 
(стандартные и пользовательские). Но могу и ошибаться: код не 
смотрел.

> 
> Боюсь, что это нерешаемая задача.
> 
> В maildir (этот формат используется в CourierIMAP) прочитанные и 
> непрочитанные сообщения просто лежат в разных папках - вот и вся разница 
> между ними. В mbox - не знаю. И я плохо себе представляю, как эту 

   Тогда непонимаю: CourierIMAP поддерживает вложенные папки 
(поправьте, если неправ - я ещё неполностью разобрался с данным 
сервером). Как тогда реализовано отображение папок IMAP на 
maildir? Или каждая папка IMAP в формате maildir содержит 
несколько служебных вложенных папках? Как тогда реализовано 
хранение флагов? И далее ещё куча подобных вопросов... :-)

> информацию можно использовать на практике - уж слишком сложным и 
> ненадежным будет механизм синхронизации. Придется писать двух демонов на 
> работе и дома, которые будут обмениваться данными о прочитанных письмах.

   На работе всё помоему просто: таже Mozilla будет брать почту 
непосредственно с внешнего IMAP. А дома уже сложнее: повидимому 
надо будет брать письма с внешнего IMAP с сохранением _всех_ 
флагов и взаимодействуя непосредственно Courier-ом 
синхронизировать флаги (или передавать всё письмо)...

   Вобщем пока у меня нет ясности как лучше решить данную задачу. 
Есть стойкие подозрения, что Fetchmail сдесь неприменим вообще, а 
  нужно использовать какойнибудь консольный клиент (хорошо 
работающий с IMAP), который способен запускаться по крону, 
открывать 2 ящика (внешний и внутренний) по IMAP и выполнять 
некий скрипт синхронизации.

   Всё пока в тумане. Надеюсь, данная дискуссия поможет его 
развеять. ;-)

-- 

С уважением. Алексей.

Re: [Comm] Синхронизация внешниго IMAP с внутренним.

[Прокопьев Евгений]

Aleksey Avdeev пишет:

>> В maildir (этот формат используется в CourierIMAP) прочитанные и 
>> непрочитанные сообщения просто лежат в разных папках - вот и вся 
>> разница между ними. В mbox - не знаю. И я плохо себе представляю, как эту 
> 
> 
>   Тогда непонимаю: CourierIMAP поддерживает вложенные папки (поправьте, 
> если неправ - я ещё неполностью разобрался с данным сервером). 

вроде поддерживает, но я не пользовался ими

> Как тогда 
> реализовано отображение папок IMAP на maildir? Или каждая папка IMAP в 
> формате maildir содержит несколько служебных вложенных папках? 

да

> Как тогда 
> реализовано хранение флагов? И далее ещё куча подобных вопросов... :-)

Не знаю, читайте описание формата maildir.

>> информацию можно использовать на практике - уж слишком сложным и 
>> ненадежным будет механизм синхронизации. Придется писать двух демонов 
>> на работе и дома, которые будут обмениваться данными о прочитанных 
>> письмах.
> 
> 
>   На работе всё помоему просто: таже Mozilla будет брать почту 
> непосредственно с внешнего IMAP. А дома уже сложнее: повидимому надо 
> будет брать письма с внешнего IMAP с сохранением _всех_ флагов и 
> взаимодействуя непосредственно Courier-ом синхронизировать флаги (или 
> передавать всё письмо)...
> 
>   Вобщем пока у меня нет ясности как лучше решить данную задачу. Есть 
> стойкие подозрения, что Fetchmail сдесь неприменим вообще, а  нужно 
> использовать какойнибудь консольный клиент (хорошо работающий с IMAP), 
> который способен запускаться по крону, открывать 2 ящика (внешний и 
> внутренний) по IMAP и выполнять некий скрипт синхронизации.
> 
>   Всё пока в тумане. Надеюсь, данная дискуссия поможет его развеять. ;-)

Зря надеетесь :)

Никто здесь (эх, хорошо бы, если б я ошибался) таких задач перед собой 
не ставил. Это классическая задача репликации двух БД - для реляционных 
БД такие технологии давно проработаны, описаны, и есть куча 
инструментов. А для специализированных БД, коими являются Maildir (да и 
mbox тоже, только mbox по сравнению с maildir как dbf по сравнению 
btrieve), никаких готовых инструментов нет. На макроуровне от 
реляционных БД архитектурных отличий нет:

Репликатор	<------>	Репликатор
     |				   |
Домашний			Внешний
IMAP (БД)			IMAP (БД)

Разница в форматах данных и алгоритмах отслеживания изменений, пересылки 
изменений и разрешения конфликтов. И в уровне, на котором должен 
работать репликатор - уровень протокола IMAP или файловый уровень.

Короче, если Вы знаете, что такое репликация в реляционных БД, Вы можете 
себе представить, насколько сложно будет реализовать восход солнца 
вручную. А если не знаете, то читайте про теорию репликации.

-- 
С уважением, Прокопьев Евгений

Re: [Comm] Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Прокопьев Евгений пишет:
> Aleksey Avdeev пишет:
> 
>>> В maildir (этот формат используется в CourierIMAP) прочитанные и 
>>> непрочитанные сообщения просто лежат в разных папках - вот и вся 
>>> разница между ними. В mbox - не знаю. И я плохо себе представляю, как 
>>> эту 
>>
>>
>>
>>   Тогда непонимаю: CourierIMAP поддерживает вложенные папки 
>> (поправьте, если неправ - я ещё неполностью разобрался с данным 
>> сервером). 
> 
> 
> вроде поддерживает, но я не пользовался ими
> 
>> Как тогда реализовано отображение папок IMAP на maildir? Или каждая 
>> папка IMAP в формате maildir содержит несколько служебных вложенных 
>> папках? 
> 
> 
> да
> 
>> Как тогда реализовано хранение флагов? И далее ещё куча подобных 
>> вопросов... :-)
> 
> 
> Не знаю, читайте описание формата maildir.

   Подскажите пожалуйста, есть ли оное на русском? (Нашёл 
несколько описаний на сайтах посвящённых QMail, но они крайне 
поверхностны.)

> 
>>> информацию можно использовать на практике - уж слишком сложным и 
>>> ненадежным будет механизм синхронизации. Придется писать двух демонов 
>>> на работе и дома, которые будут обмениваться данными о прочитанных 
>>> письмах.
>>
>>
>>
>>   На работе всё помоему просто: таже Mozilla будет брать почту 
>> непосредственно с внешнего IMAP. А дома уже сложнее: повидимому надо 
>> будет брать письма с внешнего IMAP с сохранением _всех_ флагов и 
>> взаимодействуя непосредственно Courier-ом синхронизировать флаги (или 
>> передавать всё письмо)...
>>
>>   Вобщем пока у меня нет ясности как лучше решить данную задачу. Есть 
>> стойкие подозрения, что Fetchmail сдесь неприменим вообще, а  нужно 
>> использовать какойнибудь консольный клиент (хорошо работающий с IMAP), 
>> который способен запускаться по крону, открывать 2 ящика (внешний и 
>> внутренний) по IMAP и выполнять некий скрипт синхронизации.
>>
>>   Всё пока в тумане. Надеюсь, данная дискуссия поможет его развеять. ;-)
> 
> 
> Зря надеетесь :)

   Надежда умирает последней :-))

> 
> Никто здесь (эх, хорошо бы, если б я ошибался) таких задач перед собой 
> не ставил. Это классическая задача репликации двух БД - для реляционных 
> БД такие технологии давно проработаны, описаны, и есть куча 
> инструментов. А для специализированных БД, коими являются Maildir (да и 
> mbox тоже, только mbox по сравнению с maildir как dbf по сравнению 
> btrieve), никаких готовых инструментов нет. На макроуровне от 
> реляционных БД архитектурных отличий нет:
> 
> Репликатор    <------>    Репликатор
>     |                   |
> Домашний            Внешний
> IMAP (БД)            IMAP (БД)
> 
> Разница в форматах данных и алгоритмах отслеживания изменений, пересылки 
> изменений и разрешения конфликтов. И в уровне, на котором должен 
> работать репликатор - уровень протокола IMAP или файловый уровень.

   Для данной задачи, наиболее простой вариант (ИМХО) - скрипт, 
работающий поверх почтового клиента.

> 
> Короче, если Вы знаете, что такое репликация в реляционных БД, Вы можете 
> себе представить, насколько сложно будет реализовать восход солнца 
> вручную. А если не знаете, то читайте про теорию репликации.

   Зато, сдесь и задача специальная. А значит и решить её проще: 
заранее отсекается куча вариантов, которые необходимо учитывать 
при решении общей задачи. :-) (В общем виде реализовывать 
репликацию не приходилось. Конкретно под задачу - пару раз 
пришлось. :-))

-- 

С уважением. Алексей.

Re: [Comm] Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Прокопьев Евгений пишет:
> Aleksey Avdeev пишет:
> 

...

> 
>> Как тогда реализовано хранение флагов? И далее ещё куча подобных 
>> вопросов... :-)
> 
> 
> Не знаю, читайте описание формата maildir.

   Эксперименты показали, что Courier хранит большенсво 
_стандартных_ флагов в названии письма. Но ,при дефолтных 
настройках - не поддерживает флаги пользователя. И, в частности, 
2 Mozilla`ы запущенные с разных машин при обращении к одному 
ящику - отображают разные пометки писем. MailSync при 
синхронизации внешнего сервера (Cyrus-imap) с внутренним 
Courier`ом, тоже не видет у последнего возможности использования 
пользовательских флагов...

   Вопрос: Это нормально для Courier`а? Или пользовательские 
флаги можно включить какойлибо настройкой?

-- 

С уважением. Алексей.

[Comm] Re: Синхронизация внешниго IMAP с внутренним.

[Sergey Vlasov]

On Mon, 18 Aug 2003 19:07:13 +0400
"Aleksey Avdeev" <solo_oboroten@mail15.com> wrote:

>    Как получать почту ро POP и IMAP я болие мение понял (понял, 
> что данную задачу решает Fetchmail и болимение понятно, как её 
> настраивать для данной задачи). Но непонятно как, подступиться к 
> синхронизации 2х IMAP серверов. (Возможно меня клинит, или просто 
> думаю не в ту сторону.)

rimap.sf.net
mailsync.sf.net

Re: [Comm] Re: Синхронизация внешниго IMAP с внутренним.

[Прокопьев Евгений]

Sergey Vlasov пишет:

> On Mon, 18 Aug 2003 19:07:13 +0400
> "Aleksey Avdeev" <solo_oboroten@mail15.com> wrote:
> 
> 
>>   Как получать почту ро POP и IMAP я болие мение понял (понял, 
>>что данную задачу решает Fetchmail и болимение понятно, как её 
>>настраивать для данной задачи). Но непонятно как, подступиться к 
>>синхронизации 2х IMAP серверов. (Возможно меня клинит, или просто 
>>думаю не в ту сторону.)
> 
> 
> rimap.sf.net
> mailsync.sf.net

надо же, все-таки ставили и решили :). Попробую ...

-- 
С уважением, Прокопьев Евгений

Re: [Comm] Re: Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Sergey Vlasov пишет:
> On Mon, 18 Aug 2003 19:07:13 +0400
> "Aleksey Avdeev" <solo_oboroten@mail15.com> wrote:
> 
> 
>>   Как получать почту ро POP и IMAP я болие мение понял (понял, 
>>что данную задачу решает Fetchmail и болимение понятно, как её 
>>настраивать для данной задачи). Но непонятно как, подступиться к 
>>синхронизации 2х IMAP серверов. (Возможно меня клинит, или просто 
>>думаю не в ту сторону.)
> 
> 
> rimap.sf.net
> mailsync.sf.net

   Спасибо! Помоему - то что надо! :-)

-- 

С уважением. Алексей.

Re: [Comm] Re: Синхронизация внешниго IMAP с внутренним.

[Aleksey Avdeev]

Sergey Vlasov пишет:
> On Mon, 18 Aug 2003 19:07:13 +0400
> "Aleksey Avdeev" <solo_oboroten@mail15.com> wrote:
> 
> 
>>   Как получать почту ро POP и IMAP я болие мение понял (понял, 
>>что данную задачу решает Fetchmail и болимение понятно, как её 
>>настраивать для данной задачи). Но непонятно как, подступиться к 
>>синхронизации 2х IMAP серверов. (Возможно меня клинит, или просто 
>>думаю не в ту сторону.)
> 
> 
> rimap.sf.net
> mailsync.sf.net

   До кучи: http://hacks.dlux.hu/maildirsync/manual.html

   К моей задаче (ИМХО) неприменимо, но может комунибудь поможет. :-)

-- 

С уважением. Алексей.