[devel] MPI: наведение порядка

[devel] MPI: наведение порядка

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 2480 bytes --]

Доброго времени суток!

Пришло время навести порядок MPI, в первую очередь с OpenMPI.
Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
давности.

Предлагаю следующий порядок работ:

1) 2.0.1 -> 2.1.6
2) 2.1.6 -> 3.1.6
3) 3.1.4 -> 4.1.4 (или что будет последнее)

Почему так, а не сразу до последней?
1) Слишком много изменений накопилось.
2) Хорошо иметь точку отката на предыдущую ветку, если что-то
пойдёт не так.
3) Последовательно проблемы решать проще, чем всё и сразу.

Принимаются предложения по поддерживаемым фабрикам и фичам.
Собрать можно будет только один вариант (некоторые фичи
несовместимы друг с другом). Текущие возможности я постараюсь
сохранить, 

Поддерживать на уровне репозитория параллельно несколько версий
openmpi не вижу смысла: проблем слишком много, все типовые случаи
всё равно не охватить (там сотни опций конфигурации).

А вот mpich можно будет вернуть в репозиторий, т.к. в HPC мире она
сравнима по популярности с openmpi. Будет поддерживаться последняя
из 4.x, но возникнет проблема конфликтов с openmpi. В любом случае
реализацией MPI по-умолчанию в дистрибутиве останется openmpi.

В процессе работ будут тестовые задания по удалению openmpi —
пугаться не стоит, просто так проще всего получить граф бинарных
зависимостей. Если что-то сломается из обратных зависимостей, нужно
будет чинить (что предпочтительно) или отключать поддержку MPI.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] MPI: наведение порядка

[Dmitry V. Levin]

On Tue, Oct 04, 2022 at 12:59:31AM +0300, Andrey Savchenko wrote:
> Доброго времени суток!
> 
> Пришло время навести порядок MPI, в первую очередь с OpenMPI.

Да, давно пора уже.

> Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
> давности.
> 
> Предлагаю следующий порядок работ:
> 
> 1) 2.0.1 -> 2.1.6
> 2) 2.1.6 -> 3.1.6
> 3) 3.1.4 -> 4.1.4 (или что будет последнее)
> 
> Почему так, а не сразу до последней?
> 1) Слишком много изменений накопилось.
> 2) Хорошо иметь точку отката на предыдущую ветку, если что-то
> пойдёт не так.
> 3) Последовательно проблемы решать проще, чем всё и сразу.
> 
> Принимаются предложения по поддерживаемым фабрикам и фичам.
> Собрать можно будет только один вариант (некоторые фичи
> несовместимы друг с другом). Текущие возможности я постараюсь
> сохранить, 
> 
> Поддерживать на уровне репозитория параллельно несколько версий
> openmpi не вижу смысла: проблем слишком много, все типовые случаи
> всё равно не охватить (там сотни опций конфигурации).
> 
> А вот mpich можно будет вернуть в репозиторий, т.к. в HPC мире она
> сравнима по популярности с openmpi. Будет поддерживаться последняя
> из 4.x, но возникнет проблема конфликтов с openmpi. В любом случае
> реализацией MPI по-умолчанию в дистрибутиве останется openmpi.
> 
> В процессе работ будут тестовые задания по удалению openmpi —
> пугаться не стоит, просто так проще всего получить граф бинарных
> зависимостей. Если что-то сломается из обратных зависимостей, нужно
> будет чинить (что предпочтительно) или отключать поддержку MPI.

На сколько примерно времени рассчитан этот план обновления,
и какая помощь может потребоваться от нас?


-- 
ldv

Re: [devel] MPI: наведение порядка

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 3450 bytes --]

On Fri, 7 Oct 2022 16:00:51 +0300 Dmitry V. Levin wrote:
> On Tue, Oct 04, 2022 at 12:59:31AM +0300, Andrey Savchenko wrote:
> > Доброго времени суток!
> > 
> > Пришло время навести порядок MPI, в первую очередь с OpenMPI.
> 
> Да, давно пора уже.
> 
> > Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
> > давности.
> > 
> > Предлагаю следующий порядок работ:
> > 
> > 1) 2.0.1 -> 2.1.6
> > 2) 2.1.6 -> 3.1.6
> > 3) 3.1.4 -> 4.1.4 (или что будет последнее)
> > 
> > Почему так, а не сразу до последней?
> > 1) Слишком много изменений накопилось.
> > 2) Хорошо иметь точку отката на предыдущую ветку, если что-то
> > пойдёт не так.
> > 3) Последовательно проблемы решать проще, чем всё и сразу.
> > 
> > Принимаются предложения по поддерживаемым фабрикам и фичам.
> > Собрать можно будет только один вариант (некоторые фичи
> > несовместимы друг с другом). Текущие возможности я постараюсь
> > сохранить, 
> > 
> > Поддерживать на уровне репозитория параллельно несколько версий
> > openmpi не вижу смысла: проблем слишком много, все типовые случаи
> > всё равно не охватить (там сотни опций конфигурации).
> > 
> > А вот mpich можно будет вернуть в репозиторий, т.к. в HPC мире она
> > сравнима по популярности с openmpi. Будет поддерживаться последняя
> > из 4.x, но возникнет проблема конфликтов с openmpi. В любом случае
> > реализацией MPI по-умолчанию в дистрибутиве останется openmpi.
> > 
> > В процессе работ будут тестовые задания по удалению openmpi —
> > пугаться не стоит, просто так проще всего получить граф бинарных
> > зависимостей. Если что-то сломается из обратных зависимостей, нужно
> > будет чинить (что предпочтительно) или отключать поддержку MPI.
> 
> На сколько примерно времени рассчитан этот план обновления,
> и какая помощь может потребоваться от нас?

Несколько недель, может и быстрее, если всё хорошо будет, но могут
быть и отвлекающие дела (конференции, менторство и т.п.).

Помощь пока что не нужна. Может понадобится, если будут серьёзные
разломы, с которыми я не справлюсь, в таком случае сообщу.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] MPI: наведение порядка -> обновление autotools

[Anton Farygin]

On 07.10.2022 16:00, Dmitry V. Levin wrote:
> На сколько примерно времени рассчитан этот план обновления,
> и какая помощь может потребоваться от нас?

autotools было бы неплохо обновить, в bugzilla никакой реакции на этот 
запрос нет.

Re: [devel] MPI: наведение порядка -> обновление autotools

[Dmitry V. Levin]

On Mon, Oct 10, 2022 at 09:04:37AM +0300, Anton Farygin wrote:
> On 07.10.2022 16:00, Dmitry V. Levin wrote:
> > На сколько примерно времени рассчитан этот план обновления,
> > и какая помощь может потребоваться от нас?
> 
> autotools было бы неплохо обновить, в bugzilla никакой реакции на этот 
> запрос нет.

А какая связь с mpi?  Кто-то планирует обновление и не хочет,
чтобы в результате разломов пострадал план обновления mpi?


-- 
ldv

Re: [devel] MPI: наведение порядка -> обновление autotools

[Anton Farygin]

On 10.10.2022 09:14, Dmitry V. Levin wrote:
> On Mon, Oct 10, 2022 at 09:04:37AM +0300, Anton Farygin wrote:
>> On 07.10.2022 16:00, Dmitry V. Levin wrote:
>>> На сколько примерно времени рассчитан этот план обновления,
>>> и какая помощь может потребоваться от нас?
>> autotools было бы неплохо обновить, в bugzilla никакой реакции на этот
>> запрос нет.
> А какая связь с mpi?  Кто-то планирует обновление и не хочет,
> чтобы в результате разломов пострадал план обновления mpi?
>
>
Как обычно - всё связано, но иногда связи не очевидны.

новый libffi хочет новый autoconf, а вот кто захочет новый libffi из 
этого списка - я не знаю:

https://packages.altlinux.org/ru/sisyphus/srpms/libffi/what_depends/by_source

В целом держать autoconf в не сильно протухшем состоянии было бы неплохо 
- версия 2.70 вышла почти два года назад.

Re: [devel] MPI: наведение порядка -> обновление autotools

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 1187 bytes --]

On Mon, 10 Oct 2022 09:24:36 +0300 Anton Farygin wrote:
> On 10.10.2022 09:14, Dmitry V. Levin wrote:
> > On Mon, Oct 10, 2022 at 09:04:37AM +0300, Anton Farygin wrote:
> >> On 07.10.2022 16:00, Dmitry V. Levin wrote:
> >>> На сколько примерно времени рассчитан этот план обновления,
> >>> и какая помощь может потребоваться от нас?
> >> autotools было бы неплохо обновить, в bugzilla никакой реакции на этот
> >> запрос нет.
> > А какая связь с mpi?  Кто-то планирует обновление и не хочет,
> > чтобы в результате разломов пострадал план обновления mpi?
> >
> >
> Как обычно - всё связано, но иногда связи не очевидны.

Для обновления openmpi даже до 4.1.x новый autoconf не нужен.

Пожалуйста, не захватывайте чужие ветки обсуждения, вместо этого
начинайте свою.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] MPI: наведение порядка

[Sergey V Turchin]

On Tuesday, 4 October 2022 00:59:31 MSK Andrey Savchenko wrote:
> Доброго времени суток!
> 
> Пришло время навести порядок MPI, в первую очередь с OpenMPI.
> Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
> давности.
> 
> Предлагаю следующий порядок работ:
> 
> 1) 2.0.1 -> 2.1.6
> 2) 2.1.6 -> 3.1.6
> 3) 3.1.4 -> 4.1.4 (или что будет последнее)
Возможно, в промежутках между пунктами заодно получится и в p10 обновить до 
какой-то степени?

[...]

-- 
Regards, Sergey.

Re: [devel] MPI: наведение порядка

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 1329 bytes --]

On Fri, 07 Oct 2022 16:37:27 +0300 Sergey V Turchin wrote:
> On Tuesday, 4 October 2022 00:59:31 MSK Andrey Savchenko wrote:
> > Доброго времени суток!
> > 
> > Пришло время навести порядок MPI, в первую очередь с OpenMPI.
> > Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
> > давности.
> > 
> > Предлагаю следующий порядок работ:
> > 
> > 1) 2.0.1 -> 2.1.6
> > 2) 2.1.6 -> 3.1.6
> > 3) 3.1.4 -> 4.1.4 (или что будет последнее)
> Возможно, в промежутках между пунктами заодно получится и в p10 обновить до 
> какой-то степени?

Я предпочитаю решать задачу по частям. Сперва делаем всё в Сизифе,
обкатываем, смотрим хотя бы месяц-два, что серьёзных проблем нет
и только тогда можно обсуждать перенос в p10.

Мне просто сложно предсказать все последствия, поэтому в стабильные
ветки лучше пока не лезть.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] MPI: наведение порядка

[Sergey V Turchin]

On Friday, 7 October 2022 18:58:05 MSK Andrey Savchenko wrote:
> On Fri, 07 Oct 2022 16:37:27 +0300 Sergey V Turchin wrote:
> 
> > On Tuesday, 4 October 2022 00:59:31 MSK Andrey Savchenko wrote:
> > 
> > > Доброго времени суток!
> > > 
> > > Пришло время навести порядок MPI, в первую очередь с OpenMPI.
> > > Сейчас у нас в Сизифе очень старая версия 2.0.1 шестилетней
> > > давности.
> > > 
> > > Предлагаю следующий порядок работ:
> > > 
> > > 1) 2.0.1 -> 2.1.6
> > > 2) 2.1.6 -> 3.1.6
> > > 3) 3.1.4 -> 4.1.4 (или что будет последнее)
> > 
> > Возможно, в промежутках между пунктами заодно получится и в p10 обновить
> > до 
 какой-то степени?
> 
> 
> Я предпочитаю решать задачу по частям. Сперва делаем всё в Сизифе,
> обкатываем, смотрим хотя бы месяц-два, что серьёзных проблем нет
> и только тогда можно обсуждать перенос в p10.
А в сизифе переходить к следующему пункту. Я об этом.

> Мне просто сложно предсказать все последствия, поэтому в стабильные
> ветки лучше пока не лезть.
Я написал про "возможно, получится". Т.е. иметь ввиду, что в подходящей 
ситуации не забыть про p10.

-- 
Regards, Sergey.