[sisyphus] vzctl stop висит

[sisyphus] vzctl stop висит

[Anton Farygin]

Всем привет!

начал миграцию с vserver на ovz и столкнулся со странной проблемой - 
висит vzctl stop <id>

# vzctl start 103
Starting VE ...
VE is mounted
Adding IP address(es): 10.2.0.18
Setting CPU units: 1000
Configure meminfo: 65536
Set hostname: vxxxxxx
File resolv.conf was modified
VE start in progress...

# vzctl stop 103
Stopping VE ... (здесь висим бесконечно)

В это время:

# vzctl exec 103 ps aux
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.2   1464   548 ?        Ss   11:07   0:00 init 
[0]
root     17614  0.0  0.1   1448   296 ?        Ss   11:07   0:00 
/sbin/minilogd
root     17624  0.0  0.3   2316   792 ?        Rs   11:08   0:00 ps aux


Если сделать вот так:
# vzctl stop 103
Stopping VE ...

[1]+  Stopped                 vzctl stop 103
# kill %
[1]+  Terminated              vzctl stop 103
# vzctl stop 103
Removing stale lock file /var/lib/vz/lock/103.lck
Stopping VE ...
VE was stopped
VE is unmounted

То как видно всё работает

Что бы это могло быть ? есть идеи ?

хост система - текущий 4.0/branch x86_64, контейнер - Sisyphus (как i586 
так и x86_64 - одинаково)

Ядро:  2.6.18-ovz-smp-alt15

Rgds,
Rider

Re: [sisyphus] vzctl stop висит

[lebedev.v.sergey]

В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
> Всем привет!
>
> начал миграцию с vserver на ovz и столкнулся со странной проблемой -
> висит vzctl stop <id>
[skip]
> То как видно всё работает
>
> Что бы это могло быть ? есть идеи ?
>
> хост система - текущий 4.0/branch x86_64, контейнер - Sisyphus (как i586
> так и x86_64 - одинаково)
>
> Ядро:  2.6.18-ovz-smp-alt15
А vzctl enter 103 что выдает при работающем контейнере? У меня это наблюдалось 
на машине с alt6, alt7. Причем после подвисания эдак минут на пять, vzctl 
stop говорил о невозможности остановки и отваливался. Повторное выполнение 
vzctl stop нормально останавливало контейнер.  Но обычно у таких контейнеров 
была проблема с невозможностью входа в него через vzctl enter. Ругань на 
отсутствие pty. Хотя allow... в hasher внесен. Создание контейнеров идет по 
похожим шаблонам и почему для одного все впорядке, а для другого не создается 
pty -- это осталось загадкой. Зависимости не нашел.

Re: [sisyphus] vzctl stop висит

[Anton Farygin]

lebedev.v.sergey wrote:
> В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
>> Всем привет!
>>
>> начал миграцию с vserver на ovz и столкнулся со странной проблемой -
>> висит vzctl stop <id>
> [skip]
>> То как видно всё работает
>>
>> Что бы это могло быть ? есть идеи ?
>>
>> хост система - текущий 4.0/branch x86_64, контейнер - Sisyphus (как i586
>> так и x86_64 - одинаково)
>>
>> Ядро:  2.6.18-ovz-smp-alt15
> А vzctl enter 103 что выдает при работающем контейнере? У меня это наблюдалось 
> на машине с alt6, alt7. Причем после подвисания эдак минут на пять, vzctl 
> stop говорил о невозможности остановки и отваливался. Повторное выполнение 
> vzctl stop нормально останавливало контейнер.  Но обычно у таких контейнеров 
> была проблема с невозможностью входа в него через vzctl enter. Ругань на 
> отсутствие pty. Хотя allow... в hasher внесен. Создание контейнеров идет по 
> похожим шаблонам и почему для одного все впорядке, а для другого не создается 
> pty -- это осталось загадкой. Зависимости не нашел.

enter заходит без проблем. pty я исправил (в vserver почему-то он был не 
нужен).

Но это не помогло - висит зараза.

strace показывает что vzctl stop запускает shutdown -h now внутри 
контейнера. После этого ждёт пока контейнер исчезнет. Контейнер не 
исчезает, таймауты не работают (или не прописаны, где смотреть ?)

shutdown -h now, выполненный внутри запущенного контейнера руками - 
приводит к тому, что остаётся висеть init[0] и minilogd

Никаких дополнительных файловых систем в контейнер не смонтировано.

На соседнем контейнере, в конфиге которого другой только IP адрес и 
hostname - не воспроизводится.

Статистика у меня такая - в данный момент это воспроизводится на всех 
контейнерах, за исключением одного ;(

Re: [sisyphus] vzctl stop висит

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2022 bytes --]

On Wed, Sep 05, 2007 at 12:11:18PM +0400, Anton Farygin wrote:
> lebedev.v.sergey wrote:
> > В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
> >> Всем привет!
> >>
> >> начал миграцию с vserver на ovz и столкнулся со странной проблемой -
> >> висит vzctl stop <id>
> > [skip]
> >> То как видно всё работает
> >>
> >> Что бы это могло быть ? есть идеи ?
> >>
> >> хост система - текущий 4.0/branch x86_64, контейнер - Sisyphus (как i586
> >> так и x86_64 - одинаково)
> >>
> >> Ядро:  2.6.18-ovz-smp-alt15
> > А vzctl enter 103 что выдает при работающем контейнере? У меня это наблюдалось 
> > на машине с alt6, alt7. Причем после подвисания эдак минут на пять, vzctl 
> > stop говорил о невозможности остановки и отваливался. Повторное выполнение 
> > vzctl stop нормально останавливало контейнер.  Но обычно у таких контейнеров 
> > была проблема с невозможностью входа в него через vzctl enter. Ругань на 
> > отсутствие pty. Хотя allow... в hasher внесен. Создание контейнеров идет по 
> > похожим шаблонам и почему для одного все впорядке, а для другого не создается 
> > pty -- это осталось загадкой. Зависимости не нашел.
> 
> enter заходит без проблем. pty я исправил (в vserver почему-то он был не 
> нужен).
> 
> Но это не помогло - висит зараза.

Попробуй vzctl-3.0.18-alt1 из Сизифа, там есть коммит vzctl-3.0.16-44-g4766d1f,
который может улучшить ситуацию.
> 
> strace показывает что vzctl stop запускает shutdown -h now внутри 
> контейнера. После этого ждёт пока контейнер исчезнет. Контейнер не 
> исчезает, таймауты не работают (или не прописаны, где смотреть ?)

Логика работы vzctl stop простая:
- pзапускает halt в контейнере
- ждёт не более 2 минут, пока контейнер сам не завершится
- принудительно завершает работу процессов в контейнере (коммит
  vzctl-3.0.16-44-g4766d1f меняет способ этого завершения)
- ждёт не более 1 минуты, пока контейнер не завершится
- если контейнер не завершился, жалуется на таймаут


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] vzctl stop висит

[Anton Farygin]

Dmitry V. Levin пишет:
> On Wed, Sep 05, 2007 at 12:11:18PM +0400, Anton Farygin wrote:
>> lebedev.v.sergey wrote:
>>> В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
>>>> Всем привет!
>>>>
>>>> начал миграцию с vserver на ovz и столкнулся со странной проблемой -
>>>> висит vzctl stop <id>
>>> [skip]
>>>> То как видно всё работает
>>>>
>>>> Что бы это могло быть ? есть идеи ?
>>>>
>>>> хост система - текущий 4.0/branch x86_64, контейнер - Sisyphus (как i586
>>>> так и x86_64 - одинаково)
>>>>
>>>> Ядро:  2.6.18-ovz-smp-alt15
>>> А vzctl enter 103 что выдает при работающем контейнере? У меня это наблюдалось 
>>> на машине с alt6, alt7. Причем после подвисания эдак минут на пять, vzctl 
>>> stop говорил о невозможности остановки и отваливался. Повторное выполнение 
>>> vzctl stop нормально останавливало контейнер.  Но обычно у таких контейнеров 
>>> была проблема с невозможностью входа в него через vzctl enter. Ругань на 
>>> отсутствие pty. Хотя allow... в hasher внесен. Создание контейнеров идет по 
>>> похожим шаблонам и почему для одного все впорядке, а для другого не создается 
>>> pty -- это осталось загадкой. Зависимости не нашел.
>> enter заходит без проблем. pty я исправил (в vserver почему-то он был не 
>> нужен).
>>
>> Но это не помогло - висит зараза.
> 
> Попробуй vzctl-3.0.18-alt1 из Сизифа, там есть коммит vzctl-3.0.16-44-g4766d1f,
> который может улучшить ситуацию.
>> strace показывает что vzctl stop запускает shutdown -h now внутри 
>> контейнера. После этого ждёт пока контейнер исчезнет. Контейнер не 
>> исчезает, таймауты не работают (или не прописаны, где смотреть ?)
> 
> Логика работы vzctl stop простая:
> - pзапускает halt в контейнере
Действительно запускает. Кстати, shutdown -h now в контейнере должен 
привести к его полной остановке ?

> - ждёт не более 2 минут, пока контейнер сам не завершится
Действительно ждёт .. на глаз - минут 10.
> - принудительно завершает работу процессов в контейнере (коммит
>   vzctl-3.0.16-44-g4766d1f меняет способ этого завершения)
Посмотрим. сейчас вылезает как раз последнее сообщение - контейнер не 
завершился.
> - ждёт не более 1 минуты, пока контейнер не завершится
> - если контейнер не завершился, жалуется на таймаут


Вот - когда я уже совсем долго подождал - заметил это сообщение про то, 
что он не смог завершить контейнер.

Сейчас буду пробовать новую версию.

Re: [sisyphus] vzctl stop висит

[Anton Farygin]

Dmitry V. Levin пишет:
> On Wed, Sep 05, 2007 at 12:11:18PM +0400, Anton Farygin wrote:
>> lebedev.v.sergey wrote:
>>> В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
>>>> Всем привет!
>>>>

<skip>

> 
> Попробуй vzctl-3.0.18-alt1 из Сизифа, там есть коммит vzctl-3.0.16-44-g4766d1f,
> который может улучшить ситуацию.
>> strace показывает что vzctl stop запускает shutdown -h now внутри 
>> контейнера. После этого ждёт пока контейнер исчезнет. Контейнер не 
>> исчезает, таймауты не работают (или не прописаны, где смотреть ?)
> 
> Логика работы vzctl stop простая:
> - pзапускает halt в контейнере
> - ждёт не более 2 минут, пока контейнер сам не завершится
> - принудительно завершает работу процессов в контейнере (коммит
>   vzctl-3.0.16-44-g4766d1f меняет способ этого завершения)
> - ждёт не более 1 минуты, пока контейнер не завершится
> - если контейнер не завершился, жалуется на таймаут

Новая версия завершает работу контейнера, выждав таймаут (собрал в 
окружении branch/4.0 из твоего git'а)

На мой взгляд её стоит переложить в branch.

Но несмотря на это надо понять, почему контейнер не завершает свою 
работу по halt.

Куда ковырять ? strace к init'у не коннектится. Как посмотреть что с ним 
происходит ? или тут ядро виновато ?

Re: [sisyphus] vzctl stop висит

[Stanislav Ievlev]

On Thu, Sep 06, 2007 at 10:00:49AM +0400, Anton Farygin wrote:
> Dmitry V. Levin пишет:
> > On Wed, Sep 05, 2007 at 12:11:18PM +0400, Anton Farygin wrote:
> >> lebedev.v.sergey wrote:
> >>> В сообщении от Wednesday 05 September 2007 11:11:05 Anton Farygin написал(а):
> >>>> Всем привет!
> >>>>
> 
> <skip>
> 
> > 
> > Попробуй vzctl-3.0.18-alt1 из Сизифа, там есть коммит vzctl-3.0.16-44-g4766d1f,
> > который может улучшить ситуацию.
> >> strace показывает что vzctl stop запускает shutdown -h now внутри 
> >> контейнера. После этого ждёт пока контейнер исчезнет. Контейнер не 
> >> исчезает, таймауты не работают (или не прописаны, где смотреть ?)
> > 
> > Логика работы vzctl stop простая:
> > - pзапускает halt в контейнере
> > - ждёт не более 2 минут, пока контейнер сам не завершится
> > - принудительно завершает работу процессов в контейнере (коммит
> >   vzctl-3.0.16-44-g4766d1f меняет способ этого завершения)
> > - ждёт не более 1 минуты, пока контейнер не завершится
> > - если контейнер не завершился, жалуется на таймаут
> 
> Новая версия завершает работу контейнера, выждав таймаут (собрал в 
> окружении branch/4.0 из твоего git'а)
> 
> На мой взгляд её стоит переложить в branch.
> 
> Но несмотря на это надо понять, почему контейнер не завершает свою 
> работу по halt.
> 
> Куда ковырять ? strace к init'у не коннектится. Как посмотреть что с ним 
> происходит ? или тут ядро виновато ?
Я наблюдал подобное два раза: в первом случае не хватало лимитов, во
втором - был какой-то подземный стук и помогла только пересборка template.

Re: [sisyphus] vzctl stop висит

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 251 bytes --]

Anton Farygin пишет:
> Куда ковырять ? strace к init'у не коннектится. Как посмотреть что с ним 
> происходит ?
http://wiki.openvz.org/Stracing_a_program ?

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

Re: [sisyphus] vzctl stop висит

[Anton Farygin]

Slava Dubrovskiy пишет:
> Anton Farygin пишет:
>> Куда ковырять ? strace к init'у не коннектится. Как посмотреть что с ним 
>> происходит ?
> http://wiki.openvz.org/Stracing_a_program ?

как использовать strace я знаю прекрасно и без этого пособия. Вопрос - 
как его применить относительно init'а в контейнере ovz ?

Т.е. - задача из vzctl stop переросла в необходимось заставить корректно 
работать shutdown -h now.

Вот как это выглядит в корректно-работающем окружении:

# vzctl start 101
Starting VE ...
VE is unmounted
VE is mounted
Adding IP address(es): 10.2.0.100
Setting CPU units: 1000
Configure meminfo: 65536
Set hostname: nameserver
File resolv.conf was modified
VE start in progress...

# vzctl enter 101
entered into VE 101
[root@nameserver /]# shutdown -h now
[root@nameserver /]# got signal 15
                                   exited from VE 101
#


После некоторого ковыряния - выяснил, что в контейнере отсутствовал файл
/etc/rc.d/init.d/halt

Отсюда и были все проблемы. Видимо в какой-то определённый момент 
утилиты создания vserver'а убирали halt.

А почему reinstall для startup его не восстанавливает ?