[Sysadmins] vzquota после аварии

[Sysadmins] vzquota после аварии

[Starodumoff Ilya]

скоропостижно скончалась материнка на машинке
естественно, все встало колом

теперь имеем:

[root@localhost /]# vzctl restart 71
Restarting VE
Starting VE ...
vzquota : (error) Quota on syscall for 71: Device or resource busy
vzquota on failed [3]

пробовал
lsof 2> /dev/null | egrep '/var/lib/vz/root/71|/var/lib/vz/private/71'

ничего нет.


пааамааагитеееее :)
-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Pavlov Konstantin]

[-- Attachment #1: Type: text/plain, Size: 689 bytes --]

On Sun, Apr 06, 2008 at 11:54:17AM +0600, Starodumoff Ilya wrote:
> скоропостижно скончалась материнка на машинке
> естественно, все встало колом
> 
> теперь имеем:
> 
> [root@localhost /]# vzctl restart 71
> Restarting VE
> Starting VE ...
> vzquota : (error) Quota on syscall for 71: Device or resource busy
> vzquota on failed [3]
> 
> пробовал
> lsof 2> /dev/null | egrep '/var/lib/vz/root/71|/var/lib/vz/private/71'
> 
> ничего нет.

пострейсите vzquota off VEID / vzquota drop VEID

-- 
<swi> никто не знает у нас ms-fonts-ttf и fonts-ttf-ms кроме названия чем-нить
      отличаются?
<Lost> swi: в одном из них шрифты слева направо, а в другом - справа налево

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 6 апреля 2008 Pavlov Konstantin написал(a):
> пострейсите vzquota off VEID / vzquota drop VEID

execve("/usr/sbin/vzquota", ["vzquota", "off", "71"], [/* 31 vars */]) = 0
brk(0)                                  = 0x961b000
uname({sys="Linux", node="localhost.localdomain", ...}) = 0
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or 
directory)
open("/etc/ld.so.cache", O_RDONLY)      = 3
fstat64(3, {st_mode=S_IFREG|0644, st_size=14091, ...}) = 0
mmap2(NULL, 14091, PROT_READ, MAP_PRIVATE, 3, 0) = 0xb7ff8000
close(3)                                = 0
open("/lib/libc.so.6", O_RDONLY)        = 3
read(3, "\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\240a\1"..., 512) = 
512
fstat64(3, {st_mode=S_IFREG|0755, st_size=1192256, ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 
0xb7ff7000
mmap2(NULL, 1202436, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 
0xb05000
mmap2(0xc25000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|
MAP_DENYWRITE, 3, 0x11f) = 0xc25000
mmap2(0xc28000, 10500, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|
MAP_ANONYMOUS, -1, 0) = 0xc28000
close(3)                                = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 
0xb7ff6000
set_thread_area({entry_number:-1 -> 6, base_addr:0xb7ff66c0, limit:1048575, 
seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, 
seg_not_present:0,
useable:1}) = 0
mprotect(0xc25000, 4096, PROT_READ)     = 0
munmap(0xb7ff8000, 14091)               = 0
open("/var/lib/vzquota/quota.71", O_RDWR|O_LARGEFILE) = 3
flock(3, LOCK_EX|LOCK_NB)               = 0
pread64(3, "\'\274\334\376\0\0\0\0", 8, 0) = 8
_llseek(3, 0, [138], SEEK_END)          = 0
pread64(3, "\35\223\271\354\245/\vh", 8, 130) = 8
_llseek(3, 0, [138], SEEK_END)          = 0
brk(0)                                  = 0x961b000
brk(0x964c000)                          = 0x964c000
pread64(3, "\'\274\334\376\0\0\0\0\0\370gF\0\0\0\0\0\220\1@\0\0\0\0"..., 130, 
0) = 130
brk(0x963c000)                          = 0x963c000
pread64(3, "\'\274\334\376\0\0\0\0", 8, 0) = 8
pread64(3, "\0\370gF\0\0\0\0\0\220\1@\0\0\0\0\0\0\0\0\0\0v\32\0\0\0"..., 56, 
8) = 56
pread64(3, "\26\0\0\0", 4, 64)          = 4
pread64(3, "/var/lib/vz/private/71", 22, 68) = 22
pread64(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 40, 
90) = 40
_llseek(3, 0, [138], SEEK_END)          = 0
pread64(3, "\35\223\271\354\245/\vh", 8, 130) = 8
open("/dev/vzctl", O_RDWR|O_LARGEFILE)  = 4
ioctl(4, 0xc0102b02, 0xbfe22cec)        = -1 ENOENT (No such file or 
directory)
close(4)                                = 0
write(2, "vzquota : ", 10)              = 10
write(2, "(error) ", 8)                 = 8
write(2, "Quota is not running for id 71", 30) = 30
write(2, "\n", 1)                       = 1
exit_group(6)                           = ?

--------------------------------------------------------------------------

execve("/usr/sbin/vzquota", ["vzquota", "drop", "71"], [/* 31 vars */]) = 0
brk(0)                                  = 0x9555000
uname({sys="Linux", node="localhost.localdomain", ...}) = 0
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or 
directory)
open("/etc/ld.so.cache", O_RDONLY)      = 3
fstat64(3, {st_mode=S_IFREG|0644, st_size=14091, ...}) = 0
mmap2(NULL, 14091, PROT_READ, MAP_PRIVATE, 3, 0) = 0xb7fa6000
close(3)                                = 0
open("/lib/libc.so.6", O_RDONLY)        = 3
read(3, "\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\240a\1"..., 512) = 
512
fstat64(3, {st_mode=S_IFREG|0755, st_size=1192256, ...}) = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 
0xb7fa5000
mmap2(NULL, 1202436, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 
0x81d000
mmap2(0x93d000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|
MAP_DENYWRITE, 3, 0x11f) = 0x93d000
mmap2(0x940000, 10500, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|
MAP_ANONYMOUS, -1, 0) = 0x940000
close(3)                                = 0
mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 
0xb7fa4000
set_thread_area({entry_number:-1 -> 6, base_addr:0xb7fa46c0, limit:1048575, 
seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, 
seg_not_present:0,
useable:1}) = 0
mprotect(0x93d000, 4096, PROT_READ)     = 0
munmap(0xb7fa6000, 14091)               = 0
open("/var/lib/vzquota/quota.71", O_RDWR|O_LARGEFILE) = 3
flock(3, LOCK_EX|LOCK_NB)               = 0
open("/dev/vzctl", O_RDWR|O_LARGEFILE)  = 4
ioctl(4, 0xc0102b02, 0xbfc3883c)        = -1 ENOENT (No such file or 
directory)
close(4)                                = 0
unlink("/var/lib/vzquota/quota.71")     = 0
flock(3, LOCK_UN)                       = 0
close(3)                                = 0
exit_group(0)                           = ?

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Michael Shigorin]

On Sun, Apr 06, 2008 at 11:54:17AM +0600, Starodumoff Ilya wrote:
> скоропостижно скончалась материнка на машинке
> естественно, все встало колом
> теперь имеем:
> [root@localhost /]# vzctl restart 71
> Restarting VE
> Starting VE ...
> vzquota : (error) Quota on syscall for 71: Device or resource busy
> vzquota on failed [3]

Кажется, помогало грохнуть (отодвинуть) файлик квоты при
остановленном VE.  И строить с нуля...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 7 апреля 2008 Michael Shigorin написал(a):
> On Sun, Apr 06, 2008 at 11:54:17AM +0600, Starodumoff Ilya wrote:
> > скоропостижно скончалась материнка на машинке
> > естественно, все встало колом
> > теперь имеем:
> > [root@localhost /]# vzctl restart 71
> > Restarting VE
> > Starting VE ...
> > vzquota : (error) Quota on syscall for 71: Device or resource busy
> > vzquota on failed [3]
>
> Кажется, помогало грохнуть (отодвинуть) файлик квоты при
> остановленном VE.  И строить с нуля...

результат аналогичный :(
квота создается, однако контейнер все равно не стартует

умер только один контейнер из нескольких...
может еще какой "воркараунд" есть ?

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 7 апреля 2008 Michael Shigorin написал(a):
> On Sun, Apr 06, 2008 at 11:54:17AM +0600, Starodumoff Ilya wrote:
> > скоропостижно скончалась материнка на машинке
> > естественно, все встало колом
> > теперь имеем:
> > [root@localhost /]# vzctl restart 71
> > Restarting VE
> > Starting VE ...
> > vzquota : (error) Quota on syscall for 71: Device or resource busy
> > vzquota on failed [3]
>
> Кажется, помогало грохнуть (отодвинуть) файлик квоты при
> остановленном VE.  И строить с нуля...

вобщем оказалось проще перелить все в другой контейнер
vzdump работать отказался - сам дурак, veid надо было больше 101 делать :)
рсинкнул и начал "жиззь с начала" :)

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Mikhail A. Pokidko]

2008/4/7 Starodumoff Ilya :
> В сообщении от 7 апреля 2008 Michael Shigorin написал(a):
>
> > On Sun, Apr 06, 2008 at 11:54:17AM +0600, Starodumoff Ilya wrote:
>  > > скоропостижно скончалась материнка на машинке
>  > > естественно, все встало колом
>  > > теперь имеем:
>  > > [root@localhost /]# vzctl restart 71
>  > > Restarting VE
>  > > Starting VE ...
>  > > vzquota : (error) Quota on syscall for 71: Device or resource busy
>  > > vzquota on failed [3]
>  >
>  > Кажется, помогало грохнуть (отодвинуть) файлик квоты при
>  > остановленном VE.  И строить с нуля...
>
>  вобщем оказалось проще перелить все в другой контейнер
>  vzdump работать отказался - сам дурак, veid надо было больше 101 делать :)
>  рсинкнул и начал "жиззь с начала" :)
Почему?  с veid 101 отлично работает.
Иногда, после vzquota drop $VEID, квота отстраивается оч--чень долго,
потому шерстятся все файлы в контейнере, судя по всему, надо было
просто подождать)




-- 

ALTLinux Team
xmpp: solar AT solar.net.ru

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
> >  вобщем оказалось проще перелить все в другой контейнер
> >  vzdump работать отказался - сам дурак, veid надо было больше 101 делать
> > :) рсинкнул и начал "жиззь с начала" :)
>
> Почему?  с veid 101 отлично работает.
было 71 :)

> Иногда, после vzquota drop $VEID, квота отстраивается оч--чень долго,
> потому шерстятся все файлы в контейнере, судя по всему, надо было
> просто подождать)

хммм...
ну я из ssh сессии активность дисковой визуально не могу оценить "огоньком" :)
а целенаправленно че-т не подумал...
хотя vzquota init ... запускал. не так долго она и работала (или это не имеет 
значения ?)
будем "подумать" :)

да уж что сделано...

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Mikhail A. Pokidko]

2008/4/7 Starodumoff Ilya:
> В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
>
> > >  вобщем оказалось проще перелить все в другой контейнер
>  > >  vzdump работать отказался - сам дурак, veid надо было больше 101 делать
>  > > :) рсинкнул и начал "жиззь с начала" :)
>  >
>  > Почему?  с veid 101 отлично работает.
>  было 71 :)
[solar@nameless ~]$ sudo mv /etc/vz/conf/102.conf /etc/vz/conf/71.conf
[solar@nameless ~]$ sudo mv $vz/102 $vz/71
[solar@nameless ~]$ sudo vzctl start 71
Starting VE ...
Initializing quota ...
VE is mounted
Adding IP address(es): 172.16.0.102
Setting CPU units: 1000
Configure meminfo: 75000
Set hostname: build32
File resolv.conf was modified
VE start in progress...
[solar@nameless ~]$



>  > Иногда, после vzquota drop $VEID, квота отстраивается оч--чень долго,
>  > потому шерстятся все файлы в контейнере, судя по всему, надо было
>  > просто подождать)
>
>  хммм...
>  ну я из ssh сессии активность дисковой визуально не могу оценить "огоньком" :)
>  а целенаправленно че-т не подумал...
>  хотя vzquota init ... запускал. не так долго она и работала (или это не имеет
>  значения ?)
После drop`a квота отстраивается полностью при первом старте
контейнера, а vzquota init создает что-то вроде структуры файла, как у
меня сложилось впечатление.

>  будем "подумать" :)
>
>  да уж что сделано...
Так на будущее, мало ли как сложится.



-- 

ALTLinux Team
xmpp: solar AT solar.net.ru

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
> >  > >  vzdump работать отказался - сам дурак, veid надо было больше 101
          ^^^^^^
> >  > > делать
> >  > Почему?  с veid 101 отлично работает.
> >
> >  было 71 :)
>
> [solar@nameless ~]$ sudo mv /etc/vz/conf/102.conf /etc/vz/conf/71.conf
> [solar@nameless ~]$ sudo mv $vz/102 $vz/71
> [solar@nameless ~]$ sudo vzctl start 71
> Starting VE ...
> Initializing quota ...
> VE is mounted
> Adding IP address(es): 172.16.0.102
> Setting CPU units: 1000
> Configure meminfo: 75000
> Set hostname: build32
> File resolv.conf was modified
> VE start in progress...
> [solar@nameless ~]$
внимательней :)

см. выше
я про VZDUMP :)
хотел дамп сделать
потом плюнул и запустил rsync

> После drop`a квота отстраивается полностью при первом старте
> контейнера, а vzquota init создает что-то вроде структуры файла, как у
> меня сложилось впечатление.

дак я и дропал.

с чего тред и начался
[root@localhost /]# vzctl start 71
Starting VE ...
vzquota : (error) Quota on syscall for 71: Device or resource busy
vzquota on failed [3]

и т.д.

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 288 bytes --]

On Mon, Apr 07, 2008 at 09:48:02AM +0400, Mikhail A. Pokidko wrote:
[...]
> После drop`a квота отстраивается полностью при первом старте
> контейнера, а vzquota init создает что-то вроде структуры файла, как у
> меня сложилось впечатление.

Так и есть на самом деле.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] vzquota после аварии

[Mikhail A. Pokidko]

2008/4/7 Starodumoff Ilya :
> В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
>
> > >  > >  vzdump работать отказался - сам дурак, veid надо было больше 101
>           ^^^^^^
>  внимательней :)

>  см. выше
>  я про VZDUMP :)
>  хотел дамп сделать
>  потом плюнул и запустил rsync

Сорри, я начал отвечать с самого начала трида
Впрочем, veid 71 должен нормально отрабатываться,
[solar@nameless ~]$ sudo vzdump --suspend --dumpdir /home/solar/vzd/ 71
ERROR: strange VPS ID '71'

Это бага vzdump.


>  с чего тред и начался
..
>  vzquota : (error) Quota on syscall for 71: Device or resource busy
ответ на это - vzquota с параметрами.
ответ на vzdump - такое поведение неправильное.
vzctl/vzquota и vzdump это разные и не особо связанные программы.




-- 

ALTLinux Team
xmpp: solar AT solar.net.ru

Re: [Sysadmins] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
> 2008/4/7 Starodumoff Ilya :
> > В сообщении от 7 апреля 2008 Mikhail A. Pokidko написал(a):
> > > >  > >  vzdump работать отказался - сам дурак, veid надо было больше
> > > >  > > 101
> >
> >           ^^^^^^
> >  внимательней :)
> >
> >  см. выше
> >  я про VZDUMP :)
> >  хотел дамп сделать
> >  потом плюнул и запустил rsync
>
> Сорри, я начал отвечать с самого начала трида
> Впрочем, veid 71 должен нормально отрабатываться,
> [solar@nameless ~]$ sudo vzdump --suspend --dumpdir /home/solar/vzd/ 71
> ERROR: strange VPS ID '71'
>
> Это бага vzdump.
>
> >  с чего тред и начался
>
> ..
>
> >  vzquota : (error) Quota on syscall for 71: Device or resource busy
>
> ответ на это - vzquota с параметрами.
вот тут подробнее

делал:
vzquota init 71 -p /var/lib/vz/private/71 -b 1048576 -B 1153434 \
-i 200000 -I 220000 -e 0 -n 0

> vzctl/vzquota и vzdump это разные и не особо связанные программы.
никто и не спорит :)


уфффф..
резюмируем:
после падения HN стартовали не все контейнеры

на котором не поднялся имели:
[root@localhost /]# vzctl start 71
Starting VE ...
vzquota : (error) Quota on syscall for 71: Device or resource busy
vzquota on failed [3]

lsof 2> /dev/null | egrep '/vz/root/71|/vz/private/71'
ничего не показал

квоту удалял:
vaquota drop 71

,удалял вручную (/var/lib/vzquota/quota.71)

после чего, стабильно:
[root@localhost /]# vzctl start 71
Starting VE ...
vzquota : (error) Quota on syscall for 71: Device or resource busy
vzquota on failed [3]


Почему вообще речь зашла про vzdump - хотел сделать дамп этого контейнера и 
восстановить в другой. как выяснилось - vzdump с veid до 100 не работает. 
Обошелся:
mkdir -p /var/lib/vz/private/871
rsync -a --stats /var/lib/vz/private/71/ /var/lib/vz/private/871/
(хотя, конечно, можно было просто mv сделать видимо... ну да ладно...)

cp /etc/vz/conf/71.conf /etc/vz/conf/871.conf
vzctl start 871
vzctl destroy 71

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] vzquota после аварии

[Michael Shigorin]

On Mon, Apr 07, 2008 at 11:26:37AM +0600, Starodumoff Ilya wrote:
> ну я из ssh сессии активность дисковой визуально не могу
> оценить "огоньком" :)

Ну почему, dstat -dfl

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [JT] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 12 апреля 2008 Michael Shigorin написал(a):
> On Mon, Apr 07, 2008 at 11:26:37AM +0600, Starodumoff Ilya wrote:
> > ну я из ssh сессии активность дисковой визуально не могу
> > оценить "огоньком" :)
>
> Ну почему, dstat -dfl

Данке... кхм... гм... :)
Однако следующую (под цитируемой) строку тоже надо было посмотреть :)

я имел в виду, что удаленно железо в глаза не отсвечивало, а ЦЕЛЕНАПРАВЛЕННО я 
таки и не подумал смотреть :)

* Гордо задрав нос *
да и в любом случае аптом/гуглом/тыком пользоваться еще не разучился :Р

-- 
С уважением,
Стародумов Илья

Re: [Sysadmins] [JT] vzquota после аварии

[Michael Shigorin]

On Sat, Apr 12, 2008 at 08:39:58AM +0600, Starodumoff Ilya wrote:
> * Гордо задрав нос *
> да и в любом случае аптом/гуглом/тыком пользоваться еще не разучился :Р

Та ни, эт так -- "чего из аналогов сочтено полезным".
Не сочтите за попытку ткнуть оным носом, мне ж не дотянуться :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [JT] vzquota после аварии

[Starodumoff Ilya]

В сообщении от 14 апреля 2008 Michael Shigorin написал(a):
> On Sat, Apr 12, 2008 at 08:39:58AM +0600, Starodumoff Ilya wrote:
> > * Гордо задрав нос *
> > да и в любом случае аптом/гуглом/тыком пользоваться еще не разучился :Р
>
> Та ни, эт так -- "чего из аналогов сочтено полезным".
> Не сочтите за попытку ткнуть оным носом, мне ж не дотянуться :)

ну не ткнуть, а легонечко так направить...
тоже иногда бывает полезно... :)

ну да ладно... тут не "коптильня" ;)
-- 
С уважением,
Стародумов Илья