[Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

Приветствую.

Случилась какая-то непонятная штука. Есть сервер (p7, vzctl-4.9.4-alt1),
на нём есть единственный контейнер (p6). Внезапно начали появляться
сообщения "Disk quota exceeded" у различных приложений. vzcfgvalidate
пишет, что всё хорошо. Места внутри контейнера, на самом деле, полно:

# df
Filesystem      Size  Used Avail Use% Mounted on
/dev/simfs       20G   13G  7.3G  64% /
#

Снаружи - тоже:

/dev/sda9                    50G   30G   17G  64% /var/lib/vz
/var/lib/vz/private/100003   20G   13G  7,3G  64% /var/lib/vz/root/100003

На sda9 - ext4, несколько недель назад сконвертированная из ext3
правда. fsck.ext4 -f ошибок на sda9 не показал, /var/lib/vzquota/
чистил. Перегрузил, в конце концов, сервер. Бесполезно. На сервере
файлы в /var/lib/vz большие вполне пишутся. В user_beancounters нули.
Попробовал откатить до alt144, всё осталось.

Есть мысли у кого, куда ещё копать ?

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[В.А. Илларионов]

23.12.2016 16:31, Sergey пишет:
> На sda9 - ext4, несколько недель назад сконвертированная из ext3
> правда. fsck.ext4 -f ошибок на sda9 не показал, /var/lib/vzquota/
> чистил. Перегрузил, в конце концов, сервер. Бесполезно. На сервере
> файлы в /var/lib/vz большие вполне пишутся. В user_beancounters нули.
> Попробовал откатить до alt144, всё осталось.
>
> Есть мысли у кого, куда ещё копать ?

На 3-м проксмоксе такое бывало. Но Дитмар сразу предупреждал: не юзать ext4, а только ext3.
Возможно, проблема как раз не в PVE, а в OpenVZ?

А перетаскивайте свои виртуалки на наш родной PVE - и будет вам счастье! :)

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 23 December 2016, Sergey wrote:

>  Места внутри контейнера, на самом деле, полно:
> 
> # df
> Filesystem      Size  Used Avail Use% Mounted on
> /dev/simfs       20G   13G  7.3G  64% /
> #

И как я забыл про иноды...

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 23 December 2016, Sergey wrote:

> > # df
> > Filesystem      Size  Used Avail Use% Mounted on
> > /dev/simfs       20G   13G  7.3G  64% /
> > #
> 
> И как я забыл про иноды...
 
Но я знаю, как, наверное... У меня уже есть подозрение на 
проблемы, внешне похожие, у ядра alt147 для tmpfs внутри 
контейнеров. Только оформить вопросом пока не готов, как
раз сегодня хотел подробно посмотреть.

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 23 December 2016, В.А. Илларионов wrote:

>  Но Дитмар сразу предупреждал: не юзать ext4, а только ext3.

Так а всякие штуки, a-ля ploop ? Плюс вот в этом-то случае
ладно, а когда в /var/lib/vz полтора-два терабайта ? ext3
очень долго чекается при перезагрузке.

> А перетаскивайте свои виртуалки на наш родной PVE

Меня там пугают команды вроде "systemctl ...". Мне кажется,
что systemd сильно страшнее ext4.

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Вадим Илларионов]

23.12.2016 16:47, Sergey пишет:
> Так а всякие штуки, a-ля ploop? Плюс вот в этом-то случае ладно, а
> когда в /var/lib/vz полтора-два терабайта? ext3 очень долго чекается
> при перезагрузке.

А зачем ploop, когда есть lvm?
Мне в OpenVZ от ProxMox тоже ploop не хватало - решалось размещением
тяжёлых виртуалок в КВМ: благо, что 3-й ProxMox сочетает оба подхода,
что 4-й, где LXC вместо OpenVZ.

>> А перетаскивайте свои виртуалки на наш родной PVE
> Меня там пугают команды вроде "systemctl ...". Мне кажется,
> что systemd сильно страшнее ext4.

А оставьте в виртуалках systemv, коли боязно. К хост-системе, что на
systemd, вряд ли часто придётся обращаться.
Я же, напротив, и контейнеры с энтузиазмом конверчу из V в D.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Anton Gorlov]

23.12.2016 15:56, Вадим Илларионов пишет:
> А зачем ploop, когда есть lvm?
> Мне в OpenVZ от ProxMox тоже ploop не хватало - решалось размещением
> тяжёлых виртуалок в КВМ: благо, что 3-й ProxMox сочетает оба подхода,
> что 4-й, где LXC вместо OpenVZ.

Уху...только  в LXC юзерам рута давать нельзя... там досих пор хватает
дырок что бы до хоста добраться

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 23 December 2016, В.А. Илларионов wrote:

> А перетаскивайте свои виртуалки на наш родной PVE - и будет
> вам счастье! :) 

Статья годичной давности попалась про PVE/LXC: 
https://habrahabr.ru/post/278877/

А как сейчас дела ?

-- 
С уважением, Сергей.

PS: но systemd, всё равно, вызывает серьёзные опасения сам по себе.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Andrey Cherepanov]

18.01.2017 13:30, Sergey пишет:
> On Friday 23 December 2016, В.А. Илларионов wrote:
> 
>> А перетаскивайте свои виртуалки на наш родной PVE - и будет
>> вам счастье! :) 
> 
> Статья годичной давности попалась про PVE/LXC: 
> https://habrahabr.ru/post/278877/
> 
> А как сейчас дела ?
https://www.altlinux.org/PVE


-- 
Andrey Cherepanov
cas@altlinux.org

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Wednesday 18 January 2017, Andrey Cherepanov wrote:

> > А как сейчас дела ?

> https://www.altlinux.org/PVE
 
Это я читал. Я про работоспособность LXC.

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Wednesday 18 January 2017, Sergey wrote:

> > https://www.altlinux.org/PVE
>  
> Это я читал. Я про работоспособность LXC.

Вот ещё: http://ru-openvz.livejournal.com/1970.html?nojs=1
Давно читал, сейчас ещё раз нашёл. Это, правда, 6 лет назад
было. Интересно, на сколько, на текущий момент, произошло
проникновение кода OpenVZ в ванильное ядро...

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Вадим Илларионов]

18.01.2017 18:42, Sergey пишет:
> Это я читал. Я про работоспособность LXC.

Я на основной работе все проксмоксы на 4 версию с полгода назад
перетащил, теперь перетаскиваю подопечных.
Надо сказать, что в КВМ у меня только виндовые виртуалки. Все
линуксовые, коих 90+%, - в контейнерах, и в ОпенВЗ они до этого
трудились 3,5 года. Всё работает - и даже получше, чем было.
К примеру, теперь нет нужды монтировать NFS-шары на проксмоксе и
раздавать их контейнерам скриптами /var/lib/vz/conf/xxx.mount - всё
монтируется из самих контейнеров, что не мешает миграции оных (миграция,
правда, пока только офлайн, но ОЧЕНЬ быстрая). Как и то, что для
миграции им теперь нет нужды во внешнем хранилище - живут прямо на тех
хостах, где развёрнуты.
А ещё ipset нормально работает - стало легче настраивать фаерволы,
фейлтубаны и пр.
Есть, правда, пара моментов касательно оригинального проксмокса:
1) до сих пор не удалось запустить контейнер на базе systemd ни одного
дистрибутива, даже арклинукса, в котором давно попросту нет systemv -
хотя arch, вроде бы, в списке поддерживаемых;
2) если поменять в контейнере иптаблицы на nft, правила nft каким-то
боком влияют на работу хост-машины, спорадически делая её недоступной.
В альтовом же всё это работает без нареканий - с удовольствием использую
на домашнем шлюзе. Здесь другая беда - поставить собственно альта на
полноценный сервер.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Thursday 19 January 2017, Вадим Илларионов wrote:

> В альтовом же всё это работает без нареканий

А вот по поводу этого https://linuxcontainers.org/ru/lxc/security/

Исходя из написанного, в первую очередь интересны непривилегированные
контейнеры. У них какие-то явные ограничения есть относительно 
привилегированных ?

-- 
С уважением, Сергей.

Re: [Sysadmins] LXC

[Sergey]

On Friday 23 December 2016, Anton Gorlov wrote:

> только  в LXC юзерам рута давать нельзя... там досих пор
> хватает дырок что бы до хоста добраться
 
В непривилегированных имеется ввиду ? Вроде как пишут, что
для непривилегированных это багом считается и должны бы 
фиксить... Так. А означает ли строение LXC то, что из
контейнера есть доступ в хост-систему от имени пользователя,
которому соответствует UID 0 контейнера ?

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Michael Shigorin]

On Thu, Jan 19, 2017 at 08:34:50AM +0800, Вадим Илларионов wrote:
> Здесь другая беда - поставить собственно альта на полноценный сервер.

А вот здесь хорошо бы подробнее.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[В.А. Илларионов]

19.01.2017 21:32, Michael Shigorin пишет:
> On Thu, Jan 19, 2017 at 08:34:50AM +0800, Вадим Илларионов wrote:
>> Здесь другая беда - поставить собственно альта на полноценный сервер.
> А вот здесь хорошо бы подробнее.
Уже писал, что:
а) с разметкой из инсталлятора SoftRAID+LVM прям беда-беда (вне зависимости, сервер или рабстанция): помимо 
того, что на любой стадии разметки может случиться перезагрузка, так и в тех редких случаях, когда она проходит 
успешно, установка всё равно завершается ошибкой скрипта;
б) после нескольких подходов не удавалось поставиться на ХПшки PL-160/PL-360 G6 и Dell PE-320 - даже на 
аппаратные рейды. В чём был затык, уже и не упомню.

Моя новогодняя эпопея с подопечными (одновершковый сервер X8DTL от DEPO Computers) тоже закончилась пшиком: 
хоть и удалось после трёхдневных мучений закорячить систему на софт-рейд, пусть и перанально, однако 
проработала она всего 4 дня, после штатного ребута уйдя по неясным причинам в вечную перезагрузку. Бывало 
такое, когда пробовал на домашнем проксмоксе поменять етснет на systemd-networkd, но на сей раз, ввиду 
наконец-то допиленного перехода с дебиановского фейка /etc/network/interfaces на честный етснет, всё делалось 
исключительно по инструкции. В общем, каникулы псу под хвост. Плюнул и за 3 часа поставил/настроил 
оригинального проксмокса, пусть и без желанных плюшек systemd & nftables whithin LXC - зато тупо перетащил в 
него снэпшоты ОпенВЗшных контейнеров, запустил монтирование нфс-шар прямо из них, да перенастроил 
фаерволы/фейлтубаны на использование ipset. То есть, сделал то же самое, что и полгода назад на основной 
работе. И теперь оно просто работает.

Вообще говоря, nftables в контейнере хотелось просто для экспериментов/освоения, так что довольно того, что 
дома оно работает - есть где разгуляться. А вот systemd в контейнере - потребность насущная хотя бы из-за 
журнала, исключающего переполнение контейнерной ФС логами безо всяких логротейтов.

-- 

Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[В.А. Илларионов]

19.01.2017 14:28, Sergey пишет:
> А вот по поводу этого https://linuxcontainers.org/ru/lxc/security/
> Исходя из написанного, в первую очередь интересны непривилегированные
> контейнеры. У них какие-то явные ограничения есть относительно
> привилегированных ?

Признаться, не пользовал. Рутовый доступ к контейнерам на основной работе кроме меня только у моего 
подчинённого админа, а у подопечных - только у меня, так что вопрос безопасности так остро не стоит.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Michael Shigorin]

On Fri, Jan 20, 2017 at 10:33:50AM +0800, В.А. Илларионов wrote:
> >> Здесь другая беда - поставить собственно альта на полноценный сервер.
> > А вот здесь хорошо бы подробнее.
> Уже писал, что:
> а) с разметкой из инсталлятора SoftRAID+LVM прям беда-беда (вне
> зависимости, сервер или рабстанция): помимо того, что на любой
> стадии разметки может случиться перезагрузка, так и в тех
> редких случаях, когда она проходит успешно, установка всё равно
> завершается ошибкой скрипта;

Нужен /tmp/remount.log от таких попыток.

> б) после нескольких подходов не удавалось поставиться на ХПшки
> PL-160/PL-360 G6 и Dell PE-320 - даже на аппаратные рейды.
> В чём был затык, уже и не упомню.

Ну вот :(  На всякий -- стоит зачищать метаданные на дисках:
http://www.altlinux.org/Installer/problems/MD-RAID-cleanup
https://bugzilla.altlinux.org/show_bug.cgi?id=29471

> Моя новогодняя эпопея с подопечными (одновершковый сервер X8DTL
> от DEPO Computers) тоже закончилась пшиком: хоть и удалось
> после трёхдневных мучений закорячить систему на софт-рейд,
> пусть и перанально, однако проработала она всего 4 дня, после
> штатного ребута уйдя по неясным причинам в вечную перезагрузку.

Если о бедах молчать (и ничего не предпринимать для исправления)
-- так они и будут оставаться! :(

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 20 January 2017, В.А. Илларионов wrote:

> б) после нескольких подходов не удавалось поставиться на
> ХПшки PL-160/PL-360 G6 и Dell PE-320 - даже на аппаратные
> рейды. В чём был затык, уже и не упомню. 
 
На какие-то Пролианты с аппаратными RAID я когда-то делал
тестовые тестовые установки. Там засада была с необычным
именованием томов, это фиксилось, можно в багзилле найти.

Если рассмотреть платформы Intel, то у нас их есть некоторое
количество разных, везде поставилось в итоге. Но последнее,
что ставил - это Кентавр 7.x давно. С тех пор новых серверов
не вводили. Баг 29471, упомянутый в соседнем сообщении, тогда
и родился.

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[В.А. Илларионов]

20.01.2017 15:44, Sergey пишет:
> On Friday 20 January 2017, В.А. Илларионов wrote:
>> б) после нескольких подходов не удавалось поставиться на ХПшки PL-160/PL-360 G6 и Dell PE-320 - даже на аппаратные рейды. В чём был затык, уже и не упомню.
> На какие-то Пролианты с аппаратными RAID я когда-то делал тестовые тестовые установки. Там засада была с необычным именованием томов, это фиксилось, можно в багзилле найти.
>
> Если рассмотреть платформы Intel, то у нас их есть некоторое количество разных, везде поставилось в итоге. Но последнее, что ставил - это Кентавр 7.x давно. С тех пор новых серверов не вводили. Баг 29471, упомянутый в соседнем сообщении, тогда и родился.
Дело-то в том, что если на установку тратится целый день, а то и более, притом без бубна и поллитры не 
обойтись, - это нельзя юзать в продакшне. Положим, я справлюсь. А каково достанется тем, кто когда-нибудь 
придёт на смену?

Вот у меня тоже Кентавр последний раз более-менее без траблов поднимался. А с восьмёркой прямо напасть какая-то.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Michael Shigorin]

On Fri, Jan 20, 2017 at 03:57:45PM +0800, В.А. Илларионов wrote:
> Вот у меня тоже Кентавр последний раз более-менее без траблов
> поднимался. А с восьмёркой прямо напасть какая-то.

Видимо, железо всё же разное, т.к. "напасть" была сделана ещё к p7
(на замену куда более неприятной напасти в виде диких патчей для
примирения всего подряд с картинкой в /dev, получающейся после
отработки libevms и изменяющейся после перезагрузки), с тех пор
только фиксили вылазящие последствия.

С остаточными метаданными так и вовсе >= 3.0...

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Sergey]

On Friday 20 January 2017, В.А. Илларионов wrote:

> Дело-то в том, что если на установку тратится целый день, а то
> и более, притом без бубна и поллитры не обойтись, - это нельзя
> юзать в продакшне.

Серверное железо - это "чуть-чуть" не десктоп. Сильно снижается
массовость, и, как следствие, фидбак о проблемах. Если кто-то 
будет в ООО предоставлять платформы для тестирования, думаю, баги
будут фикситься оперативно и до выхода дистрибутивов. :-)

-- 
С уважением, Сергей.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Michael A. Kangin]

19.01.2017 14:32, Michael Shigorin пишет:

>> Здесь другая беда - поставить собственно альта на полноценный сервер.
>
> А вот здесь хорошо бы подробнее.

Безальтернативно графический инсталлятор.
Этого довольно, чтобы ALT на сервера ставился в качестве огромного 
исключения.

[Sysadmins] текстовый серверный инсталятор

[Michael Shigorin]

On Fri, Jan 20, 2017 at 04:17:21PM +0100, Michael A. Kangin wrote:
> >> Здесь другая беда - поставить собственно альта на полноценный сервер.
> > А вот здесь хорошо бы подробнее.
> Безальтернативно графический инсталлятор.  Этого довольно,
> чтобы ALT на сервера ставился в качестве огромного исключения.

Потому что сериалка, потому что мышь или что ещё?

Вообще-то есть текстовые инсталяшки имени enp@:
https://www.altlinux.org/Releases/Community
http://enp.itx.ru/linux/alt/p8/images/
http://enp.itx.ru/linux/alt/t7/iso/
-- но не уверен, что тебе бы хватило.

В принципе можно сделать вариант jeos с автонакрытием
или создающий мелкий корень и оставляющий всё остальное
на откуп рукам, но это опять же лучше со вводными
(и готовностью допилить).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

On 01/20/2017 04:26 PM, Michael Shigorin wrote:

>>>> Здесь другая беда - поставить собственно альта на полноценный сервер.
>>> А вот здесь хорошо бы подробнее.
>> Безальтернативно графический инсталлятор.  Этого довольно,
>> чтобы ALT на сервера ставился в качестве огромного исключения.
>
> Потому что сериалка, потому что мышь или что ещё?

Скорее потому что мышь.
С удалённым хотя бы на 100ms сервером начинается просто ужас в этом 
интерфейсе.
А если какой пекинский брать, 400+ms + packetloss... unreal.

Кроме того, как уже говорили, относительная функциональная бедность (LVM 
over MD хрен сделаешь).


> Вообще-то есть текстовые инсталяшки имени enp@:

У меня тоже есть "текстовая инсталляшка" имени себя - livecd + tar -x.
Но это не энтерпрайзненько, и я не могу никому это порекомендовать или 
внедрить как какой-то корпоративный стандарт. Меня не поймут-с.


Не знаю, стоит ли изобретать что-то своё? Есть вот RHEL-anaconda.
Текстовой режим есть, VNC в обе стороны есть, что еще для счастья надо.

Даже LVM over MD можно, если знать как. :)

А в RHEL7 еще и мегафича - сначала всё конфигуришь как будет, потом 
жмёшь "установить" и она устанавливает, не задавая никаких больше 
вопросов. Можно уходить кофе варить, очень удобно.
И наоборот, дебиан/убунту просто изведут тупыми вопросами каждые 20 
секунд. Прям надо сидеть и пялиться не отрываясь, бесит.

Ну и установка по сети. У RHEL есть ISOшечка на 300Мб (в 7, в 5-6 вообще 
крохотная была). Можно загрузить её, указать ставиться с какого-нибудь 
регионального зеркала, и оно ставится, со всей возможной скоростью, 
благо список зеркал огромен.

Re: [Sysadmins] OpenVZ: 2.6.32-ovz-el-alt147, Disk quota exceeded на simfs

[Вадим Илларионов]

20.01.2017 23:17, Michael A. Kangin пишет:
> 19.01.2017 14:32, Michael Shigorin пишет:
>
>>> Здесь другая беда - поставить собственно альта на полноценный сервер.
>>
>> А вот здесь хорошо бы подробнее.
>
> Безальтернативно графический инсталлятор.
> Этого довольно, чтобы ALT на сервера ставился в качестве огромного
> исключения.

Агрессивно плюсую. Дебиан рулит, блин.

Re: [Sysadmins] текстовый серверный инсталятор

[Вадим Илларионов]

20.01.2017 23:26, Michael Shigorin пишет:
> On Fri, Jan 20, 2017 at 04:17:21PM +0100, Michael A. Kangin wrote:
>>>> Здесь другая беда - поставить собственно альта на полноценный сервер.
>>> А вот здесь хорошо бы подробнее.
>> Безальтернативно графический инсталлятор.  Этого довольно,
>> чтобы ALT на сервера ставился в качестве огромного исключения.
>
> Потому что сериалка, потому что мышь или что ещё?

Потому что не консоль. При всяких попытках установки альта приходится 
отымать у жены УСБшную мышу, обрекая ея (жену) на взаимодействие с 
тачпадом - а это вам не трекпад от мака, который не сильно мышке уступает.
У меня просто инпут-дивайсы от лоджитека на едином юнифаеде - фиг 
разорвёшь (и даже претензии к микропереключателю они компенсируют полной 
заменой мышки "марафон" - трудно отказаться от такой заманухи).

В то же самое время установка дебиана с образа нет-инстолла не вызывает 
никаких нареканий своей текстовой интерфейсностью. Иразбивкадисков на 
софт-рейд+ЛВМ работает без нареканий.

Re: [Sysadmins] текстовый серверный инсталятор

[Dmitry Derjavin]

Пт, 20 янв 2017, 20:43, Michael A. Kangin:

> On 01/20/2017 04:26 PM, Michael Shigorin wrote:
>
>>>>> Здесь другая беда - поставить собственно альта на полноценный сервер.
[…]
> Скорее потому что мышь.
> С удалённым хотя бы на 100ms сервером начинается просто ужас в этом
> интерфейсе.
> А если какой пекинский брать, 400+ms + packetloss... unreal.
>
> Кроме того, как уже говорили, относительная функциональная бедность
> (LVM over MD хрен сделаешь).
[…]
> У меня тоже есть "текстовая инсталляшка" имени себя - livecd + tar -x.
> Но это не энтерпрайзненько, и я не могу никому это порекомендовать

Коллеги, без обид, но вот всё это — задержки, потери пакетов, LVM поверх
программных массивов, отсутствие консоли IPMI и KVM — как раз и есть «не
энтерпрайзненько». Wi#@ows Server, опять же.

Речь вовсе не о том, что текстовый инсталлятор не нужен. Нужен, видимо.
Но это задача такого же плана, что и установка на 256 мегабайт. IMNSHO.

-- 
~dd

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

On 01/20/2017 10:05 PM, Dmitry Derjavin wrote:

>> Но это не энтерпрайзненько, и я не могу никому это порекомендовать
>
> Коллеги, без обид, но вот всё это — задержки, потери пакетов, LVM поверх
> программных массивов, отсутствие консоли IPMI и KVM — как раз и есть «не
> энтерпрайзненько». Wi#@ows Server, опять же.

Задержки и потери пакетов - это самые что ни есть ынтерпразности 
магистрального провайдера.
Вы о какой задержке думаете между Нью-йорком и Пекином?

И чем вам LVM поверх программных массивов не угодил в плане 
энтерпрайзности? Может, там Storage Bridge Bay сплошные.

А про "отсутствие консоли IPMI и KVM" и "Wi#@ows Server" - это вы сами 
придумали, не говорил я такого.



>
> Речь вовсе не о том, что текстовый инсталлятор не нужен. Нужен, видимо.
> Но это задача такого же плана, что и установка на 256 мегабайт. IMNSHO.

Вы жесточайшэ заблуждаетесь.

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Friday 20 January 2017, Michael A. Kangin wrote:

> Кроме того, как уже говорили, относительная функциональная бедность (LVM 
> over MD хрен сделаешь).
 
Это в каком дистирибутиве ? Потому как Кентавр 7 у меня ставился на RAID/LVM
без проблем. Кроме того, что написано в https://bugzilla.altlinux.org/29471
и того, что не очень тривиально в инсталляторе понять, что это именно она - 
установка на RAID/LVM: https://www.altlinux.org/Создание_и_установка_на_RAID
там пункт 1.3.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Saturday 21 January 2017, Michael A. Kangin wrote:

> Задержки и потери пакетов - это самые что ни есть ынтерпразности 
> магистрального провайдера.

Имеется ввиду использование в самом ИСП, или реч про развёртывание
виртуалок на чьём-то хостинге ? Последнее, как раз, несовсем 
интерпрайз-то... Мне текстового инсталлятора не хватало, но по
причине удобства использования мелких мониторов в серверной. Сейчас,
лично, например, для меня, текстовый инсталлятор - уже далеко не 
самая большая необходимость.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] текстовый серверный инсталятор

[Michael Shigorin]

On Sat, Jan 21, 2017 at 09:53:03AM +0400, Sergey wrote:
> > Кроме того, как уже говорили, относительная функциональная бедность
> > (LVM over MD хрен сделаешь).

Сделаешь, но вот...

> Это в каком дистирибутиве ? Потому как Кентавр 7 у меня ставился на RAID/LVM
> без проблем. Кроме того, что написано в https://bugzilla.altlinux.org/29471
> и того, что не очень тривиально в инсталляторе понять, что это именно она - 
> установка на RAID/LVM: https://www.altlinux.org/Создание_и_установка_на_RAID
> там пункт 1.3.

...а давайте хотя бы в справку модуля напишем?
(поскольку я LVM применять всячески избегаю -- хорошо бы
кто предложил основу текста, которую уже можно довести и
добавить в alterator-vm/alterator-l10n)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] текстовый серверный инсталятор

[Dmitry Derjavin]

Сб, 21 янв 2017, 00:49, Michael A. Kangin:

> Задержки и потери пакетов - это самые что ни есть ынтерпразности
> магистрального провайдера.  Вы о какой задержке думаете между
> Нью-йорком и Пекином?

Видимо, у нас просто разные понятия об «энтерпрайзности». Для меня это в
первую очередь строгие технические регламенты и чёткое разграничение
обязанностей. Например, написано в инструкции «для установки ОС на
сервер требуется экран с разрешением 1024x768 и мышь» — значит, нужно
обеспечить. Основание для закупки мыши в серверную. Примерно то же
с потерями пакетов.

Возвращаясь к теме обсуждения, нам таки что нужно — текстовый
режим или возможность обойтись без мыши? Пожалуйста, конкретизируйте.

-- 
~dd

Re: [Sysadmins] текстовый серверный инсталятор

[Вадим Илларионов]

21.01.2017 13:53, Sergey пишет:
> On Friday 20 January 2017, Michael A. Kangin wrote:
>> Кроме того, как уже говорили, относительная функциональная бедность (LVM over MD хрен сделаешь).
> Это в каком дистирибутиве?
В актуальном, вестимо.

>  Потому как Кентавр 7 у меня ставился на RAID/LVM без проблем.
См. выше.
Но при последнем подходе к снаряду не только восьмёрку не удалось штатно
водрузить на сервер от DEPO Computers, а даже и упомянутого кентавра. В
итоге ставился на один диск из четырёх, после чего конвертировал всё в
рейды 1 и 10 с ЛВМ на рейде-10 уже из рабочей системы.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

21.01.2017 06:58, Sergey пишет:

>> Задержки и потери пакетов - это самые что ни есть ынтерпразности
>> магистрального провайдера.
>
> Имеется ввиду использование в самом ИСП, или реч про развёртывание
> виртуалок на чьём-то хостинге ?


В самом, и речь про физические сервера по всему миру. С виртуалками 
проще, там всё можно из шаблона с поднятым sshd

> интерпрайз-то... Мне текстового инсталлятора не хватало, но по
> причине удобства использования мелких мониторов в серверной. Сейчас,
> лично, например, для меня, текстовый инсталлятор - уже далеко не
> самая большая необходимость.

Вот что уже не интерпрайз - так это монитор в серверной. Штатно всё 
через IPMI/KVM

Текстовые инсталляторы конечно убоги, но тут есть замечательное решение 
- VNC в инсталляторе. И графика, и быстро всё работает, и не надо 
пытаться поддерживать серверную графику.

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

21.01.2017 17:33, Dmitry Derjavin пишет:

>> Задержки и потери пакетов - это самые что ни есть ынтерпразности
>> магистрального провайдера.  Вы о какой задержке думаете между
>> Нью-йорком и Пекином?
>
> Видимо, у нас просто разные понятия об «энтерпрайзности». Для меня это в
> первую очередь строгие технические регламенты

строгие регламенты это прекрасно, но жизнь порой вносит свои коррективы, 
мало ли, акула кабель в тихом океане искусала.


> и чёткое разграничение
> обязанностей. Например, написано в инструкции «для установки ОС на
> сервер требуется экран с разрешением 1024x768 и мышь» — значит, нужно
> обеспечить. Основание для закупки мыши в серверную. Примерно то же
> с потерями пакетов.

Я так понимаю, вы работаете в основном в больших негибких конторах.
Если бы у нас каждый раз складывали лапки, когда нет технической 
возможности обеспечить "мышь в серверной", мы бы уже разорились давно.

У нас и мышей то в серверных нету.

> Возвращаясь к теме обсуждения, нам таки что нужно — текстовый
> режим или возможность обойтись без мыши? Пожалуйста, конкретизируйте.

Мне возможность работать с приемлемым временем отклика с серверами по 
всему миру. Графический интерфейс с мышью в IPMI/KVM этого обеспечить не 
может. Это может обеспечить текстовой инсталлятор или подключение к 
инсталлятору по VNC

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

21.01.2017 06:53, Sergey пишет:

>> Кроме того, как уже говорили, относительная функциональная бедность (LVM
>> over MD хрен сделаешь).
>
> Это в каком дистирибутиве ? Потому как Кентавр 7 у меня ставился на RAID/LVM
> без проблем.

Шаг влево, шаг вправо - расстрел!
https://bugzilla.altlinux.org/show_bug.cgi?id=28948

В общем может если всё время жать МЫШКОЙ кнопочку next оно мож и 
установится, но мне уж тогда проще tgz развернуть, нахрена инсталлятор 
вообще.

> Кроме того, что написано в https://bugzilla.altlinux.org/29471
> и того, что не очень тривиально в инсталляторе понять, что это именно она -
> установка на RAID/LVM: https://www.altlinux.org/Создание_и_установка_на_RAID
> там пункт 1.3.
>

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Sunday 22 January 2017, Michael A. Kangin wrote:

> Вот что уже не интерпрайз - так это монитор в серверной.

Вполне себе интерпрайз, если всё собрано в серверной. ИСП - это сильно
частный случай, нас мало. ;-)

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Sunday 22 January 2017, Michael A. Kangin wrote:

> Шаг влево, шаг вправо - расстрел!
> https://bugzilla.altlinux.org/show_bug.cgi?id=28948

Ядро поддерживает только 0.9. Всё стальное требует mdadm в initrd
со всеми вытекающими последствиями. Да, добить, по идее, стоит.
Но уж очень большой шаг влево, когда не 0.9.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Saturday 21 January 2017, Michael Shigorin wrote:

> ...а давайте хотя бы в справку модуля напишем?

Я в вики подпункт добавил же. ;-) Можно оттуда взять. Или надо
подробнее как-то ?

> (поскольку я LVM применять всячески избегаю -- хорошо бы
> кто предложил основу текста, которую уже можно довести и
> добавить в alterator-vm/alterator-l10n)

Я и md избегаю, но вот есть. Уже два, теперь, экземпляра.
Но в обоих случаях md не является основным рабочим устройством.
Это, по большей части, отказоустойчивость для самой ОС.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] текстовый серверный инсталятор

[В.А. Илларионов]

23.01.2017 04:28, Sergey пишет:

> Ядро поддерживает только 0.9. Всё стальное требует mdadm в initrd
> со всеми вытекающими последствиями. Да, добить, по идее, стоит.
> Но уж очень большой шаг влево, когда не 0.9.
А дебиан где-то в другом месте ядрами разживается? Почему у них на 1.2 всё работает?

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] текстовый серверный инсталятор

[В.А. Илларионов]

> А дебиан где-то в другом месте ядрами разживается? Почему у них на 1.2 всё работает?

В том числе, и загрузочный раздел, кстати говоря.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] текстовый серверный инсталятор

[Eugene Prokopiev]

20 января 2017 г., 20:43 пользователь Michael A. Kangin
<mak@complife.ru> написал:

> У меня тоже есть "текстовая инсталляшка" имени себя - livecd + tar -x.
> Но это не энтерпрайзненько, и я не могу никому это порекомендовать или
> внедрить как какой-то корпоративный стандарт. Меня не поймут-с.
>
>
> Не знаю, стоит ли изобретать что-то своё? Есть вот RHEL-anaconda.
> Текстовой режим есть, VNC в обе стороны есть, что еще для счастья надо.
>
> Даже LVM over MD можно, если знать как. :)
>
> А в RHEL7 еще и мегафича - сначала всё конфигуришь как будет, потом жмёшь
> "установить" и она устанавливает, не задавая никаких больше вопросов. Можно
> уходить кофе варить, очень удобно.
> И наоборот, дебиан/убунту просто изведут тупыми вопросами каждые 20 секунд.
> Прям надо сидеть и пялиться не отрываясь, бесит.

Меня хоть анаконда, хоть дебиановский инсталлер утомляют именно именно
тупыми вопросами (хоть каждые 20 секунд, хоть все разом - да, это чуть
лучше, не не принципиально). И наш инсталлер я давно не видел, но
утомил он меня в принципе тем же самым :)

Ынтырпрайз - это, конечно, тот еще спор о терминах, но если речь о
необходимости отдать инсталлер в руки другому человеку и быть
уверенным в результатах - вообще не вижу альтернатив скрипту (хоть
моему вышеприведеному варианту, хоть разворачиванию тарболла), все
прочие VNC провоцируют полет фантазии, которую нужно сдерживать
нетехническими способами.

А еще бывает нужно (но редко) провести массовую инсталляцию с
минимальным участием человека (дотащить нужный vlan/vrf до порта
коммутатора, воткнуть туда сервер, включить его, убедившись в
работоспособности PXE) - это тоже проще сделать скриптом.

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] текстовый серверный инсталятор

[Michael Shigorin]

On Sun, Jan 22, 2017 at 10:57:46AM +0800, Вадим Илларионов wrote:
> Но при последнем подходе к снаряду не только восьмёрку не
> удалось штатно водрузить на сервер от DEPO Computers, а даже и
> упомянутого кентавра. В итоге ставился на один диск из четырёх,
> после чего конвертировал всё в рейды 1 и 10 с ЛВМ на рейде-10
> уже из рабочей системы.

Очень вероятно, что это
http://www.altlinux.org/Installer/problems/MD-RAID-cleanup

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] текстовый серверный инсталятор

[Michael Shigorin]

On Mon, Jan 23, 2017 at 12:32:26AM +0400, Sergey wrote:
> > ...а давайте хотя бы в справку модуля напишем?
> Я в вики подпункт добавил же. ;-) Можно оттуда взять.

Можно точную ссылочку, что-то не соображу?

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] текстовый серверный инсталятор

[Michael A. Kangin]

23.01.2017 06:18, Eugene Prokopiev пишет:

> Меня хоть анаконда, хоть дебиановский инсталлер утомляют именно именно
> тупыми вопросами (хоть каждые 20 секунд, хоть все разом - да, это чуть
> лучше, не не принципиально). И наш инсталлер я давно не видел, но
> утомил он меня в принципе тем же самым :)

Жень, у анаконды в RHEL7 эти вопросы отвечаются разом в самом начале 
инсталляции, причём по факту обязательный только один, куда ставиться 
будем (разбивка диска). Остальные можно оставить по умолчанию (вообще не 
отвечать), если тебе странного не надо. А потом можно уходить кофе пить.

Даже пользователь с рутом конфигуряться ОДНОВРЕМЕННО с процессом 
установки, не надо дожидаться специального времени с вопросом о них.

А дебианы выматывают именно по вопросу каждые 30 секунд. И умолчания 
надо всё равно подтверждать нажатием на чтонибудь, без подтверждения 
установка останавливается.
Выкинутые полчаса из жизни.


Про скрипты дико плюсую, но тут к сожалению наша специфика - ни одного 
одинакового сценария установки, каждый раз чтонибудь разненькое.

> Ынтырпрайз - это, конечно, тот еще спор о терминах, но если речь о
> необходимости отдать инсталлер в руки другому человеку и быть
> уверенным в результатах - вообще не вижу альтернатив скрипту (хоть
> моему вышеприведеному варианту, хоть разворачиванию тарболла), все
> прочие VNC провоцируют полет фантазии, которую нужно сдерживать
> нетехническими способами.
>
> А еще бывает нужно (но редко) провести массовую инсталляцию с
> минимальным участием человека (дотащить нужный vlan/vrf до порта
> коммутатора, воткнуть туда сервер, включить его, убедившись в
> работоспособности PXE) - это тоже проще сделать скриптом.
>

Re: [Sysadmins] текстовый серверный инсталятор

[Sergey]

On Monday 23 January 2017, Sergey wrote:

> > ...а давайте хотя бы в справку модуля напишем?
> 
> Я в вики подпункт добавил же. ;-) Можно оттуда взять.
> Или надо подробнее как-то ?

Так вот этот подпункт 1.3, с цитатой из сообщения Черепанова:

| что не очень тривиально в инсталляторе понять, что это именно она -
| установка на RAID/LVM: https://www.altlinux.org/Создание_и_установка_на_RAID
| там пункт 1.3.

-- 
С уважением, Сергей.

Re: [Sysadmins] текстовый серверный инсталятор

[Хихин Руслан]

[-- Attachment #1: Type: text/plain, Size: 1779 bytes --]

Здравствуйте Sergey
  В сообщении от 24 января 2017 Sergey написал(a):
> On Monday 23 January 2017, Sergey wrote:
> > > ...а давайте хотя бы в справку модуля напишем?
> >
> > Я в вики подпункт добавил же. ;-) Можно оттуда взять.
> > Или надо подробнее как-то ?
>
> Так вот этот подпункт 1.3, с цитатой из сообщения Черепанова:
> | что не очень тривиально в инсталляторе понять, что это
> | именно она - установка на RAID/LVM:
> | https://www.altlinux.org/Создание_и_установка_на_RAID там
> | пункт 1.3.

"При желании иметь отдельные разделы для /, /home, /var и т. д. 
создавать несколько томов может оказаться неудобно. В Linux 
возможно создать один большой том md0 и разбить его на разделы, 
как обычный hdd. Такой вариант, к сожалению, установщиком в ALT 
Linux не поддерживается в настоящее время (altbug #11572). Как 
замену, можно использовать установку на RAID+LVM. "

"Ошибка 11572 - нельзя создать несколько разделов в RAID
Состояние: 	CLOSED WONTFIX "

-- 
  А ещё говорят так  (fortune): 
 
Maybe Computer Science should be in the College of Theology. -- 
R. S. Barton 
________________________________________________________________________
С уважением Хихин Руслан 

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [Sysadmins] текстовый серверный инсталятор

[Вадим Илларионов]

понедельник, 23 января 2017 г. 14:05:34 +08 от Michael Shigorin поступило следующее:
> On Sun, Jan 22, 2017 at 10:57:46AM +0800, Вадим Илларионов wrote:
> > Но при последнем подходе к снаряду не только восьмёрку не
> > удалось штатно водрузить на сервер от DEPO Computers, а даже и
> > упомянутого кентавра. В итоге ставился на один диск из четырёх,
> > после чего конвертировал всё в рейды 1 и 10 с ЛВМ на рейде-10
> > уже из рабочей системы.
> 
> Очень вероятно, что это
> http://www.altlinux.org/Installer/problems/MD-RAID-cleanup

Зачистку устраивал тотальную - бесполезно.
В то же время дебиан встаёт невзирая на какие-либо ошмётки от прежних установок.

-- 
Мимо крокодил.
WBR, rednex CIO.
Cell: +7(964)103-65-67
Viber = Cell
JID = <mailto:>
Skype = $local_part@<mailto:>