[room] Хочется чего-то...

[room] Хочется чего-то...

[Alexei V. Mezin]

странного, самому непонятного.

Есть у меня маленький "офис" весьма стандартной конфигурации: извне один 
провод с реальным IP, изнутри локалка на <10 машин, принтер, WiFi, чуть 
менее чем все клиенты -- Windows, без домена.

На сервере НАТ, чтоб выпускать из локалки в интернет, OpenVPN чтоб 
пускать нуждающихся снаружи, DHCP чтоб раздавать адреса внутри локалки, 
несколько OpenVZ-контейнеров с SVN, Web/FTP и т.п., samba для внутренней 
свалки файлов, VirtualBox с гостевой Windows для тех программ, которые в 
ней нуждаются.

iptables настроен по минимуму: чтоб NAT был, проброшены порты в 
некоторые контейнеры (например, для доступа в SVN снаружи).

Так как я админ не настоящий, я свитер с оленями случайно в серверной 
нашел, собиралась вся эта инфраструктура абы как, хаотично и весьма на 
костылях. Например, там какая-то смесь 6/7 платформы и сизифа, по 
контейнерам даже федора местами распихана, VirtualBox из local.rc 
стартует, и самописным скриптом из 3 строк бэкапится.


А теперь встала задача повторить идейно такой же "офис" в другом месте. 
С теми же требованиями: NAT. OpenVPN, некоторые "линуксовые" сервисы 
типа SVN, некоторые "виндовые" сервисы типа "условной 1С", samba.

Можно, конечно, сесть и повторить схему. Но нутром чую, что это какой-то 
неправильный подход. Что сервер надо как-то более централизованно 
ставить. Посему вопрос "настоящим сварщикам": что посоветуете? Какой 
дистрибутив взять? Что на него поставить? В какую сторону копать? 
Например, на сколько я понял, OpenVZ сейчас не в моде, и его надо 
заменить на ... lxc? Или вообще без паравиртуализации?



Пока мне дали такой совет: "возьми Russian Fedora, на нее поставь 
libvirt+KVM, обязательно и всенепременно рейд-зеркало с LVM, чтоб на нем 
завести пул образов для виртуалок, и в тех виртуалках уже 
линуксы-виндовзы по вкусу". С мотивировкой, что "РашнФедора все работает 
из каробки, KVM быстрее VirtualBox, а без LVM (а может и еще поверх LVM 
какую-то ФС со снапшотами, не помню) трудно будет делать бэкапы виртуалок".

Хм... libvirt+KVM и из Сизифа вроде бы работает, хотя с точки зрения 
гостевой системы пляски с драйверами и скоростью графики ни в какое 
сравнение с VirtualBox не идут. Но для серверных гостей это не столь важно.

Re: [room] Хочется чего-то...

[Вадим Илларионов]

01.03.2016 06:10, Alexei V. Mezin пишет:
> странного, самому непонятного.
>
> Есть у меня маленький "офис" весьма стандартной конфигурации: извне
> один провод с реальным IP, изнутри локалка на <10 машин, принтер,
> WiFi, чуть менее чем все клиенты -- Windows, без домена.
>
> На сервере НАТ, чтоб выпускать из локалки в интернет, OpenVPN чтоб
> пускать нуждающихся снаружи, DHCP чтоб раздавать адреса внутри
> локалки, несколько OpenVZ-контейнеров с SVN, Web/FTP и т.п., samba для
> внутренней свалки файлов, VirtualBox с гостевой Windows для тех
> программ, которые в ней нуждаются.
>
> iptables настроен по минимуму: чтоб NAT был, проброшены порты в
> некоторые контейнеры (например, для доступа в SVN снаружи).
>
> Так как я админ не настоящий, я свитер с оленями случайно в серверной
> нашел, собиралась вся эта инфраструктура абы как, хаотично и весьма на
> костылях. Например, там какая-то смесь 6/7 платформы и сизифа, по
> контейнерам даже федора местами распихана, VirtualBox из local.rc
> стартует, и самописным скриптом из 3 строк бэкапится.
>
>
> А теперь встала задача повторить идейно такой же "офис" в другом
> месте. С теми же требованиями: NAT. OpenVPN, некоторые "линуксовые"
> сервисы типа SVN, некоторые "виндовые" сервисы типа "условной 1С", samba.
>
> Можно, конечно, сесть и повторить схему. Но нутром чую, что это
> какой-то неправильный подход. Что сервер надо как-то более
> централизованно ставить. Посему вопрос "настоящим сварщикам": что
> посоветуете? Какой дистрибутив взять? Что на него поставить? В какую
> сторону копать? Например, на сколько я понял, OpenVZ сейчас не в моде,
> и его надо заменить на ... lxc? Или вообще без паравиртуализации?
>
>
>
> Пока мне дали такой совет: "возьми Russian Fedora, на нее поставь
> libvirt+KVM, обязательно и всенепременно рейд-зеркало с LVM, чтоб на
> нем завести пул образов для виртуалок, и в тех виртуалках уже
> линуксы-виндовзы по вкусу". С мотивировкой, что "РашнФедора все
> работает из каробки, KVM быстрее VirtualBox, а без LVM (а может и еще
> поверх LVM какую-то ФС со снапшотами, не помню) трудно будет делать
> бэкапы виртуалок".
>
> Хм... libvirt+KVM и из Сизифа вроде бы работает, хотя с точки зрения
> гостевой системы пляски с драйверами и скоростью графики ни в какое
> сравнение с VirtualBox не идут. Но для серверных гостей это не столь
> важно.

С некоторых пор перетаскиваю серверное хозяйство всех своих подопечных с
реального железа на ProxMox-3.х: это KVM + OpenVZ + удобнейшая Web-админка.
Все линуксовые сервисы раскидываю отдельно по компактным, шустрым,
быстро резервируемым/восстанавливаемым контейнерам, а буде какие винды
затесались - по виртуалкам.
В прошлом году вышел ProxMox-4 с LXC вместо OpenVZ, однако ни у меня, ни
у местных коллег не вышло не то чтобы запустить сконвертированные из
OpenVZ контейнеры, но и с новыми из официальных темплейтов та же
картина. Может, что не так делали, но с LXC уже SystemD-nspawn
соперничает, а чья возьмёт в каком-нибудь ProxMox-5, я погляжу с позиции
просто работающей OpenVZ, чего и вам рекомендую :).

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Re: [room] Хочется чего-то...

[Вадим Илларионов]

01.03.2016 20:09, Kirill Titov пишет:
>
> Я админский свитер даже не примерял. Но три года держу в кладовке
> nas4free на три диска в zfs. Все перечисленное там работает искаропки,
> годами, требуется пылесосить и тщательно тестировать память перед
> установкой. Блок питания, диски и эбэддед флешка. Zfs это сила!
>

Если я правильно ошибаюсь, все эти nas4free, FreeNAS, OpenMediaVault и
иже с ними - не более чем СХД. Отдельное надёжное хранилище - штука
нужная, факт неоспоримый, но где тут про виртуализацию?

Кстати, при установке с исошки том для виртуалок ProxMox создаёт именно
в ZFS (не поручусь за третью версию, но в четвёрке - точно), хотя я
предпочитаю ставить сначала голого дебиана, доставлять нужный
инструментарий, а потом уже накатывать на всё это собсно ПроксМокс.
Впрочем, ЗеФСа вполне можно заменить БэТээРом. :-)

Жаль, что у ПроксМокса нет достойных аналогов. :-\

--
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Re: [room] Хочется чего-то...

[Anton Farygin]

On 01.03.2016 15:58, Вадим Илларионов wrote:
> 01.03.2016 20:09, Kirill Titov пишет:
>>
>> Я админский свитер даже не примерял. Но три года держу в кладовке
>> nas4free на три диска в zfs. Все перечисленное там работает искаропки,
>> годами, требуется пылесосить и тщательно тестировать память перед
>> установкой. Блок питания, диски и эбэддед флешка. Zfs это сила!
>>
>
> Если я правильно ошибаюсь, все эти nas4free, FreeNAS, OpenMediaVault и
> иже с ними - не более чем СХД. Отдельное надёжное хранилище - штука
> нужная, факт неоспоримый, но где тут про виртуализацию?
>
> Кстати, при установке с исошки том для виртуалок ProxMox создаёт именно
> в ZFS (не поручусь за третью версию, но в четвёрке - точно), хотя я
> предпочитаю ставить сначала голого дебиана, доставлять нужный
> инструментарий, а потом уже накатывать на всё это собсно ПроксМокс.
> Впрочем, ЗеФСа вполне можно заменить БэТээРом. :-)
>
> Жаль, что у ПроксМокса нет достойных аналогов. :-\


Кстати, мы понемногу портируем Proxmox на Альт, и у нас уже работает 
тестовый стенд.


Ждите в сизифах ;)

Re: [room] Хочется чего-то...

[Eugene Prokopiev]

2 марта 2016 г., 9:58 Anton Farygin написал:

> Кстати, мы понемногу портируем Proxmox на Альт, и у нас уже работает
> тестовый стенд.
>
> Ждите в сизифах ;)

А это интересно, свистните как будет, я попробую :)

-- 
WBR,
Eugene Prokopiev

Re: [room] Хочется чего-то...

[Alexei V. Mezin]

02.03.2016 9:58, Anton Farygin пишет:

> Кстати, мы понемногу портируем Proxmox на Альт, и у нас уже работает
> тестовый стенд.

Да, спасибо. Думаю, будет востребован.


Но Proxmox это все же с сильным упором на виртуалки, и только на них. А 
у меня вопрос более "широкий".

Вот пример: в локалке надо раздавать DHCP, желательно с привязкой по 
MAC, чтоб одни и те же известные машины оказывались в известных адресах. 
И желательно локальный DNS, с локальной зоной и перенаправлением 
запросов на "провайдерский".

DHCPcd + BIND это явно не то, что надо. На сколько я понял, подойдет 
dnsmasq, прекрасно справится с обоими задачами. Но! У него с наскоку не 
нашлось GUI для настройки, а значит кому-то придется править конфиги 
вручную. Я могу поправить, но там, где будет стоять сервер, люди хоть и 
технически очень грамотные, но все же не опытные линуксоиды.

Вроде бы как-то считать/лимитировать траффик не надо, но в целом 
статистику по хостам смотреть желательно. Можно в iptables насоздавать 
цепочек для каждого хоста. Но опять же, я смогу это сделать только 
вручную, и с ручной привязкой между IP и именем хоста, которую я 
подсмотрю в конфигах dnsmasq.

Но может я не знаю, а оно есть все готовое хоть как-то интегрированное?

Re: [room] Хочется чего-то...

[Вадим Илларионов]

02.03.2016 15:45, Alexei V. Mezin пишет:
> Но Proxmox это все же с сильным упором на виртуалки, и только на них.
> А у меня вопрос более "широкий".
>
> Вот пример: в локалке надо раздавать DHCP, желательно с привязкой по
> MAC, чтоб одни и те же известные машины оказывались в известных
> адресах. И желательно локальный DNS, с локальной зоной и
> перенаправлением запросов на "провайдерский".

Ну, и где тут про не-виртуалки?

> DHCPcd + BIND это явно не то, что надо. На сколько я понял, подойдет
> dnsmasq, прекрасно справится с обоими задачами. Но! У него с наскоку
> не нашлось GUI для настройки, а значит кому-то придется править
> конфиги вручную. Я могу поправить, но там, где будет стоять сервер,
> люди хоть и технически очень грамотные, но все же не опытные линуксоиды.

Бинд с днсмаском прекрасно совмещаются. Связка на уровне конторы - самое
оно. Пример:
OpenVZ-1) dnsmasq с раздачей адресов в локалке, нацеленный на бинд как
на основной и единственный ДНС.
OpenVZ-2) named об двух внешних ИПах от разных провов с локальной зоной
и рекурсией - и снаружи нормально видно, и с днсмаском есть чем поделиться.
OpenVZ-0) openldap с юзерами и ссх-ключиками для доступа как к
вышеперечисленным, так и к неупомянутым виртуалкам.

А поскольку основная моя работа - в локальном операторе, провайдерский
вариант отличается лишь тем, что в бинде отключена рекурсия (для
компенсации чего работают разнесённые рекурсор и анбаунд), да другими
ОпенВЗшками вдобавок к перечисленным - астериском, почтовиком,
джаббером, веб-сервером, мускулем (машкой), кактусом, смокпингом и
абонентскими плюшками типа ДХЦП, радиуса, платёжной системы и кучей
всякого прочего.

БОльшая часть контейнеров крутится у меня на альте, да по запросу ЦУСа -
парочка на ораклинухе (ДХЦП с радиусом).

За ГУИ не скажу: это в винду или к вебмину. Не пользую.

> Вроде бы как-то считать/лимитировать траффик не надо, но в целом
> статистику по хостам смотреть желательно. Можно в iptables насоздавать
> цепочек для каждого хоста. Но опять же, я смогу это сделать только
> вручную, и с ручной привязкой между IP и именем хоста, которую я
> подсмотрю в конфигах dnsmasq.
>
> Но может я не знаю, а оно есть все готовое хоть как-то интегрированное?

Можно создать альтовский ОпенВЗ-шаблон с нужным в каждом контейнере
софтом (у меня это mc, snmpd и bird), и с настроенными через переменные
етснет правилами фаервола для всех возможных интерфейсов. При
развёртывании шаблона в новый контейнер останется добавить требуемые
интерфейсы, после чего поправить в задействованных ИПы/маршруты/доступ к
конкретным портам.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Re: [room] Хочется чего-то...

[Alexei V. Mezin]

02.03.2016 15:06, Вадим Илларионов пишет:

> Ну, и где тут про не-виртуалки?
Ну... практически везде :)

> OpenVZ-1) dnsmasq с раздачей адресов в локалке, нацеленный на бинд как
> на основной и единственный ДНС.
> OpenVZ-2) named об двух внешних ИПах от разных провов с локальной зоной
> и рекурсией - и снаружи нормально видно, и с днсмаском есть чем поделиться.

Зачем в офисе из двух комнат на 5 компов, у которого только один внешний 
провод от одного провайдера, делать две виртуалки ради ДНСа?



> OpenVZ-0) openldap с юзерами и ссх-ключиками для доступа как к
> вышеперечисленным, так и к неупомянутым виртуалкам.

LDAP это интересно. Но зачем через него делать доступ юзерам к описанным 
виртуалкам, если они сидят под Win7 (без доменов) и работают в основном 
в Altium+PCAD? Одной виртуалки с trac+subversion хватит для работы. Но 
вот привязать их к LDAP это может быть интересно, если только не будет 
лютым оверкилом для решения задачи "не добавлять пользователей правкой 
конфигов в консоли".


> За ГУИ не скажу: это в винду или к вебмину. Не пользую.

А вопрос-то как раз в том, как настроить систему с минимальными 
требованиями, чтоб ее могли обслуживать сами пользователи (один 
пользователь). И "обслуживанием" являлось добавление нового компа в 
локалку (выдача имени и адреса), добавление нового пользователя в SVN, и 
просмотр раз в пару месяцев траффика в поисках "кто тут у нас слишком 
много скачал".

Re: [room] Хочется чего-то...

[Anton Farygin]

On 02.03.2016 10:45, Alexei V. Mezin wrote:
> 02.03.2016 9:58, Anton Farygin пишет:
>
>> Кстати, мы понемногу портируем Proxmox на Альт, и у нас уже работает
>> тестовый стенд.
>
> Да, спасибо. Думаю, будет востребован.
>
>
> Но Proxmox это все же с сильным упором на виртуалки, и только на них. А
> у меня вопрос более "широкий".
>
> Вот пример: в локалке надо раздавать DHCP, желательно с привязкой по
> MAC, чтоб одни и те же известные машины оказывались в известных адресах.
> И желательно локальный DNS, с локальной зоной и перенаправлением
> запросов на "провайдерский".
>
> DHCPcd + BIND это явно не то, что надо. На сколько я понял, подойдет
> dnsmasq, прекрасно справится с обоими задачами. Но! У него с наскоку не
> нашлось GUI для настройки, а значит кому-то придется править конфиги
> вручную. Я могу поправить, но там, где будет стоять сервер, люди хоть и
> технически очень грамотные, но все же не опытные линуксоиды.
>
> Вроде бы как-то считать/лимитировать траффик не надо, но в целом
> статистику по хостам смотреть желательно. Можно в iptables насоздавать
> цепочек для каждого хоста. Но опять же, я смогу это сделать только
> вручную, и с ручной привязкой между IP и именем хоста, которую я
> подсмотрю в конфигах dnsmasq.
>
> Но может я не знаю, а оно есть все готовое хоть как-то интегрированное?

Для лимита трафика есть отличный пакет shapercontrol.

Гуй даже в сизифе где-то валялся (WEB).

Re: [room] Хочется чего-то...

[Вадим Илларионов]

02.03.2016 14:58, Anton Farygin пишет:
> Кстати, мы понемногу портируем Proxmox на Альт, и у нас уже работает
> тестовый стенд.
> Ждите в сизифах ;)

Урррра-а-а-а!!!

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Re: [room] Хочется чего-то...

[Michael Shigorin]

On Tue, Mar 01, 2016 at 01:10:54AM +0300, Alexei V. Mezin wrote:
> А теперь встала задача повторить идейно такой же "офис" в другом месте. 
> С теми же требованиями: NAT. OpenVPN, некоторые "линуксовые" сервисы 
> типа SVN, некоторые "виндовые" сервисы типа "условной 1С", samba.

Как вариант, стартеркит server-ovz.

> Можно, конечно, сесть и повторить схему. Но нутром чую, что это
> какой-то неправильный подход. Что сервер надо как-то более
> централизованно ставить. Посему вопрос "настоящим сварщикам":
> что посоветуете? Какой дистрибутив взять? Что на него
> поставить? В какую сторону копать?  Например, на сколько я
> понял, OpenVZ сейчас не в моде, и его надо заменить на ... lxc?
> Или вообще без паравиртуализации?

Кричащих про "вмоду" обычно игнорирую сразу -- вместе с "модой".

> Пока мне дали такой совет: "возьми Russian Fedora, на нее поставь 
> libvirt+KVM, обязательно и всенепременно рейд-зеркало с LVM

За "всенепременно LVM" я бы уже тоже проигнорировал -- так-то
куда более простой striped MD RAID0 доверия лишнего не вызывает,
а тут предлагается "рисковать всегда" вместо "подумать сразу"
(особенно если есть возможность оценить уже имеющееся
распределение объёмов данных).

Про RAID1 согласен, впрочем.

> чтоб на нем завести пул образов для виртуалок, и в тех
> виртуалках уже линуксы-виндовзы по вкусу". С мотивировкой,
> что "РашнФедора все работает из каробки,

Стоит уточнить -- "первые сколько месяцев?".

> KVM быстрее VirtualBox

Врут.

> а без LVM (а может и еще поверх LVM какую-то ФС со снапшотами,
> не помню) трудно будет делать бэкапы виртуалок".

Это называется "сперва себе создать проблему, а затем хероически
её решать" -- даже если такому "специалисту" и неведома разница
между бэкапом _виртуалок_ и бэкапом _образов_ виртуалок, а заодно
и понятие "инкрементальный бэкап".

Кстати, если совет был публичный -- можно ссылочку?
Интересно имя такого "советчика".

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [room] Хочется чего-то...

[Alexei V. Mezin]

04.03.2016 19:27, Michael Shigorin пишет:

> Как вариант, стартеркит server-ovz.
>
> Кричащих про "вмоду" обычно игнорирую сразу -- вместе с "модой".

Я просто не слежу за темой виртуализации пристально. Но как мне 
казалось, OVZ требует специально приготовленного ядра хост-системы, а 
lxc нет. В результате, если вдруг надо поменять ядро (что, конечно, 
нечасто случается для сервера, но случается), может оказаться, что 
нужного с OVZ нет.



>
> Про RAID1 согласен, впрочем.
>
Ты просто не знаешь всей истории :) Зеркало рекомендовалось в качестве 
надежного способа ускорить виртуалки. Подавалось под соусом "на зеркале 
в 2 раза быстрее, чем без него, а на SSD всего в 6", поэтому зеркало 
оправдано. Я с данным посылом изначально не согласен, потому как для 
моей задачи предполагаемые объемы не превышают полсотни Гб, поэтому 
выиграть на соотношении скорости и цены за Гб у меня не выйдет. Один 
даже самый маленький ссд в 64Гб, и регулярные бэкапы -- правильный 
способ с минимальной головной болью и тратой финансов. Такое мое понимает.

> Стоит уточнить -- "первые сколько месяцев?".
Хм... а что ей делается со временем?

>
>> KVM быстрее VirtualBox
>
> Врут.
>
Я "в интернетах" тесты смотрел. По тестам быстрее. Но по удобству работы 
для ручного разворачивания пары систем, да еще и с перспективой 
админства не линусоидами-админами -- VB вне конкуренции.


> даже если такому "специалисту" и неведома разница
> между бэкапом _виртуалок_ и бэкапом _образов_ виртуалок, а заодно
> и понятие "инкрементальный бэкап".
Не, там человеку вроде как все ведомо. Это мне неведом этот страшный 
темный лес снапшотов на фс, бэкапов виртуалок без их остановки, живой 
миграции и т.п. Так что я мог как-то неправильно передать суть.

Я то свою виртуалку бэкаплю путем выключения, копирования образа, и 
включения обратно. Укладывается в 700-800 секунд по ночам в субботу :) 
Конечно, настоящие сисадмины от такого придут в ужас. С одной стороны. 
Зато с другой еженедельная перезагрузка виндовз-сервера делает его 
работу мягкой и шелковистой!


>
> Кстати, если совет был публичный -- можно ссылочку?
> Интересно имя такого "советчика".
>
Нет, под пиво. От человека из команды разработчиков OpenStack. Но он 
смотрит на задачу через призму своего применения. А там разворачивание 
пары десятков вирталок одновременно, чтоб потом в них тестировать облака 
и т.п. Такие задачи, наверное, требуют специфических подходов и 
инструментов, которые не самые лучшие для моей задачи.