* Re: [Sysadmins] Оценка траффика
2007-03-13 11:53 [Sysadmins] Оценка траффика Andrey Kuleshov
@ 2007-03-13 12:18 ` Marat Khayrullin
2007-03-13 12:28 ` Marat Khayrullin
` (2 subsequent siblings)
3 siblings, 0 replies; 18+ messages in thread
From: Marat Khayrullin @ 2007-03-13 12:18 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Andrey Kuleshov пишет:
> Здравствуйте!
>
> Есть терминалсервер, к которому клиенты ходят по vnc:/
> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При
> одном подключении скорость/комфортность работы прекрасная, при двух --
> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит
> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.
> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на
> предмет обнаружения узкого места.
>
> Спасибо!
>
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-13 11:53 [Sysadmins] Оценка траффика Andrey Kuleshov
2007-03-13 12:18 ` Marat Khayrullin
@ 2007-03-13 12:28 ` Marat Khayrullin
2007-03-13 17:14 ` Nikolay Hvan
2007-03-14 5:21 ` Dmitry Dolgopolov
3 siblings, 0 replies; 18+ messages in thread
From: Marat Khayrullin @ 2007-03-13 12:28 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Andrey Kuleshov пишет:
> Здравствуйте!
>
> Есть терминалсервер, к которому клиенты ходят по vnc:/
> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При
> одном подключении скорость/комфортность работы прекрасная, при двух --
> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит
> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.
> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на
> предмет обнаружения узкого места.
>
> Спасибо!
>
во время загрузки канала
1. traceroute (задержки)
2. ethereal (например, от кого приходят icmp 4)
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-13 11:53 [Sysadmins] Оценка траффика Andrey Kuleshov
2007-03-13 12:18 ` Marat Khayrullin
2007-03-13 12:28 ` Marat Khayrullin
@ 2007-03-13 17:14 ` Nikolay Hvan
2007-03-14 6:29 ` Dmitriy L. Kruglikov
2007-03-14 9:48 ` Andrey Kuleshov
2007-03-14 5:21 ` Dmitry Dolgopolov
3 siblings, 2 replies; 18+ messages in thread
From: Nikolay Hvan @ 2007-03-13 17:14 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Здравствуйте, Andrey.
Вы писали 13 марта 2007 г., 16:53:03:
> Здравствуйте!
> Есть терминалсервер, к которому клиенты ходят по vnc:/
> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При
> одном подключении скорость/комфортность работы прекрасная, при двух --
> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит
> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.
> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на
> предмет обнаружения узкого места.
> Спасибо!
Если я правильно понимаю Вас, у вас на терминальном сервере 1 Мбит, и
три клиента работают через один радиоканал 256 Кбит? И сервер под
Windows?
Если да, то клинетам вырубить все возможные настройки графики и
отображения - 256 цветов, отключить поддержку тем, картинок рабочего
стола, эффектов отображения (всяческие выпадающие меню) и прочих
графических наворотов - должно немного помочь.
По моему глубокому убеждению, 256 Кбит - это для нормальной работы
одного клиент vnc. Для трех - однозначно - мало. Нужно расширять
канал.
Все вышесказанное относится к реализации терминалсервера под Windows.
--
С уважением,
Nikolay mailto:nikolay.hvan@gmail.com
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-13 17:14 ` Nikolay Hvan
@ 2007-03-14 6:29 ` Dmitriy L. Kruglikov
2007-03-14 9:52 ` Andrey Kuleshov
2007-03-14 9:48 ` Andrey Kuleshov
1 sibling, 1 reply; 18+ messages in thread
From: Dmitriy L. Kruglikov @ 2007-03-14 6:29 UTC (permalink / raw)
To: Nikolay Hvan, ALT Linux sysadmin discuss
На календаре было: Вторник, 13 Март 2007 года,
Nikolay Hvan писал(а) в сообщении:
NH == Nikolay Hvan
NH> По моему глубокому убеждению, 256 Кбит - это для нормальной работы
NH> одного клиент vnc. Для трех - однозначно - мало.
Мои тесты показали, что для нормальной работы терминальной сессии
хватает 128К...
256К вполне нормально для трех клиентов, так как пики активности
редко совпадают во времени. Даже 4 потянет, но уже с тормозами.
Естественно, что нужно провести все возможные оптимизации,
отключить мапинг локальных дисков, звука, тем и т.д.
Особое внимание нужно обратить на всякие анимированные заставки
при запуске 1С, например...
Ну а канал расширять, это святое ...
Особенно, если в этот канал кто-нить попытается залить почтовое сообщение
на 10М ... Нескольким сотрудникам одновременно :)...
P.S. Хорошие результаты показал наш клиент rdesktop.
Шустрее, чем родной под Вынь.
--
Best regards,
Dmitriy L. Kruglikov .--.
Dmitriy.Kruglikov_at_gmail_dot_com |@_@ |
DKR6-RIPE |!_/ |
XMPP:dkr6@jabber.ru // \ \
(| | )
/'\_ _/`\
Powered by Linux \___)=(___/
-- Мысль --
Говори не о том, что прочел, а о том, что понял.
-- Азербайджанская пословица
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 6:29 ` Dmitriy L. Kruglikov
@ 2007-03-14 9:52 ` Andrey Kuleshov
2007-03-14 10:18 ` Шенцев Алексей Владимирович
0 siblings, 1 reply; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 9:52 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Dmitriy L. Kruglikov wrote:
> На календаре было: Вторник, 13 Март 2007 года,Nikolay Hvan писал(а) в сообщении:
> NH == Nikolay Hvan
> NH> По моему глубокому убеждению, 256 Кбит - это для нормальной работыNH> одного клиент vnc. Для трех - однозначно - мало.
> Мои тесты показали, что для нормальной работы терминальной сессии хватает 128К...256К вполне нормально для трех клиентов, так как пики активностиредко совпадают во времени. Даже 4 потянет, но уже с тормозами.
>
У меня начинает сильно тормозить на третьей :(
> P.S. Хорошие результаты показал наш клиент rdesktop. Шустрее, чем родной под Вынь.
>
М... а существует ли rdesktop server? В смысле как коннектиться к
терминальным сессиям?
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 9:52 ` Andrey Kuleshov
@ 2007-03-14 10:18 ` Шенцев Алексей Владимирович
2007-03-14 11:00 ` Andrey Kuleshov
0 siblings, 1 reply; 18+ messages in thread
From: Шенцев Алексей Владимирович @ 2007-03-14 10:18 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
В сообщении от Wednesday 14 March 2007 12:52:00 Andrey Kuleshov написал(а):
> В смысле как коннектиться к терминальным сессиям?
Я конекчусь таким скриптом, просто лень набирать в командной строке,:
#!/bin/sh
rdesktop <servername> -u <username> -p <userpassword> -k en-us -g 920x690
--
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 10:18 ` Шенцев Алексей Владимирович
@ 2007-03-14 11:00 ` Andrey Kuleshov
2007-03-14 11:05 ` Шенцев Алексей Владимирович
0 siblings, 1 reply; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 11:00 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Шенцев Алексей Владимирович wrote:
> В сообщении от Wednesday 14 March 2007 12:52:00 Andrey Kuleshov написал(а):
>
>> В смысле как коннектиться к терминальным сессиям?
>>
> Я конекчусь таким скриптом, просто лень набирать в командной строке,:
> #!/bin/sh
> rdesktop <servername> -u <username> -p <userpassword> -k en-us -g 920x690
>
А откуда взять <servername> для сессий на терминалсервере?
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 11:00 ` Andrey Kuleshov
@ 2007-03-14 11:05 ` Шенцев Алексей Владимирович
2007-03-14 11:09 ` Andrey Kuleshov
0 siblings, 1 reply; 18+ messages in thread
From: Шенцев Алексей Владимирович @ 2007-03-14 11:05 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
В сообщении от Wednesday 14 March 2007 14:00:40 Andrey Kuleshov написал(а):
> А откуда взять <servername> для сессий на терминалсервере?
Ммммм .... <servername> -это имя компа, к которому ты конектишься. У меня их,
серверов, на которых установлены сервер терминалов, несколько, например,
такие: consultant, srv1c. Вместо имени компа можно указать ip-адрес.
--
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 11:05 ` Шенцев Алексей Владимирович
@ 2007-03-14 11:09 ` Andrey Kuleshov
0 siblings, 0 replies; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 11:09 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Шенцев Алексей Владимирович wrote:
> В сообщении от Wednesday 14 March 2007 14:00:40 Andrey Kuleshov написал(а):
>
>> А откуда взять <servername> для сессий на терминалсервере?
>>
> Ммммм .... <servername> -это имя компа, к которому ты конектишься.
Физический комп под линуксом, туда и ssh прекрасно коннектится
> У меня их,
> серверов, на которых установлены сервер терминалов, несколько, например,
> такие: consultant, srv1c. Вместо имени компа можно указать ip-адрес.
>
Спасибо! Бум пробовать обращение по ip.
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-13 17:14 ` Nikolay Hvan
2007-03-14 6:29 ` Dmitriy L. Kruglikov
@ 2007-03-14 9:48 ` Andrey Kuleshov
2007-03-14 10:00 ` Dmitriy L. Kruglikov
1 sibling, 1 reply; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 9:48 UTC (permalink / raw)
To: Nikolay Hvan, ALT Linux sysadmin discuss
Nikolay Hvan wrote:
> Здравствуйте, Andrey.
>
> Вы писали 13 марта 2007 г., 16:53:03:
>
>
>> Здравствуйте!
>>
>
>
>> Есть терминалсервер, к которому клиенты ходят по vnc:/
>> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При
>> одном подключении скорость/комфортность работы прекрасная, при двух --
>> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит
>> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.
>> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на
>> предмет обнаружения узкого места.
>>
>
>
>> Спасибо!
>>
>
>
> Если я правильно понимаю Вас, у вас на терминальном сервере 1 Мбит, и
> три клиента работают через один радиоканал 256 Кбит? И сервер под
> Windows?
>
Сервер под ALT Sisyphus x86_64 почти текущий + win4lin TS + vncserver
4.1.1 из FC7. Точнее это кластер терминалсервер+сервер БД. Базы пока
вертятся на M$SQL до появления 1С 8.1, потом переход на Postgres
> Если да, то клинетам вырубить все возможные настройки графики и
> отображения - 256 цветов, отключить поддержку тем, картинок рабочего
> стола, эффектов отображения (всяческие выпадающие меню) и прочих
> графических наворотов - должно немного помочь.
>
Это, естественно, сделано.
> По моему глубокому убеждению, 256 Кбит - это для нормальной работы
> одного клиент vnc. Для трех - однозначно - мало. Нужно расширять
> канал.
>
Ок! Вот это и выяснялось.
> Все вышесказанное относится к реализации терминалсервера под Windows.
>
Похоже, к терминалсерверам вообще
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 9:48 ` Andrey Kuleshov
@ 2007-03-14 10:00 ` Dmitriy L. Kruglikov
2007-03-14 11:04 ` Andrey Kuleshov
0 siblings, 1 reply; 18+ messages in thread
From: Dmitriy L. Kruglikov @ 2007-03-14 10:00 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
На календаре было: Среда, 14 Март 2007 года,
Andrey Kuleshov писал(а) в сообщении:
AK == Andrey Kuleshov
AK> Сервер под ALT Sisyphus x86_64 почти текущий + win4lin TS + vncserver
AK> 4.1.1 из FC7.
А по локалке он отдается нормально на третьем коннекте ?
Может ему не хватает производительности ?
--
Best regards,
Dmitriy L. Kruglikov .--.
Dmitriy.Kruglikov_at_gmail_dot_com |@_@ |
DKR6-RIPE |!_/ |
XMPP:dkr6@jabber.ru // \ \
(| | )
/'\_ _/`\
Powered by Linux \___)=(___/
-- Мысль --
Сомнение - полпути к мудрости.
-- Публилий Сир
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 10:00 ` Dmitriy L. Kruglikov
@ 2007-03-14 11:04 ` Andrey Kuleshov
2007-03-14 11:20 ` Dmitriy L. Kruglikov
0 siblings, 1 reply; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 11:04 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Dmitriy L. Kruglikov wrote:
> На календаре было: Среда, 14 Март 2007 года,
> Andrey Kuleshov писал(а) в сообщении:
>
> AK == Andrey Kuleshov
>
> AK> Сервер под ALT Sisyphus x86_64 почти текущий + win4lin TS + vncserver
> AK> 4.1.1 из FC7.
>
> А по локалке он отдается нормально на третьем коннекте ?
> Может ему не хватает производительности ?
>
По локалке в силу qemu замедления (отставание указателя мыши во всяком
случае) видны и на первой сессии. Это не страшно. Эмулятор все-таки. А
так запас мощности у терминалсервера приличный: два четырехядерных камня
2.8Ггц с 4 гигами памяти + 2 гигабитные сетевушки
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 11:04 ` Andrey Kuleshov
@ 2007-03-14 11:20 ` Dmitriy L. Kruglikov
2007-03-14 13:11 ` Andrey Kuleshov
0 siblings, 1 reply; 18+ messages in thread
From: Dmitriy L. Kruglikov @ 2007-03-14 11:20 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
На календаре было: Среда, 14 Март 2007 года,
Andrey Kuleshov писал(а) в сообщении:
AK == Andrey Kuleshov
AK> По локалке в силу qemu замедления (отставание указателя мыши во всяком
AK> случае) видны и на первой сессии.
А если > 2 ?
Есть тормоза такие же, как и по каналу ?
Нет ли у клиента третьей сессии какого-то хитрого маппинга (локальных дисков)?
Или, не дай Бог, профиля сетевого, перемещаемого,
в котором пару фильмов заныкано?
--
Best regards,
Dmitriy L. Kruglikov .--.
Dmitriy.Kruglikov_at_gmail_dot_com |@_@ |
DKR6-RIPE |!_/ |
XMPP:dkr6@jabber.ru // \ \
(| | )
/'\_ _/`\
Powered by Linux \___)=(___/
-- Мысль --
Не будешь учиться - проживешь как мышь в погребе.
-- Максим Горький
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 11:20 ` Dmitriy L. Kruglikov
@ 2007-03-14 13:11 ` Andrey Kuleshov
0 siblings, 0 replies; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 13:11 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
Dmitriy L. Kruglikov пишет:
> На календаре было: Среда, 14 Март 2007 года,
> Andrey Kuleshov писал(а) в сообщении:
>
> AK == Andrey Kuleshov
>
> AK> По локалке в силу qemu замедления (отставание указателя мыши во всяком
> AK> случае) видны и на первой сессии.
>
> А если > 2 ?
> Есть тормоза такие же, как и по каналу ?
>
Нету. В локалке все красиво и увеличения нагрузки на терминалсервер
вообще незаметно
> Нет ли у клиента третьей сессии какого-то хитрого маппинга (локальных дисков)?
> Или, не дай Бог, профиля сетевого, перемещаемого,
> в котором пару фильмов заныкано?
>
Не! Там вообще ничего нету: терминальные сессии заточены только для
работы с 1С
Кроме того использованая версия win4lin вообще в сети ничего не
допускает, кроме как выход в инет, который виртуальным машинам,
естественно, перекрыт
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-13 11:53 [Sysadmins] Оценка траффика Andrey Kuleshov
` (2 preceding siblings ...)
2007-03-13 17:14 ` Nikolay Hvan
@ 2007-03-14 5:21 ` Dmitry Dolgopolov
2007-03-14 9:55 ` Andrey Kuleshov
3 siblings, 1 reply; 18+ messages in thread
From: Dmitry Dolgopolov @ 2007-03-14 5:21 UTC (permalink / raw)
To: ALT Linux sysadmin discuss
> Здравствуйте!
>
> Есть терминалсервер, к которому клиенты ходят по vnc:/
> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При
> одном подключении скорость/комфортность работы прекрасная, при двух --
> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит
> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.
> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на
> предмет обнаружения узкого места.
>
> Спасибо!
>
> --
>
> AK1041-UANIC
1. netflow + MRTG
Например, сенсор - fprobe, коллектор flow-capture из пакета flow-tools. Из этого же пакета и средства обработки трафика. По итогам работы получатся бинарные файлы, которые можно преобразовать в RRD-файл и "скормить" его MRTG например. Или еще чему-нибудь, чтобы наглядный график получить.
2. SNMP + MRTG
Под оффтопик есть свои сенсоры, коллекторы и т.д.
С уважением,
Дмитрий Долгополов.
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 5:21 ` Dmitry Dolgopolov
@ 2007-03-14 9:55 ` Andrey Kuleshov
2007-03-17 11:59 ` Dmitry Dolgopolov
0 siblings, 1 reply; 18+ messages in thread
From: Andrey Kuleshov @ 2007-03-14 9:55 UTC (permalink / raw)
To: Dmitry Dolgopolov, ALT Linux sysadmin discuss
Dmitry Dolgopolov wrote:
>> Здравствуйте!> > Есть терминалсервер, к которому клиенты ходят по vnc:/> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При> одном подключении скорость/комфортность работы прекрасная, при двух --> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на> предмет обнаружения узкого места.> > Спасибо!> > -- > > AK1041-UANIC
>>
> 1. netflow + MRTGНапример, сенсор - fprobe, коллектор flow-capture из пакета flow-tools. Из этого же пакета и средства обработки трафика. По итогам работы получатся бинарные файлы, которые можно преобразовать в RRD-файл и "скормить" его MRTG например. Или еще чему-нибудь, чтобы наглядный график получить.
> 2. SNMP + MRTG
>
А не попадался ли man/HOWTO обо всем этом? Много всего сразу :(
> Под оффтопик есть свои сенсоры, коллекторы и т.д.
>
Надеюсь, не понадобится. Винда первая в очереди на снос.
--
AK1041-UANIC
^ permalink raw reply [flat|nested] 18+ messages in thread
* Re: [Sysadmins] Оценка траффика
2007-03-14 9:55 ` Andrey Kuleshov
@ 2007-03-17 11:59 ` Dmitry Dolgopolov
0 siblings, 0 replies; 18+ messages in thread
From: Dmitry Dolgopolov @ 2007-03-17 11:59 UTC (permalink / raw)
To: Andrey Kuleshov; +Cc: ALT Linux sysadmin discuss
> Dmitry Dolgopolov wrote:
> >> Здравствуйте!> > Есть терминалсервер, к которому клиенты ходят по vnc:/> Проблема в следующем: на клиентской стороне радиоканал 256Кбит. При> одном подключении скорость/комфортность работы прекрасная, при двух --> вполне приемлемая, при третьем... все плохо. На серверной стороне 1Мбит> с WinRoute скраю. Терминалсервер заведомо достаточно мошный.> Вопрос: как и чем можно оценить скорость передачи и загрузку линии на> предмет обнаружения узкого места.> > Спасибо!> > -- > > AK1041-UANIC
> >>
> > 1. netflow + MRTGНапример, сенсор - fprobe, коллектор flow-capture из пакета flow-tools. Из этого же пакета и средства обработки трафика. По итогам работы получатся бинарные файлы, которые можно преобразовать в RRD-файл и "скормить" его MRTG например. Или еще чему-нибудь, чтобы наглядный график получить.
> > 2. SNMP + MRTG
> >
> А не попадался ли man/HOWTO обо всем этом? Много всего сразу :(
> > Под оффтопик есть свои сенсоры, коллекторы и т.д.
> >
> Надеюсь, не понадобится. Винда первая в очереди на снос.
>
>
> --
>
> AK1041-UANIC
>
>
>
По netflow вот - http://www.opennet.ru/docs/RUS/netflow_bsd/
Хотя под линукс я использовал связку fprobe-ulog + flow-tools + самописная веб-морда
По SNMP и MRTG пока посоветовать ничего немогу. Руки не доходили. Только видел как это работает и выглядит...
^ permalink raw reply [flat|nested] 18+ messages in thread