Re: [Comm] Падение скорости доступа NFS и CIFS (Smb)

Re: [Comm] Падение скорости доступа NFS и CIFS (Smb)

[Arcady V. Ivanov]

----- "Aleksander N. Gorohovski" <angel@feht.dgtu.donetsk.ua> пишет:

> Уважаемое сообщество,
> Доброго времени суток!
> 
> 
> Подскажите, с чем может быть связано,
> что скорость доступа (например, чтение) к различным каталогам,
> расположенным на одном сервере, на одном винте различается в 15-20
> раз.
> 
> Суть проблемы такова:
> 
> 1.
> На сервер есть каталоги
> /var/ftp/public
> и
> /home/user
> 
> Эти каталоги доступны по Samba
> /var/ftp/public --- только RO (чтение)
> /home/user --- RW (чтение и запись)
> 
> и с одинаковыми настройками экспортируются сервером по NFS.
> $ cat /etc/exports
> 
> /home/user
> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
> /var/ftp/public
> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
> 
> 2.
> На клиентской машине монтируются через fstab
> $ cat /etc/fstab
> 
> 192.168.0.1:/home/user   /home/user/server-nfs nfs bg,hard,ro  1 0
> 192.168.0.1:/var/ftp/public  /home/user/public nfs bg,hard,ro  1 0
> 
> //192.168.0.1/home  /home/user/server-smb cifs
> users,username=user,password=***,rw,uid=user,gid=user 1 0
> 
> 
> 3.
> Получается при копировании, например, в mc
> 
> из каталога public (он смонтирован как NFS ресурс) скорость достигает
> 190-250 кб/с
> 
> из server-nfs --- скорость 6-18 кб/с, и процес идёт ужасно медленно, с
> какими то рывками, часто-густо зависает и не доходит до конца.
> 
> из server-smb --- скорость самая низкая 4-12 кб/с, тоже рывками,
> правда
> хоть не зависает.
> 
> 
> Может кто-нибудь подскажет как увеличить ускорить скорость во 2-м (с
> NFS)
> или 3-м (samba) случае.

1. Судя по кошмарно низкой скорости, похоже на то, что сетевая карта
у вас включена на 10 мегабит, да ещё и в полудуплексе. Иногда это бывает
проблемой свича или проводов. Проверьте, что выдаёт:

  ethtool eth0

Вместо eth0 укажите сетевой интерфейс сервера.

2. При перегрузке свичей (судя по результатам,скорость на свиче совсем низкая)
это стандартная картина - у меня по NFS скорость была 8-10MB/s и 
одновременно на Самбе падала до 0.5-3MB/s (MB - это мегабайты).
Оказалось, что через свич много неучтёнки бегало. Когда админ
разрулил потоки, скорость на Самбе поднялась до 5-7MB/s.

3. Уберите "sync" из опций монтирования. Гарантировано улучшите скорость.
Но это уже после того, как разберётесь, почему у вас килобайты в секунду
вместо мегабайтов.


-- 
С уважением.
Гл. специалист по ИТ ИКИР ДВО РАН.
Аркадий Иванов.
Sincerely yours.
My site http://www.arccomm.ru

Re: [Comm] Падение скорости доступа NFS и CIFS (Smb)

[Aleksander N. Gorohovski]

On Mon, 01 Feb 2010 13:35:57 +0200, Arcady V. Ivanov wrote:

> ----- "Aleksander N. Gorohovski" пишет:

>> Подскажите, с чем может быть связано,
>> что скорость доступа (например, чтение) к различным каталогам,
>> расположенным на одном сервере, на одном винте различается в 15-20
>> раз.
>>
>> Суть проблемы такова:
>>
>> 1.
>> На сервер есть каталоги
>> /var/ftp/public
>> и
>> /home/user
>>
>> Эти каталоги доступны по Samba
>> /var/ftp/public --- только RO (чтение)
>> /home/user --- RW (чтение и запись)
>>
>> и с одинаковыми настройками экспортируются сервером по NFS.
>> $ cat /etc/exports
>>
>> /home/user
>> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
>> /var/ftp/public
>> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
>>
>> 2.
>> На клиентской машине монтируются через fstab
>> $ cat /etc/fstab
>>
>> 192.168.0.1:/home/user   /home/user/server-nfs nfs bg,hard,ro  1 0
>> 192.168.0.1:/var/ftp/public  /home/user/public nfs bg,hard,ro  1 0
>>
>> //192.168.0.1/home  /home/user/server-smb cifs
>> users,username=user,password=***,rw,uid=user,gid=user 1 0
>>
>>
>> 3.
>> Получается при копировании, например, в mc
>>
>> из каталога public (он смонтирован как NFS ресурс) скорость достигает
>> 190-250 кб/с
>>
>> из server-nfs --- скорость 6-18 кб/с, и процес идёт ужасно медленно, с
>> какими то рывками, часто-густо зависает и не доходит до конца.
>>
>> из server-smb --- скорость самая низкая 4-12 кб/с, тоже рывками,
>> правда
>> хоть не зависает.
>>
> 1. Судя по кошмарно низкой скорости, похоже на то, что сетевая карта
> у вас включена на 10 мегабит, да ещё и в полудуплексе. Иногда это бывает
> проблемой свича или проводов. Проверьте, что выдаёт:

Да, сеть действительно 10 мегабитная и дело скорее всего в проводах,
но с этим ничего не поделаеш и приходится перстраивать работу сетевой на  
10 полудуплекс.
А свич обеспечивает потенциальную поддержку до 100.

Но проблема не в этом. Я бы радовался и 10 мегабит
и эта скорость обеспечивается для каталога public,
но почему для другого каталога она на более чем на порядок ниже

не могу понять
:(


>   ethtool eth0
кусь

> 3. Уберите "sync" из опций монтирования. Гарантировано улучшите скорость.
> Но это уже после того, как разберётесь, почему у вас килобайты в секунду
> вместо мегабайтов.

Спасибо.
Убрал. Но к сожалению существенного прироста по скорости не обнаружил.
:(

Re: [Comm] Падение скорости доступа NFS и CIFS (Smb)

[Arcady V. Ivanov]

----- "Aleksander N. Gorohovski" <angel@feht.dgtu.donetsk.ua> пишет:

> On Mon, 01 Feb 2010 13:35:57 +0200, Arcady V. Ivanov wrote:
> 
> > ----- "Aleksander N. Gorohovski" пишет:
> 
> >> Подскажите, с чем может быть связано,
> >> что скорость доступа (например, чтение) к различным каталогам,
> >> расположенным на одном сервере, на одном винте различается в 15-20
> >> раз.
> >>
> >> Суть проблемы такова:
> >>
> >> 1.
> >> На сервер есть каталоги
> >> /var/ftp/public
> >> и
> >> /home/user
> >>
> >> Эти каталоги доступны по Samba
> >> /var/ftp/public --- только RO (чтение)
> >> /home/user --- RW (чтение и запись)
> >>
> >> и с одинаковыми настройками экспортируются сервером по NFS.
> >> $ cat /etc/exports
> >>
> >> /home/user
> >>
> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
> >> /var/ftp/public
> >>
> 192.168.0.0/24(ro,nohide,sync,insecure,root_squash,no_subtree_check)
> >>
> >> 2.
> >> На клиентской машине монтируются через fstab
> >> $ cat /etc/fstab
> >>
> >> 192.168.0.1:/home/user   /home/user/server-nfs nfs bg,hard,ro  1 0
> >> 192.168.0.1:/var/ftp/public  /home/user/public nfs bg,hard,ro  1 0
> >>
> >> //192.168.0.1/home  /home/user/server-smb cifs
> >> users,username=user,password=***,rw,uid=user,gid=user 1 0
> >>
> >>
> >> 3.
> >> Получается при копировании, например, в mc
> >>
> >> из каталога public (он смонтирован как NFS ресурс) скорость
> достигает
> >> 190-250 кб/с
> >>
> >> из server-nfs --- скорость 6-18 кб/с, и процес идёт ужасно
> медленно, с
> >> какими то рывками, часто-густо зависает и не доходит до конца.
> >>
> >> из server-smb --- скорость самая низкая 4-12 кб/с, тоже рывками,
> >> правда
> >> хоть не зависает.
> >>
> > 1. Судя по кошмарно низкой скорости, похоже на то, что сетевая карта
> > у вас включена на 10 мегабит, да ещё и в полудуплексе. Иногда это
> бывает
> > проблемой свича или проводов. Проверьте, что выдаёт:
> 
> Да, сеть действительно 10 мегабитная и дело скорее всего в проводах,
> но с этим ничего не поделаеш и приходится перстраивать работу сетевой
> на
> 10 полудуплекс.
> А свич обеспечивает потенциальную поддержку до 100.
> 
> Но проблема не в этом. Я бы радовался и 10 мегабит
> и эта скорость обеспечивается для каталога public,
> но почему для другого каталога она на более чем на порядок ниже
> 
> не могу понять
> :(
> 
> 
> >   ethtool eth0
> кусь
> 
> > 3. Уберите "sync" из опций монтирования. Гарантировано улучшите
> скорость.
> > Но это уже после того, как разберётесь, почему у вас килобайты в
> секунду
> > вместо мегабайтов.
> 
> Спасибо.
> Убрал. Но к сожалению существенного прироста по скорости не обнаружил.
> :(

У вас бьются физические пакеты. 

Ещё у некоторых свичей (например 3COM) есть привычка вырубать порт
на пару секунд при превышении % бродкастов выше 5. Это очень даже
касается Samba.

Это всё настраивается, но в при тех скоростях, которые вы показали,
дешевле сеть перепроложить, WiFi поставить, DSL настроить на тех
же витых парах, вообще - всё, что угодно, только не изучать проблемы
таймаутов TCP/UDP протоколов на неработающей физической сети.


-- 
С уважением.
Гл. специалист по ИТ ИКИР ДВО РАН.
Аркадий Иванов.
Sincerely yours.
My site http://www.arccomm.ru

Re: [Comm] Падение скорости доступа NFS и CIFS (Smb)

[Aleksander Gorohovski]

On Mon, 01 Feb 2010 16:36:43 +0200, Arcady V. Ivanov wrote:

>

  кусь

>
> У вас бьются физические пакеты.

Странно  получается, при доступе к одному каталогу пакеты не бьются и  
скорость
сносная на уровне 250 кб/с, а для другого каталога почему то бьются и  
скорость из-за
этого падает в 20 раз.

Попробовал пропинговать

$ ping 192.168.0.1
PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data.
64 bytes from 192.168.0.1: icmp_seq=1 ttl=64 time=0.382 ms
64 bytes from 192.168.0.1: icmp_seq=2 ttl=64 time=0.338 ms
64 bytes from 192.168.0.1: icmp_seq=3 ttl=64 time=0.307 ms

кусь

--- 192.168.0.1 ping statistics ---
13 packets transmitted, 13 received, 0% packet loss, time 12000ms
rtt min/avg/max/mdev = 0.297/0.325/0.382/0.029 ms

Потерянные  не обнаруживаются.
или битые как то иначе обнаруживаются.

> Ещё у некоторых свичей (например 3COM) есть привычка вырубать порт
> на пару секунд при превышении % бродкастов выше 5. Это очень даже
> касается Samba.

Может и ваша правда. Свич действительно --- 3COM.

> Это всё настраивается, но в при тех скоростях, которые вы показали,
> дешевле сеть перепроложить, WiFi поставить, DSL настроить на тех
> же витых парах, вообще - всё, что угодно, только не изучать проблемы
> таймаутов TCP/UDP протоколов на неработающей физической сети.

Эка вы размахнулись --- WiFi , DSL, оптоволокно проложить.
:)

"Где деньги? Зин."
(Высоцкий)