[Hardware] Fwd: [LINUX] Big storage (>2TB)

[Hardware] Fwd: [LINUX] Big storage (>2TB)

[Michael Shigorin]

----- Forwarded message from Vladimir Velychko <vvelychko/gmail.com> -----

Date: Wed, 21 Jun 2006 18:23:06 +0300
From: "Vladimir Velychko" <vvelychko/gmail.com>
To: linux-list/linux.kiev.ua
Subject: [LINUX] Big storage (>2TB)

 Большой привет!
Клиент подбросил задачку (хотелку) нашим серверщикам.
Разбирать же пришлось мне. Задача в принципе не сложная -
большое хранилище (>2TB). Но прикол оказался в том, что
этот DAS нужно было заставить работать под OS GNU/Linux.
Хранилище (Areca ARC-6360) можно сконфигурить как LBA64,
или как Windos-совместимое. В последнем оно нормально
работает под 32-х разрядной версией Win2003.
Весь трах описывать не буду, расскажу итоги в кратце.
Получилось "поиметь" один большой девайс путём разбиения
средствами самого девайса хранилища на несколько <2TB дисков,
и объединением их в один средствами линуксового LVM2.
Подключения одного большого хранилища (2.7ТБ) в режиме LBA64
к 64-х разрядной платформе (AMD64) с установленным на ней
Убунту-5.0.5-64бита не решило проблемы. Упёрся в линуховый SCSI.
При загрузке драйвера SCSI контроллера получаю такую ругань:
======================
sdb : very big device. try to use READ CAPACITY(16).
sdb : READ CAPACITY(16) failed.
sdb : status=1, message=00, host=0, driver=08
sdb : use 0xffffffff as device size
SCSI device sdb: 4294967296 512-byte hdwr sectors (2199023 MB)
======================
Т.е. стоящий на борту линукса контроллер видит всего только 2ТБ.
Эти 2ТБ вполне себе доступны и диск работает без проблем.

Смена одного SCSI контроллера на другой ни как не повлияла на
ситуацию - всё одно "READ CAPACITY(16) failed".

Вопрос: может собака порылась в линуховых scsi дриверах?
Напоминает жёсткое ограничение в 2ТБ, забитое кодерами в драйвер.

PS: клиент "сдался" и решил ставить под это хранилище винду, но
вопрос остался не решён в принципе.
-- 
VEL-[RIPE|UANIC]

----- End forwarded message -----

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] Fwd: [LINUX] Big storage (>2TB)

[Pavlov Konstantin]

[-- Attachment #1: Type: text/plain, Size: 2569 bytes --]

On Monday 26 June 2006 00:31, Michael Shigorin wrote:
> Клиент подбросил задачку (хотелку) нашим серверщикам.
> Разбирать же пришлось мне. Задача в принципе не сложная -
> большое хранилище (>2TB). Но прикол оказался в том, что
> этот DAS нужно было заставить работать под OS GNU/Linux.
> Хранилище (Areca ARC-6360) можно сконфигурить как LBA64,
> или как Windos-совместимое. В последнем оно нормально
> работает под 32-х разрядной версией Win2003.
> Весь трах описывать не буду, расскажу итоги в кратце.
> Получилось "поиметь" один большой девайс путём разбиения
> средствами самого девайса хранилища на несколько <2TB дисков,
> и объединением их в один средствами линуксового LVM2.
> Подключения одного большого хранилища (2.7ТБ) в режиме LBA64
> к 64-х разрядной платформе (AMD64) с установленным на ней
> Убунту-5.0.5-64бита не решило проблемы. Упёрся в линуховый SCSI.
> При загрузке драйвера SCSI контроллера получаю такую ругань:
> ======================
> sdb : very big device. try to use READ CAPACITY(16).
> sdb : READ CAPACITY(16) failed.
> sdb : status=1, message=00, host=0, driver=08
> sdb : use 0xffffffff as device size
> SCSI device sdb: 4294967296 512-byte hdwr sectors (2199023 MB)
> ======================
> Т.е. стоящий на борту линукса контроллер видит всего только 2ТБ.
> Эти 2ТБ вполне себе доступны и диск работает без проблем.
>
> Смена одного SCSI контроллера на другой ни как не повлияла на
> ситуацию - всё одно "READ CAPACITY(16) failed".
>
> Вопрос: может собака порылась в линуховых scsi дриверах?
> Напоминает жёсткое ограничение в 2ТБ, забитое кодерами в драйвер.
>
> PS: клиент "сдался" и решил ставить под это хранилище винду, но
> вопрос остался не решён в принципе.

Странно.

/dev/mapper/exchange-massive 6,9T  5,0T  1,9T  73% /var/ftp

---
3w-9xxx: scsi1: Found a 3ware 9000 Storage Controller at 0xda200000, IRQ: 18.
3w-9xxx: scsi1: Firmware FE9X 2.06.00.009, BIOS BE9X 2.03.01.051, Ports: 8.
  Vendor: AMCC      Model: 9500S-8MI  DISK   Rev: 2.06
  Type:   Direct-Access                      ANSI SCSI revision: 03
ACPI: PCI Interrupt 0000:02:03.0[A] -> GSI 28 (level, low) -> IRQ 19
---
---
sdc : very big device. try to use READ CAPACITY(16).
SCSI device sdc: 8788875264 512-byte hdwr sectors (4499904 MB)
SCSI device sdc: drive cache: write back, no read (daft)
 sdc: unknown partition table
Attached scsi disk sdc at scsi4, channel 0, id 0, lun 0
---

Опять же, amd64, вертелось со времен 2.6.12 нашего.
Но это, конечно, не external storage.

-- 
Pavlov Konstantin,
ALT Linux Team,
VideoLAN Team,
jid: thresh@altlinux.org

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] Fwd: [LINUX] Big storage (>2TB)

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2062 bytes --]

On Sun, Jun 25, 2006 at 11:31:18PM +0300, Michael Shigorin wrote:
> ----- Forwarded message from Vladimir Velychko <vvelychko/gmail.com> -----
> 
> Date: Wed, 21 Jun 2006 18:23:06 +0300
> From: "Vladimir Velychko" <vvelychko/gmail.com>
> To: linux-list/linux.kiev.ua
> Subject: [LINUX] Big storage (>2TB)
> 
>  Большой привет!
> Клиент подбросил задачку (хотелку) нашим серверщикам.
> Разбирать же пришлось мне. Задача в принципе не сложная -
> большое хранилище (>2TB). Но прикол оказался в том, что
> этот DAS нужно было заставить работать под OS GNU/Linux.
> Хранилище (Areca ARC-6360) можно сконфигурить как LBA64,
> или как Windos-совместимое. В последнем оно нормально
> работает под 32-х разрядной версией Win2003.
> Весь трах описывать не буду, расскажу итоги в кратце.
> Получилось "поиметь" один большой девайс путём разбиения
> средствами самого девайса хранилища на несколько <2TB дисков,
> и объединением их в один средствами линуксового LVM2.
> Подключения одного большого хранилища (2.7ТБ) в режиме LBA64
> к 64-х разрядной платформе (AMD64) с установленным на ней
> Убунту-5.0.5-64бита не решило проблемы. Упёрся в линуховый SCSI.
> При загрузке драйвера SCSI контроллера получаю такую ругань:
> ======================
> sdb : very big device. try to use READ CAPACITY(16).
> sdb : READ CAPACITY(16) failed.
> sdb : status=1, message=00, host=0, driver=08
> sdb : use 0xffffffff as device size
> SCSI device sdb: 4294967296 512-byte hdwr sectors (2199023 MB)
> ======================
> Т.е. стоящий на борту линукса контроллер видит всего только 2ТБ.
> Эти 2ТБ вполне себе доступны и диск работает без проблем.
> 
> Смена одного SCSI контроллера на другой ни как не повлияла на
> ситуацию - всё одно "READ CAPACITY(16) failed".
> 
> Вопрос: может собака порылась в линуховых scsi дриверах?
> Напоминает жёсткое ограничение в 2ТБ, забитое кодерами в драйвер.

А какие именно были контроллеры, какой драйвер и версия ядра?  Некоторые
контроллеры/драйверы действительно не поддерживают 16-байтовые команды.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] Fwd: [LINUX] Big storage (>2TB)

[Maxim Tyurin]

- Show quoted text -
On 6/26/06, Sergey Vlasov <vsu@altlinux.ru> wrote:
> On Sun, Jun 25, 2006 at 11:31:18PM +0300, Michael Shigorin wrote:
> > ----- Forwarded message from Vladimir Velychko <vvelychko/gmail.com> -----
> >
> > Date: Wed, 21 Jun 2006 18:23:06 +0300
> > From: "Vladimir Velychko" <vvelychko/gmail.com>
> > To: linux-list/linux.kiev.ua
> > Subject: [LINUX] Big storage (>2TB)
> >
> >  Большой привет!
> > Клиент подбросил задачку (хотелку) нашим серверщикам.
> > Разбирать же пришлось мне. Задача в принципе не сложная -
> > большое хранилище (>2TB). Но прикол оказался в том, что
> > этот DAS нужно было заставить работать под OS GNU/Linux.
> > Хранилище (Areca ARC-6360) можно сконфигурить как LBA64,
> > или как Windos-совместимое. В последнем оно нормально
> > работает под 32-х разрядной версией Win2003.
> > Весь трах описывать не буду, расскажу итоги в кратце.
> > Получилось "поиметь" один большой девайс путём разбиения
> > средствами самого девайса хранилища на несколько <2TB дисков,
> > и объединением их в один средствами линуксового LVM2.
> > Подключения одного большого хранилища (2.7ТБ) в режиме LBA64
> > к 64-х разрядной платформе (AMD64) с установленным на ней
> > Убунту-5.0.5-64бита не решило проблемы. Упёрся в линуховый SCSI.
> > При загрузке драйвера SCSI контроллера получаю такую ругань:
> > ======================
> > sdb : very big device. try to use READ CAPACITY(16).
> > sdb : READ CAPACITY(16) failed.
> > sdb : status=1, message=00, host=0, driver=08
> > sdb : use 0xffffffff as device size
> > SCSI device sdb: 4294967296 512-byte hdwr sectors (2199023 MB)
> > ======================
> > Т.е. стоящий на борту линукса контроллер видит всего только 2ТБ.
> > Эти 2ТБ вполне себе доступны и диск работает без проблем.
> >
> > Смена одного SCSI контроллера на другой ни как не повлияла на
> > ситуацию - всё одно "READ CAPACITY(16) failed".
> >
> > Вопрос: может собака порылась в линуховых scsi дриверах?
> > Напоминает жёсткое ограничение в 2ТБ, забитое кодерами в драйвер.
>
> А какие именно были контроллеры, какой драйвер и версия ядра?  Некоторые
> контроллеры/драйверы действительно не поддерживают 16-байтовые команды.
Первый контроллер Adaptec 29320ALP Ultra320;
драйвер Adaptec AIC79XX PCI-X SCSI HBA DRIVER,
Rev 1.3.11, (т.е. aic79xx).
Второй контроллер LSI 20320-R; драйвер - какой-то
из трёх Fusion MPT.

PS: спасибо за проявленный интерес.
--
VEL-[RIPE|UANIC]

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Hardware] Fwd: [LINUX] Big storage (>2TB)

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2310 bytes --]

On Mon, Jun 26, 2006 at 01:44:59PM +0300, Vladimir Velychko wrote:
[...]
> >> При загрузке драйвера SCSI контроллера получаю такую ругань:
> >> ======================
> >> sdb : very big device. try to use READ CAPACITY(16).
> >> sdb : READ CAPACITY(16) failed.
> >> sdb : status=1, message=00, host=0, driver=08
> >> sdb : use 0xffffffff as device size
> >> SCSI device sdb: 4294967296 512-byte hdwr sectors (2199023 MB)
> >> ======================
> >> Т.е. стоящий на борту линукса контроллер видит всего только 2ТБ.
> >> Эти 2ТБ вполне себе доступны и диск работает без проблем.
> >>
> >> Смена одного SCSI контроллера на другой ни как не повлияла на
> >> ситуацию - всё одно "READ CAPACITY(16) failed".
> >>
> >> Вопрос: может собака порылась в линуховых scsi дриверах?
> >> Напоминает жёсткое ограничение в 2ТБ, забитое кодерами в драйвер.
> >
> >А какие именно были контроллеры, какой драйвер и версия ядра?  Некоторые
> >контроллеры/драйверы действительно не поддерживают 16-байтовые команды.
> Первый контроллер Adaptec 29320ALP Ultra320;
> драйвер Adaptec AIC79XX PCI-X SCSI HBA DRIVER,
> Rev 1.3.11, (т.е. aic79xx).

Этот драйвер действительно до сих пор не поддерживает команды длиннее 12
байт (установки max_cmd_len в нём нет).  К сожалению, драйверы aic79xx и
aic7xxx сейчас поддерживаются не очень хорошо - разработчики из Adaptec их
забросили, поэтому поддержка 16-байтовых команд в них вряд ли появится
(даже если аппаратно они поддерживаются, что тоже может быть не всегда).

> Второй контроллер LSI 20320-R; драйвер - какой-то из трёх Fusion MPT.

Либо mptspi, либо mptscsih в более старых ядрах.  Вот это странно - вроде
бы эти драйверы должны поддерживать 16-байтовые команды, причём поддержка
есть уже довольно давно (точно есть в 2.6.16-rc2, дальше заглядывать в
историю не совсем удобно).  С этим контроллером была та же самая ошибка,
или всё-таки немного другая?

Вообще в 2.6.16 поддержка 16-байтовых команд есть в следующих драйверах:

 - 3w-xxxx, 3w-9xxx (хотя это на самом деле не SCSI);
 - aacraid;
 - dc395x;
 - gdth (не на всех вариантах железа - проверяется вместе с поддержкой
   64-bit DMA);
 - ipr;
 - iscsi_tcp;
 - драйверы SATA, использующие libata;
 - megaraid_sas;
 - qla2xxx;
 - sym53c8xx;
 - mptspi, mptfc, mptsas.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]