[Hardware] SAS контроллер

[Hardware] SAS контроллер

[Купраш Александр]

Доброго времени суток!

Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
Хотел поставить ALD 4.1, но контроллер видимо не подхватывается и дисков не видать...
C ALS 20080317 - такая же история
Я правильно понимаю, что как-то должен задействоваться megaraid_sas?
В логах вроде ничего путного не видно... хотя может не хватает знаний увидеть нужное...
Направьте пожалуйста в нужную сторону
Мат.плата: Supermicro X7DVL-3

Заранее спасибо!

lspci -k
03:00.0 SCSI storage controller: LSI Logic / Symbios Logic MegaRAID SAS 8208ELP/8208ELP (rev 08)

lspci -vvx
03:00.0 SCSI storage controller: LSI Logic / Symbios Logic MegaRAID SAS 8208ELP/8208ELP (rev 08)
     Subsystem: LSI Logic / Symbios Logic Device 3002
     Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr+ Stepping- SERR+ FastB2B- 
DisINTx-
     Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- 
INTx-
     Latency: 0, Cache Line Size: 32 bytes
     Interrupt: pin A routed to IRQ 9
     Region 0: I/O ports at 2000 [size=256]
     Region 1: Memory at df510000 (64-bit, non-prefetchable) [size=16K]
     Region 3: Memory at df500000 (64-bit, non-prefetchable) [size=64K]
     [virtual] Expansion ROM at d1000000 [disabled] [size=2M]
     Capabilities: [50] Power Management version 2
         Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
         Status: D0 PME-Enable- DSel=0 DScale=0 PME-
     Capabilities: [68] Express (v1) Endpoint, MSI 00
         DevCap:    MaxPayload 4096 bytes, PhantFunc 0, Latency L0s <64ns, L1 <1us
             ExtTag+ AttnBtn- AttnInd- PwrInd- RBE- FLReset-
         DevCtl:    Report errors: Correctable- Non-Fatal- Fatal- Unsupported-
             RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop+
             MaxPayload 128 bytes, MaxReadReq 4096 bytes
         DevSta:    CorrErr- UncorrErr+ FatalErr- UnsuppReq+ AuxPwr- TransPend-
         LnkCap:    Port #0, Speed 2.5GT/s, Width x8, ASPM L0s L1, Latency L0 <64ns, L1 <1us
             ClockPM- Suprise- LLActRep- BwNot-
         LnkCtl:    ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk-
             ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
         LnkSta:    Speed 2.5GT/s, Width x4, TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-
     Capabilities: [98] Message Signalled Interrupts: Mask- 64bit+ Queue=0/0 Enable-
         Address: 0000000000000000  Data: 0000
     Capabilities: [b0] MSI-X: Enable- Mask- TabSize=1
         Vector table: BAR=1 offset=00002000
         PBA: BAR=1 offset=00003000
     Capabilities: [100] Advanced Error Reporting <?>
00: 00 10 59 00 47 01 10 00 08 00 00 01 08 00 00 00
10: 01 20 00 00 04 00 51 df 00 00 00 00 04 00 50 df
20: 00 00 00 00 00 00 00 00 00 00 00 00 00 10 02 30
30: 00 00 00 00 50 00 00 00 00 00 00 00 09 01 00 00

Re: [Hardware] SAS контроллер

[Konstantin A. Lepikhov]

Hi Купраш!

Friday 24, at 02:32:55 PM you wrote:

> Доброго времени суток!
> 
> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
> Хотел поставить ALD 4.1, но контроллер видимо не подхватывается и дисков не видать...
> C ALS 20080317 - такая же история
> Я правильно понимаю, что как-то должен задействоваться megaraid_sas?
> В логах вроде ничего путного не видно... хотя может не хватает знаний увидеть нужное...
> Направьте пожалуйста в нужную сторону
> Мат.плата: Supermicro X7DVL-3
> 
> Заранее спасибо!
А как сконфигурены диски внутри этого контроллера? Если JBOD, то их должно
быть видно. Можете ли скинуть отчет system-report, загрузившись с livecd?

-- 
WBR et al.

Re: [Hardware] SAS контроллер

[Купраш Александр]

[-- Attachment #1: Type: text/plain, Size: 1063 bytes --]


> А как сконфигурены диски внутри этого контроллера? Если JBOD, то их должно
> быть видно. Можете ли скинуть отчет system-report, загрузившись с livecd?
> 
даже если просто диски как отдельные - не видно было...
тут в community подсказали сделать через шаманство с mptsas по рецепту
http://lists.altlinux.org/pipermail/hardware/2007-October/011757.html

диски в инсталяторе стали видны
правда немного смущает тема насчет сохранения биосом конфигурации где-то на дисках и необходимость 
как-то найти эти области, дабы учесть это при создании разделов...

может есть какое-то другое решение?
на всякий случай:
1 - lspci -vvx
2 - lspci -k

Заранее спасибо!


[-- Attachment #2: 1.tar.gz --]
[-- Type: application/gzip, Size: 4505 bytes --]

[-- Attachment #3: 2.tar.gz --]
[-- Type: application/gzip, Size: 866 bytes --]

Re: [Hardware] SAS контроллер

[Купраш Александр]

[-- Attachment #1: Type: text/plain, Size: 296 bytes --]


> А как сконфигурены диски внутри этого контроллера? Если JBOD, то их должно
> быть видно. Можете ли скинуть отчет system-report, загрузившись с livecd?
> 
забыл еще dmesg вложить


[-- Attachment #2: 3.tar.gz --]
[-- Type: application/gzip, Size: 9446 bytes --]

Re: [Hardware] SAS контроллер

[Michael Shigorin]

On Fri, Oct 24, 2008 at 02:32:55PM +0400, Купраш Александр wrote:
> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?

Не имел... LSI Logic / Symbios Logic SAS1068 PCI-X Fusion-MPT SAS
прекрасно работает.  Но это PCI-X.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] SAS контроллер

[Купраш Александр]

>> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
> 
> Не имел... LSI Logic / Symbios Logic SAS1068 PCI-X Fusion-MPT SAS
> прекрасно работает.  Но это PCI-X.
> 
хорошо Вам
ех, надо было ставить сата-диски и не заморачиваться вообще с доп контроллерами

Re: [Hardware] SAS контроллер

[Maks Re]

у меня был подобный контролер, на sas1068e
на какой-то мамке супермикро.
сделал следующее:
выключил в биосе рейд (ибо он не совсем честный)
собрал md и был щастлив
зы: диски в корзинке, 8 шт

потом контроллер попался на сервере хп, также выключил рейд. собрал md
(SCSI storage controller: LSI Logic / Symbios Logic SAS1064E
PCI-Express Fusion-MPT SAS (rev 08) )

pss: в каждом конкретном случае по разному выключался рейд.
в доках обычно описан этот процесс вполне корректно.

все это описано, когда вам не требуется к контроллеру sas подключать
несколько других полок aka jbod, и пр...


2008/10/28 Купраш Александр <linux@mrtrs.ru>:
>
>>> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
>>
>> Не имел... LSI Logic / Symbios Logic SAS1068 PCI-X Fusion-MPT SAS
>> прекрасно работает.  Но это PCI-X.
>>
> хорошо Вам
> ех, надо было ставить сата-диски и не заморачиваться вообще с доп
> контроллерами
>
> _______________________________________________
> Hardware mailing list
> Hardware@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/hardware



--
С уважением,
 Макс.

Re: [Hardware] SAS контроллер

[Купраш Александр]

> у меня был подобный контролер, на sas1068e
> на какой-то мамке супермикро.
> сделал следующее:
> выключил в биосе рейд (ибо он не совсем честный)
> собрал md и был щастлив
> зы: диски в корзинке, 8 шт
> 
> потом контроллер попался на сервере хп, также выключил рейд. собрал md
> (SCSI storage controller: LSI Logic / Symbios Logic SAS1064E
> PCI-Express Fusion-MPT SAS (rev 08) )
> 
> pss: в каждом конкретном случае по разному выключался рейд.
> в доках обычно описан этот процесс вполне корректно.
> 
> все это описано, когда вам не требуется к контроллеру sas подключать
> несколько других полок aka jbod, и пр...

спасибо, попробуем
а из личного опыта еще не подскажите, raid10 через md нормально работает?
просто 4 диска, наверно это самое оптимальное будет

Re: [Hardware] SAS контроллер

[Maks Re]

> а из личного опыта еще не подскажите, raid10 через md нормально работает?
> просто 4 диска, наверно это самое оптимальное будет

3 месяца, полет нормальный...
хотя нагрузки пока еще нету.

все рейды  - зависят от задач

-- 
С уважением,
  Макс.

Re: [Hardware] SAS контроллер

[Купраш Александр]

> у меня был подобный контролер, на sas1068e
> на какой-то мамке супермикро.
> сделал следующее:
> выключил в биосе рейд (ибо он не совсем честный)
> собрал md и был щастлив
> зы: диски в корзинке, 8 шт
я правильно понимаю, что контроллер встроенный в плату?

> потом контроллер попался на сервере хп, также выключил рейд. собрал md
> (SCSI storage controller: LSI Logic / Symbios Logic SAS1064E
> PCI-Express Fusion-MPT SAS (rev 08) )
> 
> pss: в каждом конкретном случае по разному выключался рейд.
> в доках обычно описан этот процесс вполне корректно.
> 
м-м, у меня просто pci-e контроллер навешан через райзер кард отдельно
и в биосе про sas не слова, на плате (supermicro 6015V-MT) только саташный
в биосе контроллера диски стоят раздельно
я тут просто вернулся к "нерешенному" серверу
с помощью совета про mptsas добился появления дисков раздельно в инсталляторе, поставил систему 
(пока из 2 дисков, для пробы в рейд 1), все красиво...
но при перезагрузке, наверно чего и следовало ожидать, грузиться не с чего -
Operation System not found
В биосе контроллера есть пунктик выбрать бут драйв, но это только доступно при сконфигуренных VD,
что как-бы наверно не стоит, ибо строим софтовый рейд, да и mptsas все равно дает диски раздельно...


может сталкивались с таким "раскладом"?


С уважением,
Купраш Александр

Re: [Hardware] SAS контроллер

[Konstantin A. Lepikhov]

Hi Купраш!

Monday 19, at 07:07:36 PM you wrote:

> > у меня был подобный контролер, на sas1068e
> > на какой-то мамке супермикро.
> > сделал следующее:
> > выключил в биосе рейд (ибо он не совсем честный)
> > собрал md и был щастлив
> > зы: диски в корзинке, 8 шт
> я правильно понимаю, что контроллер встроенный в плату?
> 
> > потом контроллер попался на сервере хп, также выключил рейд. собрал md
> > (SCSI storage controller: LSI Logic / Symbios Logic SAS1064E
> > PCI-Express Fusion-MPT SAS (rev 08) )
> > 
> > pss: в каждом конкретном случае по разному выключался рейд.
> > в доках обычно описан этот процесс вполне корректно.
> > 
> м-м, у меня просто pci-e контроллер навешан через райзер кард отдельно
> и в биосе про sas не слова, на плате (supermicro 6015V-MT) только саташный
> в биосе контроллера диски стоят раздельно
> я тут просто вернулся к "нерешенному" серверу
> с помощью совета про mptsas добился появления дисков раздельно в инсталляторе, поставил систему 
> (пока из 2 дисков, для пробы в рейд 1), все красиво...
> но при перезагрузке, наверно чего и следовало ожидать, грузиться не с чего -
> Operation System not found
> В биосе контроллера есть пунктик выбрать бут драйв, но это только доступно при сконфигуренных VD,
> что как-бы наверно не стоит, ибо строим софтовый рейд, да и mptsas все равно дает диски раздельно...
> 
> 
> может сталкивались с таким "раскладом"?
Посмотрите в BIOS настройки для PCIE слотов - там есть пункт Enable/Scan
user Area/EPROM. Вот его и надо включать, тогда при загрузке будет
проинциализирован биос навесного контроллера, если он, конечно, там есть.
Ну а дальше контроллер появится в устройствах для загрузки и его можно
будет выбрать.

-- 
WBR et al.

Re: [Hardware] SAS контроллер

[Купраш Александр]

> Посмотрите в BIOS настройки для PCIE слотов - там есть пункт Enable/Scan
> user Area/EPROM. Вот его и надо включать, тогда при загрузке будет
> проинциализирован биос навесного контроллера, если он, конечно, там есть.
> Ну а дальше контроллер появится в устройствах для загрузки и его можно
> будет выбрать.
> 
для pci есть Onboard Storage OPROM Configure - enabled

пункт ROM Scan Ordering по умолчанию стоит Onboard, но пробовал и Addon First
(если честно не знаю насколько это критично)

для pci-e слота есть настройки:
Option ROM Scan - enabled
Enable master - enabled
Latency Timer - точно не помню, но по умолчанию

в списке бутовых устройств из подозрительных только
PCI SCSI:
и
PCI_BEV:

остальное все стандартное


С уважением,
Купраш Александр

Re: [Hardware] SAS контроллер

[Купраш Александр]

> 
>> Посмотрите в BIOS настройки для PCIE слотов - там есть пункт Enable/Scan
>> user Area/EPROM. Вот его и надо включать, тогда при загрузке будет
>> проинциализирован биос навесного контроллера, если он, конечно, там есть.
>> Ну а дальше контроллер появится в устройствах для загрузки и его можно
>> будет выбрать.
>>

сейчас глянул на сайте supermicro вроде биос свежей моего лежит
как считаете, стоит обновить?
может опознает устройство

еще забыл написать, там в устройствах загрузки есть Unknown:
это везде так или именно когда что-то неопознанное присутствует?


С уважением,
Купраш Александр

Re: [Hardware] SAS контроллер

[Konstantin A. Lepikhov]

Hi Купраш!

Monday 19, at 08:16:54 PM you wrote:

> > 
> >> Посмотрите в BIOS настройки для PCIE слотов - там есть пункт Enable/Scan
> >> user Area/EPROM. Вот его и надо включать, тогда при загрузке будет
> >> проинциализирован биос навесного контроллера, если он, конечно, там есть.
> >> Ну а дальше контроллер появится в устройствах для загрузки и его можно
> >> будет выбрать.
> >>
> 
> сейчас глянул на сайте supermicro вроде биос свежей моего лежит
> как считаете, стоит обновить?
> может опознает устройство
> 
> еще забыл написать, там в устройствах загрузки есть Unknown:
> это везде так или именно когда что-то неопознанное присутствует?
Обычно оно таки распознается. Может, дело в riser карте, иногда из-за них
всякие странные вещи творятся.

> 
> 
> С уважением,
> Купраш Александр
> 
> 
> _______________________________________________
> Hardware mailing list
> Hardware@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/hardware

-- 
WBR et al.

Re: [Hardware] SAS контроллер

[Купраш Александр]

>> еще забыл написать, там в устройствах загрузки есть Unknown:
>> это везде так или именно когда что-то неопознанное присутствует?
> Обычно оно таки распознается. Может, дело в riser карте, иногда из-за них
> всякие странные вещи творятся.
> 
мдя, таки распознается
как PCI SCSI: (bus xx dev xx) LSI SW RAID
но только после создания через софт контроллера рейда x и выбора загрузочного диска
те получается без участия сего поделия не обойтись
в плане создать софтовый рейд средствами уже инсталлятора
интересно, если сделать в контроллере из 4 дисков, например, 2 рейда 1, а затем в инсталляторе 
создать так же 2 рейда 1 (ибо все равно через mptsas диски появляются раздельно), что из этого 
получится....
ерунда вроде, если мыслить логически


С уважением,
Купраш Александр

Re: [Hardware] SAS контроллер

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 930 bytes --]

On Tue, Jan 20, 2009 at 11:14:38AM +0300, Купраш Александр wrote:
> мдя, таки распознается
> как PCI SCSI: (bus xx dev xx) LSI SW RAID
> но только после создания через софт 
> контроллера рейда x и выбора 
> загрузочного диска
> те получается без участия сего поделия 
> не обойтись
> в плане создать софтовый рейд средствами 
> уже инсталлятора
> интересно, если сделать в контроллере из 
> 4 дисков, например, 2 рейда 1, а затем в 
> инсталляторе создать так же 2 рейда 1 (ибо 
> все равно через mptsas диски появляются 
> раздельно), что из этого получится....
> ерунда вроде, если мыслить логически

Обычный способ борьбы с подобными FakeRAID - создание средствами BIOS
массивов из одного диска.  Ещё надо бы найти, куда BIOS пишет
информацию о конфигурации массива (обычно куда-то в конец диска, но
некоторые странные версии пишут и в начало), чтобы эта область не
пересеклась с создаваемыми разделами.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] SAS контроллер

[Купраш Александр]

> 
> Обычный способ борьбы с подобными FakeRAID - создание средствами BIOS
> массивов из одного диска.  Ещё надо бы найти, куда BIOS пишет
> информацию о конфигурации массива (обычно куда-то в конец диска, но
> некоторые странные версии пишут и в начало), чтобы эта область не
> пересеклась с создаваемыми разделами.
> 
сделал таки 4 VD раздельно
правда как-то странно, что при создании VD из 1 диска пишется, что это
рейд 0 (stripes 1) и выбора как-бы и нет

но это ладно...
инсталлятором через подсовывание mptsas создал парочку рейд 1
система встала отлично
перезагрузка
загрузчик выскочил, но загрузить ничего не смог
....
md: Autodetecting raid arrays
md: scanned 0 and added 0 devices
...
waiting for root file system
...
check root=bootarg cat /proc/cmdline
or missing modules,devices: cat /proc/modules ls /dev

и выпадает в ALERT!
/dev/disk/by-uuid/x-x-x-x-x does not exist

снова через инсталлер подсунул mptsas, диски и разделы увидел
дернул service md и мои ранее созданные md появились и пошли строиться
resync судя по /proc/mdstat надолго, так что пока все достижения
по окончанию наверно стоит глянуть что там на md с корнем?

С уважением,
Купраш Александр

Re: [Hardware] SAS контроллер

[Michael Shigorin]

On Mon, Jan 19, 2009 at 08:16:54PM +0300, Купраш Александр wrote:
> сейчас глянул на сайте supermicro вроде биос свежей моего лежит
> как считаете, стоит обновить?

Если к чему-то на Intel 5000 есть свежий биос -- первым делом...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] SAS контроллер

[Maxim Tyurin]

Купраш Александр writes:

>>> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
>>
>> Не имел... LSI Logic / Symbios Logic SAS1068 PCI-X Fusion-MPT SAS
>> прекрасно работает.  Но это PCI-X.
>>
> хорошо Вам
> ех, надо было ставить сата-диски и не заморачиваться вообще с доп
> контроллерами

Заморачиваться или нет зависит от задачи
MegaRAID SAS 8708ELP нормально работает (правда он подороже).

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Hardware] SAS контроллер

[Купраш Александр]

>>>> Может кто имел дело с PCI-E LSI MegaRAID SAS 8208 ELP?
>>> Не имел... LSI Logic / Symbios Logic SAS1068 PCI-X Fusion-MPT SAS
>>> прекрасно работает.  Но это PCI-X.
>>>
>> хорошо Вам
>> ех, надо было ставить сата-диски и не заморачиваться вообще с доп
>> контроллерами
> 
> Заморачиваться или нет зависит от задачи
> MegaRAID SAS 8708ELP нормально работает (правда он подороже).
> 
угу
надо будет перед следующими покупками поглядывать в compatibility list
на том же FreeSource
там правда что-то не особо с выбором, но тем не менее...

Re: [Hardware] SAS контроллер

[Motsyo Gennadi aka Drool]

Купраш Александр пишет:
> угу
> надо будет перед следующими покупками поглядывать в compatibility list
> на том же FreeSource
> там правда что-то не особо с выбором, но тем не менее...

	Кусок lspci -v:

05:08.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068 PCI-X 
Fusion-MPT SAS (rev 01)
         Subsystem: Dell Unknown device 1f09
         Flags: bus master, 66MHz, medium devsel, latency 72, IRQ 169
         I/O ports at ec00 [disabled] [size=256]
         Memory at fdbfc000 (64-bit, non-prefetchable) [size=16K]
         Memory at fdbe0000 (64-bit, non-prefetchable) [size=64K]
         Expansion ROM at fdc00000 [disabled] [size=1M]
         Capabilities: <access denied>

	Работает прекрасно. Система - 4.0 бранч. Доступны рейды 0 и 1.

Re: [Hardware] SAS контроллер

[Michael Shigorin]

On Thu, Oct 30, 2008 at 09:01:49AM +0300, Купраш Александр wrote:
> надо будет перед следующими покупками поглядывать в
> compatibility list на том же FreeSource

Лучше гуглить модель плюс слово linux; хотя про свой LSI нагуглил 
то, что под CentOS с SAS-дисками (или SATA?) вешался быстро и
предсказуемо, но под Server 4.0 ничего подобного вот уж год как 
не наблюдается.

BTW взял ещё один такой, из идентифицирующих наклеек --
SAS3080X-HP, на чипе -- LSISAS1068 80.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/