[Sysadmins] iSCSI target в ALTLinux

[Sysadmins] iSCSI target в ALTLinux

[Alex Moskalenko]

Здравствуйте!

Поделитесь пожалуйста опытом в вопросе использования iSCSI target в 
дистрибутивах ALT.

На данный момент у нас есть 2 варианта target:
1) iSCSI Enterprise Target. Модулей для ядра нет, юзерспейс есть. На 
2.6.32 ядрах работает после сборки модулей из kernel-source-iscsitarget, 
на 3.x - не собирается. Можно заставить работать, собрав модули и 
userspace с сайта iet.
2) Linux-iSCSI.org. Модули включены в ядрах 3.х, утилит для управления 
(rtslib, targetcli и т.д) нет. Утилиты собираются с сайта 
linux-iscsi.org, работают. Вот только при активной работе с iscsi 
(загрузка 4 виртуалок с дисками на iscsi) ядро падает.

Прошу посоветовать/поделиться опытом, кто, что и с каким успехом 
использует для организации iSCSI target, и по возможности поделиться 
знаниями о настройке используемого решения на максимальную стабильность 
и производительность.

Заранее спасибо.

-- 
WBR, Alex Moskalenko

Re: [Sysadmins] iSCSI target в ALTLinux

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 1791 bytes --]

26.06.2012 11:05, Alex Moskalenko написал:
> Здравствуйте!
>
> Поделитесь пожалуйста опытом в вопросе использования iSCSI target в
> дистрибутивах ALT.
>
> На данный момент у нас есть 2 варианта target:
> 1) iSCSI Enterprise Target. Модулей для ядра нет, юзерспейс есть. На
> 2.6.32 ядрах работает после сборки модулей из
> kernel-source-iscsitarget, на 3.x - не собирается. Можно заставить
> работать, собрав модули и userspace с сайта iet.

> 2) Linux-iSCSI.org. Модули включены в ядрах 3.х, утилит для управления
> (rtslib, targetcli и т.д) нет. Утилиты собираются с сайта
> linux-iscsi.org, работают. Вот только при активной работе с iscsi
> (загрузка 4 виртуалок с дисками на iscsi) ядро падает.
>
> Прошу посоветовать/поделиться опытом, кто, что и с каким успехом
> использует для организации iSCSI target, и по возможности поделиться
> знаниями о настройке используемого решения на максимальную
> стабильность и производительность.

Я в качестве таргета использую tgt.
Все модули есть.

Еще есть iscsitarget, оно тоже работает, но где-то читал, что вроде как
tgt попроизводительней будет.

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 4916 bytes --]

Re: [Sysadmins] iSCSI target в ALTLinux

[Vladimir V. Kamarzin]

>>>>> On 26 Июн 2012 at 14:05 "AM" == Alex Moskalenko writes:

AM> 2) Linux-iSCSI.org. Модули включены в ядрах 3.х, утилит для управления
AM> (rtslib, targetcli и т.д) нет. Утилиты собираются с сайта
AM> linux-iscsi.org, работают. Вот только при активной работе с iscsi
AM> (загрузка 4 виртуалок с дисками на iscsi) ядро падает.

Тоже хотел затестить, но ещё не добрался. sbolshakov@ кстати конфигурит это
напрямую через sysfs.

А так, у меня tgt на ubuntu, работает стабильно.

-- 
vvk

Re: [Sysadmins] iSCSI target в ALTLinux

[Alex Moskalenko]

26.06.2012 15:18, Vladimir V. Kamarzin пишет:
> AM> 2) Linux-iSCSI.org. Модули включены в ядрах 3.х, утилит для 
> управления AM> (rtslib, targetcli и т.д) нет. Утилиты собираются с 
> сайта AM> linux-iscsi.org, работают. Вот только при активной работе с 
> iscsi AM> (загрузка 4 виртуалок с дисками на iscsi) ядро падает. Тоже 
> хотел затестить, но ещё не добрался. sbolshakov@ кстати конфигурит это 
> напрямую через sysfs. А так, у меня tgt на ubuntu, работает стабильно. 
У меня попытки использования lio.org заканчиваются вот этим:
[  328.731894] BUG: unable to handle kernel paging request at 
ffff88003817e000
[  328.732159] IP: [<ffffffff812634cb>] sg_next+0xb/0x30
[  328.732309] PGD 180d067 PUD 1811067 PMD 1e1f067 PTE 0
[  328.732562] Oops: 0000 [#1] SMP
[  328.732744] CPU 0
[  328.732783] Modules linked in: crc32c ib_srpt ib_cm ib_sa ib_mad 
ib_core tcm_loop tcm_fc libfc scsi_transport_fc scsi_tgt 
iscsi_target_mod target_core_pscsi target_core_file target_core_iblock 
target_core_mod configfs xt_physdev iptable_filter ip_tables x_tables 
aksparlnx(PO) ipmi_si bridge ipv6 stp bonding dm_multipath scsi_dh 
dm_mod joydev usbhid hid vfat fat usb_storage usb_libusual rtc sr_mod 
cdrom ata_generic pata_acpi uhci_hcd ehci_hcd i2c_i801 psmouse igb 
i5k_amb ahci usbcore i5000_edac ata_piix libahci tg3 edac_core i2c_core 
ppdev coretemp libata serio_raw hwmon evdev pcspkr parport_pc microcode 
iTCO_wdt iTCO_vendor_support usb_common parport dca sg ses enclosure 
container button processor ipmi_devintf ipmi_msghandler tun xenfs 
xen_privcmd xen_blkback xen_netback xen_pciback xen_gntalloc xen_evtchn 
xen_gntdev ext3 jbd mbcache sd_mod crc_t10dif aacraid scsi_mod [last 
unloaded: iscsi_trgt]
[  328.735674]
[  328.735674] Pid: 9730, comm: iscsi_trx Tainted: PF          O 
3.4.3-std-def-alt1 #1 IBM IBM eServer x3400-[7976L2G]-/M97IP
[  328.735674] RIP: e030:[<ffffffff812634cb>]  [<ffffffff812634cb>] 
sg_next+0xb/0x30
[  328.735674] RSP: e02b:ffff880025ba9c20  EFLAGS: 00010246
[  328.735674] RAX: 0000000000000000 RBX: ffff88002cd2e800 RCX: 
0000000000040000
[  328.735674] RDX: ffffea0000730430 RSI: ffff88002e5e6680 RDI: 
ffff88003817dfe0
[  328.735674] RBP: ffff880025ba9c20 R08: 0000000000000200 R09: 
ffff88003817d800
[  328.735674] R10: 0000000000000000 R11: 0000000000000040 R12: 
ffff88003817dfe0
[  328.735674] R13: 0000000000000040 R14: 0000000000001000 R15: 
0000000000001000
[  328.735674] FS:  00007f26d56db720(0000) GS:ffff88003fc00000(0000) 
knlGS:0000000000000000
[  328.735674] CS:  e033 DS: 0000 ES: 0000 CR0: 000000008005003b
[  328.735674] CR2: ffff88003817e000 CR3: 000000002cf2c000 CR4: 
0000000000002660
[  328.735674] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 
0000000000000000
[  328.735674] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 
0000000000000400
[  328.735674] Process iscsi_trx (pid: 9730, threadinfo 
ffff880025ba8000, task ffff880025ba6440)
[  328.735674] Stack:
[  328.735674]  ffff880025ba9cc0 ffffffffa087bc42 ffff880000000040 
000000013fc132c0
[  328.735674]  ffff880020cfe4e8 0000000239d84080 0000000200000200 
ffff880020cfe2e8
[  328.735674]  00000000000002c8 0000000025ba2400 ffff880020cfe434 
0000000000000200
[  328.735674] Call Trace:
[  328.735674]  [<ffffffffa087bc42>] 
transport_allocate_data_tasks+0x1f2/0x350 [target_core_mod]
[  328.735674]  [<ffffffffa08802e8>] 
transport_generic_new_cmd+0x198/0x4e0 [target_core_mod]
[  328.735674]  [<ffffffffa086fc82>] ? 
core_scsi3_pr_reservation_check+0x52/0x100 [target_core_mod]
[  328.735674]  [<ffffffffa088067b>] 
transport_handle_cdb_direct+0x4b/0xb0 [target_core_mod]
[  328.735674]  [<ffffffffa08cd60f>] iscsit_execute_cmd+0x26f/0x2c0 
[iscsi_target_mod]
[  328.735674]  [<ffffffffa08d4412>] iscsit_sequence_cmd+0xa2/0x130 
[iscsi_target_mod]
[  328.735674]  [<ffffffffa08d8a0f>] iscsi_target_rx_thread+0x9ef/0x2020 
[iscsi_target_mod]
[  328.735674]  [<ffffffff810125c6>] ? __switch_to+0x156/0x410
[  328.735674]  [<ffffffffa08d8020>] ? 
iscsit_thread_get_cpumask+0x90/0x90 [iscsi_target_mod]
[  328.735674]  [<ffffffffa08d8020>] ? 
iscsit_thread_get_cpumask+0x90/0x90 [iscsi_target_mod]
[  328.735674]  [<ffffffff8106e396>] kthread+0x96/0xa0
[  328.735674]  [<ffffffff81455be4>] kernel_thread_helper+0x4/0x10
[  328.735674]  [<ffffffff8144cc38>] ? retint_restore_args+0x5/0x6
[  328.735674]  [<ffffffff81455be0>] ? gs_change+0x13/0x13
[  328.735674] Code: 55 48 c7 c2 80 3a 26 81 be 80 00 00 00 48 89 e5 e8 
6b ff ff ff c9 c3 66 0f 1f 84 00 00 00 00 00 31 c0 f6 07 02 55 48 89 e5 
75 0d <48> 8b 57 20 48 8d 47 20 f6 c2 01 75 02 c9 c3 48 89 d0 c9 48 83
[  328.735674] RIP  [<ffffffff812634cb>] sg_next+0xb/0x30
[  328.735674]  RSP <ffff880025ba9c20>
[  328.735674] CR2: ffff88003817e000
[  328.735674] ---[ end trace c05d0c15786a73b5 ]---

Падение происходит при активном использовании таргета, с нескольких LUN 
которого загружаются виртуалки на другом сервере. После этих сообщений 
ядро в течение 30-60 секунд умирает окончательно.

-- 
WBR, Alex Moskalenko