Dell server, 3.16.0-4-amd64 kernel, fiibri lun-id kadunud

[meelismih]

Tere!

Paluks veidi abi pealkirjas kirjeldatud probleemi osas.
Enne veidi andmeid:

Server: PowerEdge R510 ; 2x Intel(R) Xeon(R) CPU E5606 @ 2.13GHz ;
Fiiberkaart: Emulex LPe1250 FV2.00A4 DV10.2.8001.0.
Op süsteem: Debian GNU/Linux 8

Milles on probleem?

Server jooksis enne kernelil Linux 3.2.0-4-amd64 ning küljes oli 2x2TB LUN-id üle fiibri. Kui teostasin apt-get update ning kogu süsteem uuenes kernelile 3.16.0-4-amd64, kadusid ära ka need 2x2TB LUN-id

Süsteem väidab, et emulexi kaart on küljes ning isegi töötab, aga uusi/vanu LUN-e üles ei leia

Kood: Vali kõik

$ systool -c fc_host -v host1

Class = "fc_host"

  Class Device = "host1"
  Class Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1/fc_host/host1"
    active_fc4s         = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    dev_loss_tmo        = "30"
    fabric_name         = "0x0"
    issue_lip           = <store method only>
    max_npiv_vports     = "16"
    maxframe_size       = "2048 bytes"
    node_name           = "0x20000000c9ee1715"
    npiv_vports_inuse   = "0"
    port_id             = "0x000002"
    port_name           = "0x10000000c9ee1715"
    port_state          = "Online"
    port_type           = "Point-To-Point (direct nport connection)"
    speed               = "8 Gbit"
    supported_classes   = "Class 3"
    supported_fc4s      = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    supported_speeds    = "2 Gbit, 4 Gbit, 8 Gbit"
    symbolic_name       = "Emulex LPe1250 FV2.00A4 DV10.2.8001.0."
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              =
    vport_create        = <store method only>
    vport_delete        = <store method only>

    Device = "host1"
    Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1"
      uevent              = "DEVTYPE=scsi_host"

Ning hetkeline ketaste info

Kood: Vali kõik

$ fdisk -l

Disk /dev/sda: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00000080

Device     Boot     Start       End   Sectors   Size Id Type
/dev/sda1  *         2048   1953791   1951744   953M 83 Linux
/dev/sda2         1953792  99610623  97656832  46.6G 83 Linux
/dev/sda3        99612670 419428351 319815682 152.5G  5 Extended
/dev/sda5        99612672 177735679  78123008  37.3G 83 Linux
/dev/sda6       177737728 236328959  58591232    28G 83 Linux
/dev/sda7       236331008 275390463  39059456  18.6G 83 Linux
/dev/sda8       275392512 333983743  58591232    28G 83 Linux
/dev/sda9       333985792 335937535   1951744   953M 82 Linux swap / Solaris
/dev/sda10      335939584 419428351  83488768  39.8G 83 Linux

Disk /dev/sdb: 8.9 TiB, 9784472371200 bytes, 19110297600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: DF12B6E4-DBAE-4128-BAEA-EE20105E436D

Device     Start         End     Sectors  Size Type
/dev/sdb1   2048 19110295551 19110293504  8.9T Microsoft basic data

Puuduvad nn. /dev/sdc ja /dev/sdd

Uus scan...

Kood: Vali kõik

$ echo 1 > /sys/class/fc_host/host1/issue_lip
$ tail -f /var/log/syslog

Dec 15 12:30:27 testserver kernel: [679984.208363] lpfc 0000:05:00.0: 0:1305 Link Down Event x8 received Data: x8 x20 x80011 x0 x0
Dec 15 12:30:27 testserver kernel: [679984.648218] lpfc 0000:05:00.0: 0:1303 Link Up Event x9 received Data: x9 x0 x20 x0 x0 x0 0
Dec 15 12:31:28 testserver kernel: [680045.063780] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 15 12:31:28 testserver kernel: [680045.665746] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0

Ning mappingud...

Kood: Vali kõik

$ sg_map -i
/dev/sg0  DP        BACKPLANE         1.10
/dev/sg1  /dev/sda  DELL  PERC H700  2.10
/dev/sg2  /dev/sdb  DELL  PERC H700  2.10

Käisin ka emulexi kodukalt luurel ning seal väidetakse, et debianile on saada driverid nn. "inbox" ehk siis tulevad koos debiani enda reliisiga. eraldi allalaadimiseks neilt uusimaid drivereid kahjuks saada pole.

Läbi on käidud kõik google poolt pakutavad lahendused selleks, et kaart teeks uued skännid, aga ei miskit ... saadab päringud välja, aga uusi lun-e üles ei leia.

Kui tirisin korra tagasi 3.2 kernelile, ilmusid lun-id uuesti nähtavale, aga kuna uuendamistega arenes ka muu tarkvara, siis logide järgi uuendatud süsteemile vanem kernel nii väga ei meeldinud. Süsteem küll toimis, aga tarkvara virises logides stiilis "older kernel in use?". Ehk siis stabiilsus minu silmis jäi küsimärgi alla...

On keegi säärase probleemiga ise kokku puutunud või oskab anda nõu, mida veel proovida ja testida, et lun-id nähtavale ilmuks? Igasugune abi on teretulnud

[obundra]

Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada?

[meelismih]

Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada?

Tere obundra!

Teises otsas istub Fujitsu Eternus DX410 ning sellele pakutakse drivereid ainult redhat ja suse versioonidele. Neid vägisi debianile külge pookida oleks ehk veidi keeruline?

Massiivi adminni jutu järgi on host infinity kenasti ära kirjeldatud koos vajalike andmetega. Vaevalt kerneli update kaardi aadressi (emulexi nn. füüsiline aadress) ära muutis. Kui vana kernel tagasi tirida, siis lun-id tulevad uuesti külge, mis omakorda tähendab seda, et massiivi poolel on asi OK. Serveri poolel on mingi kala, mis uut kernelit kasutades takistab kaardil massiiviga suhtlemist

[obundra]

Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:

Kood: Vali kõik

echo "- - -" >/sys/class/scsi_host/hostX/scan

Ma kunagi tegin selleks ühe skriptijupi:

Kood: Vali kõik

#!/bin/bash

echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

 for i in `ls /sys/class/fc_host|grep host`

 do

 `echo 1 > /sys/class/fc_host/"$i"/issue_lip`;

# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;

 `echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -"  kontoller kanal lun

echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

done

Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma.

[meelismih]

Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:

Kood: Vali kõik

echo "- - -" >/sys/class/scsi_host/hostX/scan

Ma kunagi tegin selleks ühe skriptijupi:

Kood: Vali kõik

#!/bin/bash

echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

 for i in `ls /sys/class/fc_host|grep host`

 do

 `echo 1 > /sys/class/fc_host/"$i"/issue_lip`;

# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;

 `echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -"  kontoller kanal lun

echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

done

Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma.

Meil siin mitmed serverid kasutavad debiani ning istuvad sama massiivi küljes. Pole veel probleeme täheldanud

Andsin uue skänni ette ning tulemus ikkagi sama ... ehk siis ei näe serverile välja antud lun-e

Dec 16 11:51:11 testserver kernel: [ 3789.987519] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 16 11:51:11 testserver kernel: [ 3790.427415] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0
Dec 16 11:52:05 testserver kernel: [ 3844.162008] lpfc 0000:05:00.0: 0:1305 Link Down Event xc received Data: xc x20 x80011 x0 x0
Dec 16 11:52:05 testserver kernel: [ 3844.763684] lpfc 0000:05:00.0: 0:1303 Link Up Event xd received Data: xd x0 x20 x0 x0 x0 0

ning ka skript sai järele proovitud (mis tegelikult teeb sama asja )

./scan
Kettaid algul:4
Kettaid p2rast:4

[obundra]

Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?

Kood: Vali kõik

modprobe -rv lpfc
modprobe -v lpfc

[meelismih]

Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?

Kood: Vali kõik

modprobe -rv lpfc
modprobe -v lpfc

Käsitsi eemaldamine ja uuesti laadimine kaotas host1 ära ning kui tagasi sain, siis LUN-e ikka ei näe.

Debianis vaikimisi pole modprobe.conf faili vaid modprobe.d kataloog, mille alt loetakse buutimise ajal asju sisse. Seal aga lpfc kohta ei ole midagi kirjas.

[obundra]

Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:

Kood: Vali kõik

modprobe lpfc lpfc_topology=2

Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:

Kood: Vali kõik

options lpfc lpfc_topology=2

[meelismih]

Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:

Kood: Vali kõik

modprobe lpfc lpfc_topology=2

Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:

Kood: Vali kõik

options lpfc lpfc_topology=2

Tegelikult systool juba väidab, et kaart jookseb point-to-point režiimis.

systool -c fc_host -v host1

...
port_state = "Online"
port_type = "Point-To-Point (direct nport connection)"
speed = "8 Gbit"
...

aga proovisin ka modprobe kaudu ette anda ning proovisin igaks juhuks ka erinevaid variante:

0 - Attempt loop mode, if it fails attempt point-to-point mode
2 - Attempt point-to-point mode only
6 - Attempt point-to-point mode, if it fails attempt loop mode

ning tulemus ikka sama ... lun-e ei leia

[obundra]

Siis ilmselt tuleks bugreport esitada.Su kasutataval kernelil paistab juba olema avastatud viga Qlogicu fiibrikaardiga, https://bugs.debian.org/cgi-bin/bugrepo ... bug=787817 , võimalik, et Emulexi kaardiga pole lihtsalt veel probleemi täheldatud.

[meelismih]

Siis ilmselt tuleks bugreport esitada.Su kasutataval kernelil paistab juba olema avastatud viga Qlogicu fiibrikaardiga, https://bugs.debian.org/cgi-bin/bugrepo ... bug=787817 , võimalik, et Emulexi kaardiga pole lihtsalt veel probleemi täheldatud.

Tänud obundra abi eest! Lootsin, et asi ei ole ikkagi see, mis mitu kuud lahendamist ootama jääks, aga näed ... paistab ikkagi sinna poole viitavat

Igatahes püüan samuti report-i üles ajada ning eks näis, kas asi parandatakse ära või mitte.