Portaal Portaal Pingviini veeb foorumi pealeht
  Viki  |  IRC  |  Otsing  |  Küsimused ja vastused  |  Profiil  |  Privaatsõnumite vaatamiseks logi sisse  | Logi sisse või Registreeru
<empty>
Vaata järgmist teemat
Vaata eelmist teemat

Postita uus teemaVasta teemale
Autor Sõnum
meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 15.12.2015, 12:54  postituse pealkiri:  Dell server, 3.16.0-4-amd64 kernel, fiibri lun-id kadunud  

Tere!

Paluks veidi abi pealkirjas kirjeldatud probleemi osas.
Enne veidi andmeid:

Server: PowerEdge R510 ; 2x Intel(R) Xeon(R) CPU E5606 @ 2.13GHz ;
Fiiberkaart: Emulex LPe1250 FV2.00A4 DV10.2.8001.0.
Op süsteem: Debian GNU/Linux 8

Milles on probleem?

Server jooksis enne kernelil Linux 3.2.0-4-amd64 ning küljes oli 2x2TB LUN-id üle fiibri. Kui teostasin apt-get update ning kogu süsteem uuenes kernelile 3.16.0-4-amd64, kadusid ära ka need 2x2TB LUN-id Sad

Süsteem väidab, et emulexi kaart on küljes ning isegi töötab, aga uusi/vanu LUN-e üles ei leia Sad

Kood:

$ systool -c fc_host -v host1

Class = "fc_host"

  Class Device = "host1"
  Class Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1/fc_host/host1"
    active_fc4s         = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    dev_loss_tmo        = "30"
    fabric_name         = "0x0"
    issue_lip           = <store method only>
    max_npiv_vports     = "16"
    maxframe_size       = "2048 bytes"
    node_name           = "0x20000000c9ee1715"
    npiv_vports_inuse   = "0"
    port_id             = "0x000002"
    port_name           = "0x10000000c9ee1715"
    port_state          = "Online"
    port_type           = "Point-To-Point (direct nport connection)"
    speed               = "8 Gbit"
    supported_classes   = "Class 3"
    supported_fc4s      = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    supported_speeds    = "2 Gbit, 4 Gbit, 8 Gbit"
    symbolic_name       = "Emulex LPe1250 FV2.00A4 DV10.2.8001.0."
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              =
    vport_create        = <store method only>
    vport_delete        = <store method only>

    Device = "host1"
    Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1"
      uevent              = "DEVTYPE=scsi_host"


Ning hetkeline ketaste info

Kood:

$ fdisk -l

Disk /dev/sda: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00000080

Device     Boot     Start       End   Sectors   Size Id Type
/dev/sda1  *         2048   1953791   1951744   953M 83 Linux
/dev/sda2         1953792  99610623  97656832  46.6G 83 Linux
/dev/sda3        99612670 419428351 319815682 152.5G  5 Extended
/dev/sda5        99612672 177735679  78123008  37.3G 83 Linux
/dev/sda6       177737728 236328959  58591232    28G 83 Linux
/dev/sda7       236331008 275390463  39059456  18.6G 83 Linux
/dev/sda8       275392512 333983743  58591232    28G 83 Linux
/dev/sda9       333985792 335937535   1951744   953M 82 Linux swap / Solaris
/dev/sda10      335939584 419428351  83488768  39.8G 83 Linux

Disk /dev/sdb: 8.9 TiB, 9784472371200 bytes, 19110297600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: DF12B6E4-DBAE-4128-BAEA-EE20105E436D

Device     Start         End     Sectors  Size Type
/dev/sdb1   2048 19110295551 19110293504  8.9T Microsoft basic data



Puuduvad nn. /dev/sdc ja /dev/sdd

Uus scan...

Kood:

$ echo 1 > /sys/class/fc_host/host1/issue_lip
$ tail -f /var/log/syslog

Dec 15 12:30:27 testserver kernel: [679984.208363] lpfc 0000:05:00.0: 0:1305 Link Down Event x8 received Data: x8 x20 x80011 x0 x0
Dec 15 12:30:27 testserver kernel: [679984.648218] lpfc 0000:05:00.0: 0:1303 Link Up Event x9 received Data: x9 x0 x20 x0 x0 x0 0
Dec 15 12:31:28 testserver kernel: [680045.063780] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 15 12:31:28 testserver kernel: [680045.665746] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0



Ning mappingud...

Kood:

$ sg_map -i
/dev/sg0  DP        BACKPLANE         1.10
/dev/sg1  /dev/sda  DELL  PERC H700  2.10
/dev/sg2  /dev/sdb  DELL  PERC H700  2.10



Käisin ka emulexi kodukalt luurel ning seal väidetakse, et debianile on saada driverid nn. "inbox" ehk siis tulevad koos debiani enda reliisiga. eraldi allalaadimiseks neilt uusimaid drivereid kahjuks saada pole.

Läbi on käidud kõik google poolt pakutavad lahendused selleks, et kaart teeks uued skännid, aga ei miskit ... saadab päringud välja, aga uusi lun-e üles ei leia.

Kui tirisin korra tagasi 3.2 kernelile, ilmusid lun-id uuesti nähtavale, aga kuna uuendamistega arenes ka muu tarkvara, siis logide järgi uuendatud süsteemile vanem kernel nii väga ei meeldinud. Süsteem küll toimis, aga tarkvara virises logides stiilis "older kernel in use?". Ehk siis stabiilsus minu silmis jäi küsimärgi alla...

On keegi säärase probleemiga ise kokku puutunud või oskab anda nõu, mida veel proovida ja testida, et lun-id nähtavale ilmuks? Igasugune abi on teretulnud Smile


obundra
Vana Pingviin
Vana Pingviin


Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
estonia.gif
postituspostitatud: 16.12.2015, 00:25  postituse pealkiri:  (teema puudub)  

Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada?

_________________
IT teenused

meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 16.12.2015, 09:34  postituse pealkiri:  (teema puudub)  

obundra kirjutas:
Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada?


Tere obundra!

Teises otsas istub Fujitsu Eternus DX410 ning sellele pakutakse drivereid ainult redhat ja suse versioonidele. Neid vägisi debianile külge pookida oleks ehk veidi keeruline?

Massiivi adminni jutu järgi on host infinity kenasti ära kirjeldatud koos vajalike andmetega. Vaevalt kerneli update kaardi aadressi (emulexi nn. füüsiline aadress) ära muutis. Kui vana kernel tagasi tirida, siis lun-id tulevad uuesti külge, mis omakorda tähendab seda, et massiivi poolel on asi OK. Serveri poolel on mingi kala, mis uut kernelit kasutades takistab kaardil massiiviga suhtlemist Sad


obundra
Vana Pingviin
Vana Pingviin


Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
estonia.gif
postituspostitatud: 16.12.2015, 11:39  postituse pealkiri:  (teema puudub)  

Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:
Kood:
echo "- - -" >/sys/class/scsi_host/hostX/scan

Ma kunagi tegin selleks ühe skriptijupi:
Kood:
#!/bin/bash

echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

 for i in `ls /sys/class/fc_host|grep host`

 do

 `echo 1 > /sys/class/fc_host/"$i"/issue_lip`;

# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;

 `echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -"  kontoller kanal lun

echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

done

Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma.

_________________
IT teenused

meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 16.12.2015, 11:54  postituse pealkiri:  (teema puudub)  

obundra kirjutas:
Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:
Kood:
echo "- - -" >/sys/class/scsi_host/hostX/scan

Ma kunagi tegin selleks ühe skriptijupi:
Kood:
#!/bin/bash

echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

 for i in `ls /sys/class/fc_host|grep host`

 do

 `echo 1 > /sys/class/fc_host/"$i"/issue_lip`;

# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;

 `echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -"  kontoller kanal lun

echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`

done

Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma.


Meil siin mitmed serverid kasutavad debiani ning istuvad sama massiivi küljes. Pole veel probleeme täheldanud Smile

Andsin uue skänni ette ning tulemus ikkagi sama ... ehk siis ei näe serverile välja antud lun-e Sad

Tsitaat:

Dec 16 11:51:11 testserver kernel: [ 3789.987519] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 16 11:51:11 testserver kernel: [ 3790.427415] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0
Dec 16 11:52:05 testserver kernel: [ 3844.162008] lpfc 0000:05:00.0: 0:1305 Link Down Event xc received Data: xc x20 x80011 x0 x0
Dec 16 11:52:05 testserver kernel: [ 3844.763684] lpfc 0000:05:00.0: 0:1303 Link Up Event xd received Data: xd x0 x20 x0 x0 x0 0


ning ka skript sai järele proovitud (mis tegelikult teeb sama asja Smile )

Tsitaat:

./scan
Kettaid algul:4
Kettaid p2rast:4


obundra
Vana Pingviin
Vana Pingviin


Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
estonia.gif
postituspostitatud: 16.12.2015, 12:44  postituse pealkiri:  (teema puudub)  

Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?
Kood:
modprobe -rv lpfc
modprobe -v lpfc

_________________
IT teenused

meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 16.12.2015, 14:08  postituse pealkiri:  (teema puudub)  

obundra kirjutas:
Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?
Kood:
modprobe -rv lpfc
modprobe -v lpfc


Käsitsi eemaldamine ja uuesti laadimine kaotas host1 ära Smile ning kui tagasi sain, siis LUN-e ikka ei näe.

Debianis vaikimisi pole modprobe.conf faili vaid modprobe.d kataloog, mille alt loetakse buutimise ajal asju sisse. Seal aga lpfc kohta ei ole midagi kirjas.


obundra
Vana Pingviin
Vana Pingviin


Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
estonia.gif
postituspostitatud: 16.12.2015, 15:53  postituse pealkiri:  (teema puudub)  

Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:
Kood:
modprobe lpfc lpfc_topology=2

Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:
Kood:
options lpfc lpfc_topology=2

_________________
IT teenused

meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 16.12.2015, 16:05  postituse pealkiri:  (teema puudub)  

obundra kirjutas:
Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:
Kood:
modprobe lpfc lpfc_topology=2

Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:
Kood:
options lpfc lpfc_topology=2


Tegelikult systool juba väidab, et kaart jookseb point-to-point režiimis.

systool -c fc_host -v host1

...
port_state = "Online"
port_type = "Point-To-Point (direct nport connection)"
speed = "8 Gbit"
...

aga proovisin ka modprobe kaudu ette anda ning proovisin igaks juhuks ka erinevaid variante:

0 - Attempt loop mode, if it fails attempt point-to-point mode
2 - Attempt point-to-point mode only
6 - Attempt point-to-point mode, if it fails attempt loop mode

ning tulemus ikka sama ... lun-e ei leia Sad


obundra
Vana Pingviin
Vana Pingviin


Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
estonia.gif
postituspostitatud: 17.12.2015, 13:46  postituse pealkiri:  (teema puudub)  

Siis ilmselt tuleks bugreport esitada.Su kasutataval kernelil paistab juba olema avastatud viga Qlogicu fiibrikaardiga, https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=787817 , võimalik, et Emulexi kaardiga pole lihtsalt veel probleemi täheldatud.

_________________
IT teenused

meelismih
Uus kasutaja
Uus kasutaja


Vanus: 39
Liitunud: 05.02.2015
Postitused: 8


blank.gif
postituspostitatud: 18.12.2015, 08:09  postituse pealkiri:  (teema puudub)  

obundra kirjutas:
Siis ilmselt tuleks bugreport esitada.Su kasutataval kernelil paistab juba olema avastatud viga Qlogicu fiibrikaardiga, https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=787817 , võimalik, et Emulexi kaardiga pole lihtsalt veel probleemi täheldatud.


Tänud obundra abi eest! Lootsin, et asi ei ole ikkagi see, mis mitu kuud lahendamist ootama jääks, aga näed ... paistab ikkagi sinna poole viitavat Sad

Igatahes püüan samuti report-i üles ajada ning eks näis, kas asi parandatakse ära või mitte. Smile


Näita (aja järgi):      
Postita uus teemaVasta teemale


Vaata järgmist teemat
Vaata eelmist teemat
Powered by phpBB2 Plus based on phpBB © 2001/7 phpBB Group