| Autor |
Sõnum |
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
Tere!
Paluks veidi abi pealkirjas kirjeldatud probleemi osas.
Enne veidi andmeid:
Server: PowerEdge R510 ; 2x Intel(R) Xeon(R) CPU E5606 @ 2.13GHz ;
Fiiberkaart: Emulex LPe1250 FV2.00A4 DV10.2.8001.0.
Op süsteem: Debian GNU/Linux 8
Milles on probleem?
Server jooksis enne kernelil Linux 3.2.0-4-amd64 ning küljes oli 2x2TB LUN-id üle fiibri. Kui teostasin apt-get update ning kogu süsteem uuenes kernelile 3.16.0-4-amd64, kadusid ära ka need 2x2TB LUN-id 
Süsteem väidab, et emulexi kaart on küljes ning isegi töötab, aga uusi/vanu LUN-e üles ei leia
| Kood: | |
$ systool -c fc_host -v host1
Class = "fc_host"
Class Device = "host1"
Class Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1/fc_host/host1"
active_fc4s = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
dev_loss_tmo = "30"
fabric_name = "0x0"
issue_lip = <store method only>
max_npiv_vports = "16"
maxframe_size = "2048 bytes"
node_name = "0x20000000c9ee1715"
npiv_vports_inuse = "0"
port_id = "0x000002"
port_name = "0x10000000c9ee1715"
port_state = "Online"
port_type = "Point-To-Point (direct nport connection)"
speed = "8 Gbit"
supported_classes = "Class 3"
supported_fc4s = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
supported_speeds = "2 Gbit, 4 Gbit, 8 Gbit"
symbolic_name = "Emulex LPe1250 FV2.00A4 DV10.2.8001.0."
tgtid_bind_type = "wwpn (World Wide Port Name)"
uevent =
vport_create = <store method only>
vport_delete = <store method only>
Device = "host1"
Device path = "/sys/devices/pci0000:00/0000:00:0a.0/0000:05:00.0/host1"
uevent = "DEVTYPE=scsi_host"
|
Ning hetkeline ketaste info
| Kood: | |
$ fdisk -l
Disk /dev/sda: 200 GiB, 214748364800 bytes, 419430400 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00000080
Device Boot Start End Sectors Size Id Type
/dev/sda1 * 2048 1953791 1951744 953M 83 Linux
/dev/sda2 1953792 99610623 97656832 46.6G 83 Linux
/dev/sda3 99612670 419428351 319815682 152.5G 5 Extended
/dev/sda5 99612672 177735679 78123008 37.3G 83 Linux
/dev/sda6 177737728 236328959 58591232 28G 83 Linux
/dev/sda7 236331008 275390463 39059456 18.6G 83 Linux
/dev/sda8 275392512 333983743 58591232 28G 83 Linux
/dev/sda9 333985792 335937535 1951744 953M 82 Linux swap / Solaris
/dev/sda10 335939584 419428351 83488768 39.8G 83 Linux
Disk /dev/sdb: 8.9 TiB, 9784472371200 bytes, 19110297600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: DF12B6E4-DBAE-4128-BAEA-EE20105E436D
Device Start End Sectors Size Type
/dev/sdb1 2048 19110295551 19110293504 8.9T Microsoft basic data
|
Puuduvad nn. /dev/sdc ja /dev/sdd
Uus scan...
| Kood: | |
$ echo 1 > /sys/class/fc_host/host1/issue_lip
$ tail -f /var/log/syslog
Dec 15 12:30:27 testserver kernel: [679984.208363] lpfc 0000:05:00.0: 0:1305 Link Down Event x8 received Data: x8 x20 x80011 x0 x0
Dec 15 12:30:27 testserver kernel: [679984.648218] lpfc 0000:05:00.0: 0:1303 Link Up Event x9 received Data: x9 x0 x20 x0 x0 x0 0
Dec 15 12:31:28 testserver kernel: [680045.063780] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 15 12:31:28 testserver kernel: [680045.665746] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0
|
Ning mappingud...
| Kood: | |
$ sg_map -i
/dev/sg0 DP BACKPLANE 1.10
/dev/sg1 /dev/sda DELL PERC H700 2.10
/dev/sg2 /dev/sdb DELL PERC H700 2.10
|
Käisin ka emulexi kodukalt luurel ning seal väidetakse, et debianile on saada driverid nn. "inbox" ehk siis tulevad koos debiani enda reliisiga. eraldi allalaadimiseks neilt uusimaid drivereid kahjuks saada pole.
Läbi on käidud kõik google poolt pakutavad lahendused selleks, et kaart teeks uued skännid, aga ei miskit ... saadab päringud välja, aga uusi lun-e üles ei leia.
Kui tirisin korra tagasi 3.2 kernelile, ilmusid lun-id uuesti nähtavale, aga kuna uuendamistega arenes ka muu tarkvara, siis logide järgi uuendatud süsteemile vanem kernel nii väga ei meeldinud. Süsteem küll toimis, aga tarkvara virises logides stiilis "older kernel in use?". Ehk siis stabiilsus minu silmis jäi küsimärgi alla...
On keegi säärase probleemiga ise kokku puutunud või oskab anda nõu, mida veel proovida ja testida, et lun-id nähtavale ilmuks? Igasugune abi on teretulnud 
|
|
|
|
|
|
|
  |
obundra
Vana Pingviin
Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
|
|
| Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada?
|
|
|
|
_________________
IT teenused
|
|
|
 |
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
| obundra kirjutas: | | Mis massiiv fiibri teises otsas on, sealt pole miskit näha?Massiivitootja oma driverit/utikat pole võimalik multipathinguks kasutada? |
Tere obundra!
Teises otsas istub Fujitsu Eternus DX410 ning sellele pakutakse drivereid ainult redhat ja suse versioonidele. Neid vägisi debianile külge pookida oleks ehk veidi keeruline?
Massiivi adminni jutu järgi on host infinity kenasti ära kirjeldatud koos vajalike andmetega. Vaevalt kerneli update kaardi aadressi (emulexi nn. füüsiline aadress) ära muutis. Kui vana kernel tagasi tirida, siis lun-id tulevad uuesti külge, mis omakorda tähendab seda, et massiivi poolel on asi OK. Serveri poolel on mingi kala, mis uut kernelit kasutades takistab kaardil massiiviga suhtlemist
|
|
|
|
|
|
|
|
obundra
Vana Pingviin
Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
|
|
Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:
| Kood: | | echo "- - -" >/sys/class/scsi_host/hostX/scan |
Ma kunagi tegin selleks ühe skriptijupi:
| Kood: | | #!/bin/bash
echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`
for i in `ls /sys/class/fc_host|grep host`
do
`echo 1 > /sys/class/fc_host/"$i"/issue_lip`;
# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;
`echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -" kontoller kanal lun
echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`
done
|
Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma.
|
|
|
|
_________________
IT teenused
|
|
|
|
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
| obundra kirjutas: | Jah, driverid on sellel olemas ainult enterprise linuxile(RHEL ja SLES).
Kas mõlema kerneli korral laetakse ka samad moodulid?
Proovi kogu scsi uuesti skännida:
| Kood: | | echo "- - -" >/sys/class/scsi_host/hostX/scan |
Ma kunagi tegin selleks ühe skriptijupi:
| Kood: | | #!/bin/bash
echo -e "Kettaid algul:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`
for i in `ls /sys/class/fc_host|grep host`
do
`echo 1 > /sys/class/fc_host/"$i"/issue_lip`;
# `echo "0 0 0" >/sys/class/scsi_host/"$i"/scan`;
`echo "- - -" >/sys/class/scsi_host/"$i"/scan`; #"- - -" kontoller kanal lun
echo -e "Kettaid p2rast:"`fdisk -l 2>/dev/null | egrep '^Disk' | egrep -v 'md' |egrep -v 'identifier'|egrep -v 'dm-'|wc -l`
done
|
Ise olen Eternusega jantinud üsna vähe, ainus probleem oli, et ilma tootjapoolse multipath driverita kippus lun ketas i/o erroreid andma. |
Meil siin mitmed serverid kasutavad debiani ning istuvad sama massiivi küljes. Pole veel probleeme täheldanud
Andsin uue skänni ette ning tulemus ikkagi sama ... ehk siis ei näe serverile välja antud lun-e
| Tsitaat: | |
Dec 16 11:51:11 testserver kernel: [ 3789.987519] lpfc 0000:05:00.0: 0:1305 Link Down Event xa received Data: xa x20 x80011 x0 x0
Dec 16 11:51:11 testserver kernel: [ 3790.427415] lpfc 0000:05:00.0: 0:1303 Link Up Event xb received Data: xb x0 x20 x0 x0 x0 0
Dec 16 11:52:05 testserver kernel: [ 3844.162008] lpfc 0000:05:00.0: 0:1305 Link Down Event xc received Data: xc x20 x80011 x0 x0
Dec 16 11:52:05 testserver kernel: [ 3844.763684] lpfc 0000:05:00.0: 0:1303 Link Up Event xd received Data: xd x0 x20 x0 x0 x0 0
|
ning ka skript sai järele proovitud (mis tegelikult teeb sama asja )
| Tsitaat: | |
./scan
Kettaid algul:4
Kettaid p2rast:4
|
|
|
|
|
|
|
|
|
obundra
Vana Pingviin
Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
|
|
Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?
| Kood: | | modprobe -rv lpfc
modprobe -v lpfc |
|
|
|
|
_________________
IT teenused
|
|
|
|
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
| obundra kirjutas: | Mis optionitega lpfc moodul /etc/modprobe.conf-is laetakse?
Kas midagi muutub peale mooduli käsitsi eemaldamist ja uuesti laadimist?
| Kood: | | modprobe -rv lpfc
modprobe -v lpfc |
|
Käsitsi eemaldamine ja uuesti laadimine kaotas host1 ära ning kui tagasi sain, siis LUN-e ikka ei näe.
Debianis vaikimisi pole modprobe.conf faili vaid modprobe.d kataloog, mille alt loetakse buutimise ajal asju sisse. Seal aga lpfc kohta ei ole midagi kirjas.
|
|
|
|
|
|
|
|
obundra
Vana Pingviin
Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
|
|
Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:
| Kood: | | modprobe lpfc lpfc_topology=2 |
Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:
| Kood: | | options lpfc lpfc_topology=2 |
|
|
|
|
_________________
IT teenused
|
|
|
|
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
| obundra kirjutas: | Kusagilt Emulexi dokumentatsioonist jäi silma, et mõnikord ei õnnestu automaatselt linki luua.Workaroundiks pakutakse lpfc moodulis topoloogia muutmist point-to-point peale.
Selleks tuleb moodul kõigepealt maha laadida ning uuesti laadides öelda:
| Kood: | | modprobe lpfc lpfc_topology=2 |
Kui sellest on abi, siis lisada vastav rida modprobe.conf-i, või siis tekitada eraldi konfifail modprobe.d kausta:
| Kood: | | options lpfc lpfc_topology=2 |
|
Tegelikult systool juba väidab, et kaart jookseb point-to-point režiimis.
systool -c fc_host -v host1
...
port_state = "Online"
port_type = "Point-To-Point (direct nport connection)"
speed = "8 Gbit"
...
aga proovisin ka modprobe kaudu ette anda ning proovisin igaks juhuks ka erinevaid variante:
0 - Attempt loop mode, if it fails attempt point-to-point mode
2 - Attempt point-to-point mode only
6 - Attempt point-to-point mode, if it fails attempt loop mode
ning tulemus ikka sama ... lun-e ei leia
|
|
|
|
|
|
|
|
obundra
Vana Pingviin
Vanus: 49
Liitunud: 04.08.2005
Postitused: 1213
Asukoht: 127.0.0.1
Distributsioon: RHEL, Solaris, Debian, Gentoo
|
|
|
|
meelismih
Uus kasutaja
Vanus: 40
Liitunud: 05.02.2015
Postitused: 8
|
|
Tänud obundra abi eest! Lootsin, et asi ei ole ikkagi see, mis mitu kuud lahendamist ootama jääks, aga näed ... paistab ikkagi sinna poole viitavat
Igatahes püüan samuti report-i üles ajada ning eks näis, kas asi parandatakse ära või mitte.
|
|
|
|
|
|
|
|
|
|
|
