Pb montage iSCSI sur serveur

[Pierre Malard]

Bonjour,

Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions monter les volumes créés sur la baie SAN MSA dessus.
Le serveur est relié en double attachement sur les 2 contrôleurs de la baie sur 2 VLAN différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et cuivre (moins d’un mètre, câble cat 7 ou 8) via un GBIC SFP/cuivre :
*-network:2
description: Ethernet interface
produit: Ethernet Connection X722 for 10GbE SFP+
fabriquant: Intel Corporation
identifiant matériel: 0.2
information bus: ***@0000:64:00.2
nom logique: eno3
version: 09
numéro de série: 5c:ed:8c:61:b5:92
taille: 10Gbit/s
bits: 64 bits
horloge: 33MHz
fonctionnalités: pm msi msix pciexpress vpd bus_master cap_list rom ethernet physical
configuration: autonegotiation=off broadcast=yes driver=i40e driverversion=6.1.0-20-amd64 duplex=full firmware=5.50 0x80003373 1.3089.0 ip=192.168.10.100 latency=0 link=yes multicast=yes speed=10Gbit/s
ressources: irq:30 mémoire:ed000000-edffffff mémoire:ef010000-ef017fff mémoire:ef600000-ef9fffff mémoire:f0280000-f02fffff
*-network:3
description: Ethernet interface
produit: Ethernet Connection X722 for 10GbE SFP+
fabriquant: Intel Corporation
identifiant matériel: 0.3
information bus: ***@0000:64:00.3
nom logique: eno4
version: 09
numéro de série: 5c:ed:8c:61:b5:93
taille: 10Gbit/s
bits: 64 bits
horloge: 33MHz
fonctionnalités: pm msi msix pciexpress vpd bus_master cap_list rom ethernet physical
configuration: autonegotiation=off broadcast=yes driver=i40e driverversion=6.1.0-20-amd64 duplex=full firmware=5.50 0x80003373 1.3089.0 ip=192.168.11.100 latency=0 link=yes multicast=yes speed=10Gbit/s
ressources: irq:30 mémoire:ee000000-eeffffff mémoire:ef018000-ef01ffff mémoire:ef200000-ef5fffff mémoire:f0200000-f027ffff

Et l’OS installé est une Debian 12.

La déclaration Ethernet me semble correcte :
***@bnas5:~# cat /etc/network/interfaces.d/20-iSCSI
# Carte 2
# Port1
auto eno3
iface eno3 inet static
address 192.168.10.100
netmask 255.255.255.0
mtu 9000
# Port2
auto eno4
iface eno4 inet static
address 192.168.11.100
netmask 255.255.255.0
mtu 9000

J’ai installé le paquet « open-iscsi » .

Tout se passe bien du côté visibilité des liens iSCSI, on les voit tous :
***@bnas5:~# iscsiadm -m node
192.168.10.60:3260,1 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8
192.168.10.61:3260,2 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8
192.168.11.60:3260,3 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8
192.168.11.61:3260,4 iqn.2015-11.com.hpe:storage.msa2060.baksz2223f54bd8

Et « multipah-tools » et « multipath-tools-boot » qui a bien reconnu tout ça :
***@bnas5:~# multipath -ll
VOL-MSA-01 (3600c0ff000f53f41e4c1266501000000) dm-0 HPE,MSA 2060 iSCSI
size=91T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 1:0:0:1 sdb 8:16 active ready running
| `- 4:0:0:1 sdl 8:176 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 2:0:0:1 sdf 8:80 active ready running
`- 3:0:0:1 sdg 8:96 active ready running
VOL-MSA-02 (3600c0ff000f53fd7e4c1266501000000) dm-2 HPE,MSA 2060 iSCSI
size=91T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 2:0:0:2 sdh 8:112 active ready running
| `- 3:0:0:2 sdi 8:128 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 1:0:0:2 sdc 8:32 active ready running
`- 4:0:0:2 sdo 8:224 active ready running
VOL-MSA-03 (3600c0ff000f53f419c4d196601000000) dm-1 HPE,MSA 2060 iSCSI
size=45T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 1:0:0:3 sdd 8:48 active ready running
| `- 4:0:0:3 sdp 8:240 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 2:0:0:3 sdj 8:144 active ready running
`- 3:0:0:3 sdk 8:160 active ready running
VOL-MSA-04 (3600c0ff000f53fd79d4d196601000000) dm-4 HPE,MSA 2060 iSCSI
size=45T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 2:0:0:4 sdm 8:192 active ready running
| `- 3:0:0:4 sdn 8:208 active ready running
`-+- policy='service-time 0' prio=10 status=enabled
|- 1:0:0:4 sde 8:64 active ready running
`- 4:0:0:4 sdq 65:0 active ready running

Les volumes ont bien été créés et montés sans aucun message d’erreur lorsqu’on fait ça à la main :
***@bnas5:~# df -h
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
. . .
/dev/mapper/Test1-LV--Test1 91T 650G 91T 1% /media/Test1

Et le FSTAB renseigné mais le boot plante sans véritablement indiquer quoi que ce soit avant le montage des volumes iSCSI. Je suis obligé de me retrouver en single user et là, tout fonctionne à merveille, je peux monter le volume ou taper un « exit » pour passer en multi users, tout est monté !

Je ne comprend pas !

En single user, voici comment termine le « dmesg » :
2024-04-29T13:10:38.444996+02:00 bnas5 kernel: [ 10.389585] sd 4:0:0:1: [sdk] Attached SCSI disk
2024-04-29T13:10:38.444997+02:00 bnas5 kernel: [ 10.391892] sd 4:0:0:4: [sdp] Attached SCSI disk
2024-04-29T13:10:38.460982+02:00 bnas5 kernel: [ 10.405840] sd 3:0:0:4: [sdq] Attached SCSI disk
2024-04-29T13:10:38.509123+02:00 bnas5 kernel: [ 10.455936] device-mapper: multipath service-time: version 0.3.0 loaded

E après il y a bien un warning imb… et une histoire 512 bytes :
97.625104] sd 4:0:0:4: [sdq] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 97.625191] sd 4:0:0:4: [sdq] Preferred minimum I/O size 512 bytes not a multiple of physical block size (4096 bytes)
[ 97.625195] sd 4:0:0:4: [sdq] Optimal transfer size 1048576 bytes
[ 97.625764] sd 4:0:0:3: [sdp] Attached SCSI disk
[ 97.626322] sd 4:0:0:4: Attached scsi generic sg22 type 0
[ 97.636092] sd 3:0:0:4: [sdn] Attached SCSI disk
[ 97.640654] sd 4:0:0:4: [sdq] Attached SCSI disk
[ 118.405546] XFS (dm-5): Mounting V5 Filesystem
[ 118.783857] XFS (dm-5): Ending clean mount
[ 118.879205] i40e 0000:64:00.2 eno3: WARNING: Link is up but PHY type 0xe is not recognized, or incorrect cable is in use
[ 118.879273] i40e 0000:64:00.3 eno4: WARNING: Link is up but PHY type 0xe is not recognized, or incorrect cable is in use


J’ai beau chercher, je ne trouve pas l’origine de ce comportement ni un éventuel firmware non installé. J’ai déclaré les paquets « non-free-firmware » dans me sources.list et visiblement ils ont été installés :
***@bnas5:~# aptitude search firmware~i
i A firmware-amd-graphics - Binary firmware for AMD/ATI graphics chips
i A firmware-linux-free - micrologiciels binaires pour des pilotes du noyau Linux
i firmware-linux-nonfree - Binary firmware for various drivers in the Linux kernel (metapackage)
i A firmware-misc-nonfree - Binary firmware for various drivers in the Linux kernel

Voilà ce qu’indique un ethtools :
***@bnas5:~# ethtool -i eno3
driver: i40e
version: 6.1.0-20-amd64
firmware-version: 5.50 0x80003373 1.3089.0
expansion-rom-version:
bus-info: 0000:64:00.2
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

Je n’y comprend absolument rien hailpeux !
--
Pierre Malard

« L'utopie, c'est la vérité de demain »
Victor Hugo (1802-1885)
|\ _,,,---,,_
/,`.-'`' -. ;-;;,_
|,4- ) )-,_. ,\ ( `'-'
'---''(_/--' `-'\_) πr

perl -e '$_=q#: 3|\ 5_,3-3,2_: 3/,`.'"'"'`'"'"' 5-. ;-;;,_: |,A- ) )-,_. ,\ ( `'"'"'-'"'"': '"'"'-3'"'"'2(_/--'"'"' `-'"'"'\_): 24πr::#;y#:#\n#;s#(\D)(\d+)#$1x$2#ge;print'
- --> Ce message n’engage que son auteur <--

[didier gaumet]

Le 30/04/2024 à 12:15, Pierre Malard a écrit :
[...]

Post by Pierre Malard
WARNING: Link is up but PHY type 0xe is not recognized, or incorrect cable is in use

[...]

a priori ça c'est juste un warning et d'après l'assistance Redhat ce
serait dû à une incohérence câblage/cartes qui ne permet pas la
détection automatique correcte de la bonne vitesse. RH recommande donc
de changer le câble pour un modèle qui supporte la vitesse max des
cartes ou de spécifier la vitesse manuellement:
https://access.redhat.com/solutions/4939451

+++

(avertissement habituel, ne pas se fier aveuglément à ce que je dis, je
déverse parfois des tombereaux de stupidités)

pour le plantage du montage au démarrage, ça me ferait plutôt pencher
vers un souci de dépendances systemd ou d'initramfs

l'assistance redhat recense un problème similaire qu'elle propose de
résoudre par le démarrage des services systemd iscsi et iscsid:
https://access.redhat.com/solutions/7060247

il se pourrait aussi que le paquet open-iscsi que tu as installé, qui
semble contenir des trucs pour l'initramfs donc qui nécessiter une
reconstruction de l'initramfs, ait vu son installation en partie loupée
sans que tu t'en aperçoives, et que l'initramfs n'ait pas été modifié.
Donc peut-être qu'un
# dpkg-reconfigure open-iscsi
ou un
# update-initramfs -u -k all
pourrait aider

note: certains articles de l'assitance redhat ne sont pas accessibles
sans un compte redhat mais tout le monde peut se créer un compte redhat
développeur:
https://sso.redhat.com/auth/realms/redhat-external/protocol/openid-connect/registrations?client_id=rhd-web&redirect_uri=https%3A%2F%2Fdevelopers.redhat.com%2F&state=a2543f8c-a244-4195-aaaa-d0612eb598d7&response_mode=fragment&response_type=code&scope=openid%20api.dxp_portals.developers&nonce=2757b60f-6117-4f69-839e-ea56667d540d&code_challenge=iKGAeZcXRn9n1qoCf-If62tWHfgHOc3YnX8k0rArKzo&code_challenge_method=S256

[Gilles Mocellin]

Post by Pierre Malard
Bonjour,
Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions
monter les volumes créés sur la baie SAN MSA dessus. Le serveur est relié
en double attachement sur les 2 contrôleurs de la baie sur 2 VLAN
différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la
fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et

[...]

Post by Pierre Malard
Je n’y comprend absolument rien hailpeux !

Probablement un problème d'ordre de démarrage.
Quand le montage d'un filesystem est décrit dans /etc/fstab, ça bloque le boot
si il échoue.
Ton iSCSI a besoin du réseau, ce qui arrive généralement après la lecture du
fstab.
C'est pourquoi il existe une option de montage à mettre dans le fstab :
_netdev.
Et je te conseille d'ajouter aussi l'option nofail, qui permet de continuer à
booter en cas de problème.

=> man fstab
=> man mount

[Pierre Malard]

M


J’aurais du y penser ! Quel c
 !

Merci Gilles

Post by Pierre Malard
Bonjour,
Nous avons une baie HPE MSA2060 reliée en iSCSI à un serveur et voudrions
monter les volumes créés sur la baie SAN MSA dessus. Le serveur est relié
en double attachement sur les 2 contrÃŽleurs de la baie sur 2 VLAN
différents (10 et 11) et le MTU déclaré de 9000 correspond bien à la
fenêtre recommandée. Le tout est relié en 10 GB via une carte Intel x722 et

[...]

Post by Pierre Malard
Je n’y comprend absolument rien hailpeux !

Probablement un problÚme d'ordre de démarrage.
Quand le montage d'un filesystem est décrit dans /etc/fstab, ça bloque le boot
si il échoue.
Ton iSCSI a besoin du réseau, ce qui arrive généralement aprÚs la lecture du
fstab.
_netdev.
Et je te conseille d'ajouter aussi l'option nofail, qui permet de continuer à
booter en cas de problÚme.
=> man fstab
=> man mount

--
Pierre Malard

« La vérité ne triomphe jamais, mais ses ennemis finissent
toujours par mourir... »
Max Placnk (1858-1947)
|\ _,,,---,,_
/,`.-'`' -. ;-;;,_
|,4- ) )-,_. ,\ ( `'-'
'---''(_/--' `-'\_) πr

perl -e '$_=q#: 3|\ 5_,3-3,2_: 3/,`.'"'"'`'"'"' 5-. ;-;;,_: |,A- ) )-,_. ,\ ( `'"'"'-'"'"': '"'"'-3'"'"'2(_/--'"'"' `-'"'"'\_): 24πr::#;y#:#\n#;s#(\D)(\d+)#$1x$2#ge;print'
- --> Ce message n’engage que son auteur <--