Heut frueh wollten wir einen Fileserver-Head-Schwenk machen, weil manche CIFS Shares nicht
	  mehr mountbar waren und wir keine andere Loesung gefunden haben. Das ging brutal schief,
	  weil der zweite Head aus unerfindlichen Gruenden ein komplettes Plattenshelf nicht mehr
	  kannte. Nach einem Zurueckschwenk waren dan natuerlich alle Mirror-Paare degraded, und
	  weil die zweite Maschine die Platten nicht gesehen hat, hat sie die Namen durch UUIDs
	  ersetzt, die nix mehr zugeordnet sind. zfs replace funktioniert mit einem i/o error
	  nicht mehr (d.h. auch die erste Maschine sieht die Platten nicht mehr). Wir fahren  
	  jetzt also ein RAID0 aus lauter kaputten RAID1 Paaren. Herr Longariva vom RRZE konnte
	  ein paar Tips geben, wie man mit devfsadm auf der anderen Maschine wieder auf die
	  Platten zugreifen kann, aber das NFS/CIFS kommt jetzt von der Maschine, die nur
	  die Haelfte sieht. Ohmann. Dass laengere Zeit die Haelfte aller Platten ausfaellt,
	  war natuerlich nicht im Fehlerszenario vorgesehen. Alle Mitarbeiter- und Studentenhomes
	  sind noch auf Backups, insofern keine Userdaten in Gefahr, aber trotzdem eine
	  eklige Vorstellung, dass jetzt eine ausfallende Platte reicht, alles ins Grab zu
	  reissen. Ein zfs send -R aller Daten laeuft auf die norton (nur dort ist genug Platz),
	  aber das braucht 12 Tage (sind 15 Terabyte).... Danach testen wir mal, ob ein
	  Schwenk auf die andere Maschine zu einem re-silvering der Mirrors fuehrt, oder
	  ob dann alles stehnbleibt.

[/bauerm] permanent link