About
Aus der Tiefe, Meldungen des Rechenzentrums in der Cauerstrasse 11
Matthias Bauer und Martin Bayer
problems@math.fau.de
Subscribe
Subscribe to a syndicated feed of my weblog,
brought to you by the wonders of RSS.
Flavours
There's more than one way to view this weblog; try these flavours on
for size.
Links
Fri, 30 Mar 2012
Es laeuft ein Backup aller Mails im Stundentakt auf einer Maschine im 2 Stock. Zu dem Zweck ein 2Tb RAID-1 aus zwei USB Platten gebastelt. Mit rsnapshot implementiert. Alle alten HOMES (Stand September 2011) von der ziusudra auf besagtes RAID gebracht. Alle alten Backups (gesar,nimrod) ebenso Franzi und Katrin haben alle PCs in den Praktikumsraeumen Versicherungskonform verkabelt und verkabelbunden Simon hat ausser Dienst ein LaTeX Template fuer die neuen Tuerschilder gemacht. Die ZUV hat in ihrem Template den Font auf Helvetica festgenagelt, den haben wir auf den Windowskisten aber nicht. In LaTeX haben wir sie mit dem helvet Package, und erste Test mit dem Schild von Frau Graessels neuem Bureaux zeigen, dass wir sehr nah am ZUV Tempate sind
Was bisher geschah: Der Techniker von Dell war da und hat die zwei defekten Laptops repariert Herr Flammer von Basis war da und hat 42 Tb Platten eingebaut, Lizenzen mussten noch eingespult werden. Die Versicherung weisst dringlich darauf hin, dass unsere Verkabelung in den PC Raeumen Stolperfallen enthaelt die Bodentanks nicht zugehen, weil die Stromstecker rausragen. um das zu beseitigen, wurden 110 Kabel mit geknicktem Stecker und 800 Meter Kabelbinder beschafft. Was heute geschah: Angefangen, die PCs korrekt zu besteckern und zu verkabelbinden Mit viel Handarbeit die Platten im CoRaid belebt und als 7 weitere mirror-Paerchen zum pool dazugefuegt. Jetzt haben wir 30 Tb Platz.
Vorschlag von den Studenten: Praktikumsraum 1 und PC Pool 1 vertauschen, dann waere mehr Platz fuer Praktika und die Pools waeren nebeneinander, wodurch Betreuung einfacher wird. Angebot von Basis erheblich runtergefeilscht. Einfuehrung SMARTboards mitgemacht. Eindrucksvoll, sogar die Schrifterkennung funktioniert.
Neues Mailing-listen Schema erarbeitet. Veroeffentlichung folgt. Stellt sich raus, puppet module muessen als erste Zeile eine "class" definition haben, sonst wirft er keinen fehler, inkludiert das Modul aber trotzdem nicht. Saudummer BUG.
Irgendwas hat ueber Nacht die Permissions auf /var/mail/bayer so verdreht, dass postfix keine mails mehr an ihn zustellen konnte. Bjoern und Martin eine Blitzeinfuehrung puppet gegeben. Wir koennten mal unseren Webserver (und mailserver) von der RRZE CA signieren lassen. Von vier gekauften Dell Precision M4600 sind jetzt schon zwei defekt, einer hatte von Anfang an Memory Fehler, der andere ist durchgeschmort. Stellt sich raus, dass puppet-modules nicht so heissen duerfen wie die nodes zu denen sie gehoeren. Saudummer BUG.
Nuetzliches kommando, um unauslieferbare Mails zu kicken: postqueue -p |sed -n ' /^[0-9A-F]/p' | awk '{print $1}' | sort -u | postsuper -d -
Die nameserver vom RRZE hatten heute ernste Probleme, alles war ruckelig und zaeh. Extensive Tests vom Martin und den Frasch Leuten deuten stark darauf hin, dass unsere Reboot Probleme vom Ubuntu Kernel in Kombination mit der Fujitsu Hardware kommen. Generische Tipps aus der ubuntu szene: - kernel mit noapic starten (da gibts natuerlich 10^3 Varianten davon) - kernel ohne acpi starten Testen wir mal. Die AM3 haetten gerne wieder dynamische DHCP Adressen fuer Laptops. Mit dem aktuellen Setup geht das nicht, weil 1. Linux nicht multihomed/triangle routing tut 2. Der ISC dhcpd zwar die zusatz-Info vom dhcp-proxy vom RRZE erkennt, aber bei unbekannten MACs dann immer die erste definierte range nimmt 3. Da drum rum zu werkeln mit einer zweiten Adresse und firewall rules, die da nur packete vom RRZE reinlassen etc, einfach zu anfaellig ist. Loesung muss wohl sein, einen weiteren DHCP Server _im_ AM3 Netz zu betreiben. Ist mit puppet kein Problem, erfordert aber echte Hardware (s.o.) Deswegen versucht, die ex-andromache wieder flott zu kriegen, bisher erfolglos, weil der Autoinstall Kernel die Platten nicht mag. Wir haben immer noch keinen zusaetzlichen Strom im Serverraum
RRZE entschuldigt sich fuer den z.T. schlechten WiFi Empfang und empfiehlt, wo moeglich, auf 5Ghz einzustellen, weil dann die Konkurrenz mit den Smartphones der Studenten kleiner ist. Zwei Platten im Coraid sind wohl schon lange ohne Volume. Bug? Versehen beim Einrichten?
Neue Erkenntnis: wenn man mit 'zfs set' oder so was am nexenta dreht, dann wird das von der WebGUI eventuell ueberschrieben, sogar dann wenn man gar nix anklickt, was man mit zfs geaendert hat. Schulung beim RRZE zu deren ActiveDirectory Modell mitgemacht. Erstaunlich, wie die MSler das LDAP noch kraenker hingekriegt haben. Es wurde auch klar, dass ein paar der duemmeren Designs in Puppet aus der Ecke kommen. Angebot fuer weitere 15Tb (nach doppel-RAID) eingeholt, leider etwas teuer. Nexenta empfahl: 1. Cacheplatte per setup volume coraid01 remove-lun aus dem volume zu entfernen 2. Ein neues volume mit nur der SSD drin zu erstellen create volume 3. Das neue volume zu zerstoeren 4. Die SSD per setup volume coraid01 grow cache c2t2d15 wieder einzugliedern Hat funktioniert.
Mit dem Nexenta Support nochmal Kontakt aufgenommen, wegen der CAcheplatte die in 'zpool status' als UNAVAILABLE gemeldet wird.
Vor lauter Orientierungsseminar zu fast nix gekommen. Uns sterben nach dem reboot im CIP Pool immer wieder Maschinen, aber immer andere. Die 118 Softwarelizenzen fuer Matlab waren leider im falschen IP Range, nachdem wir die CIP Maschinen in ein privates gezogen hatten. Martin Bayer besucht eine Einfuehrung des RRZE in deren ActiveDirectory Gefuddl.
Vor lauter Orientierungsseminar zu fast nix gekommen. Tobias hat uns ein paar PostgreSQL Tuning-Tips gegeben: 1. Das Postgres bei uns hatte die ubuntu std-settings, die fuer einen C64 mit Memory Erweiterung angemessen gewesen waeren. 2. shared_buffers kann man von einer Handvoll MBs auf 50% des Speichers setzen, in unserem Fall involviert das ein echo $sehrgrossezahl > /proc/sys/kernel/shmmax und entsprechenden Edit in /etc/sysctl.conf 3. work_mem auf das 32-fache erhoeht 4. effective_cache_size ist keine Konfig, sondern eine Hilfe fuers PostgreSQL, um abschaetzen zu koennen, wieviel Platz auf der Maschine ist. Sollte 75% vom RAM darstellen -> ver-80-zigfacht Jetzt fuehlt sich das schon deutlich schneller an. Nikos, William und Martin haben die mysterioesen Druckerpannen aufgeklaert. Das lag an den STD-Einstellungen vom Thunderbird, alles auf US-Letter ausdrucken zu wollen. Das CUPS schickt den resultierenden Mist an den Drucker, der schaut kurz nach, ob irgendwo Letter geladen ist (ist es nicht) und bricht den Druckjob ab. Abhilfe in der Thunderbird Config. Nach einer globalen Loesung suchen wir noch.
Es sieht immer mehr danach aus, als ob die geschickteste Art der Userverwaltung waere, ein /etc/passwd + /etc/group per puppet auf alle Rechner zu push-en, die Hash-felder in der passwd leer zu lassen und die Authentisierung vom Kerberos machen zu lassen.
Martin Bayer hat den ex-virtserver Server mit neuestem BIOS versehen, was auch der Vorschlag vom HP Support war. Feiner unterschied in puppet: content => puppet:///foo/bar ist was anderes als source => puppet:///foo/bar In puppet/fileserver.conf hatte ich das AM3 Netz vergessen Herrn Neebs Problem mit dem Drucken von Emails aus Thunderbird reproduziert -> geht nicht mit Lexmark, geht mit HP. PPD file mal austauschen. Zum ersten mal mit 'puppet apply' gespielt, sehr nett Die CIP Rechner rebooten nicht mehr synchron, sondern abhaengig von der IP zu verschiedenen Zeiten, schau mer mal, ob das was bringt.
Herr Bayer hat seinen Dienst angetreten, sehr gut! Herr Bayer und Herr Rathmann habens fertiggebracht, das RRZE Office-Aktivierungs-Skript so zu patchen, dass es die Software dort sucht, wo sie installiert ist. Frau Echtermeyer hat jetzt "aktiviertes" Office. Die Elektrik installiert jetzt die Kameras. Fuer die Fachschaft beim RRZE um ein /28 Netz gebettelt. Anweisungen von Nexenta Inc befolgt, nexone macht wieder snapshots, nmc laeuft wieder, war nur eine serie von svcadm commandos zum status clear und restart von daemons. Schoen. Der HP Support hat eine Mail geschickt, dass wir auf diverse Arten Daten ueber den defekten Server liefern sollen. Unter anderem sollten wir ein Skript ausfuehren cfg2html, das von einer HP.com Seite runterzuladen war. Orginellerweise hatte das statt \n als Zeilenenden \r\n und das laesst sich dann halt nicht ausfuehren ('/bin/bash^M' no such file...). Und noch viel orginellererweise zeigt der vim diese kaputten Zeilenenden nicht an, und laesst sie einen auch nicht mit :s/^V^M// oder :1,$! tr -d "\015" wegloeschen. WAAAAAA.