... und täglich grüsst das Murmeltier ( Domino Sever spinnen kollektiv)

[nespresso]

Guten Morgen,

habe seit 2 Wochen ein bislang noch nie gesehenes Problem mit 4 Domino Servern, wovon jeweils 2 im Cluster sind. Jeden Morgen um 6 Uhr fangen die an sich plötzlich nicht mehr zu sehen. Alle fangen relativ gleichzeitig an und nach 15 bis 20 Minuten ist der Spuk vorbei.

20.03.2012 06:01:14   ATTEMPT TO ACCESS SERVER by xxxxxx/SERVER/xx was denied
20.03.2012 06:01:18   ATTEMPT TO ACCESS SERVER by yyyyyyy/SERVER/xx was denied
20.03.2012 06:01:45   Error connecting to server xyz/SERVER/xx: Remote system no longer responding
20.03.2012 06:02:53   Error connecting to server xyz/SERVER/xx: Remote system no longer responding

Ping hingegen funktioniert auf die Systeme, auch untereinander.
Domino Trace = kein Connect
Logfile gibt nicht einmal eine Ahnung was los sein könnte.
OS Eventlog fehlerfrei.

Bisher: Alle relevanten DB's offline behandelt
Vorher waren die Server partitioniert auf zwei Stück Hardware, jetzt zwei davon auf VM

2 x Domino 8.5.3  auf Windows 2003 R2 32 bit
2 x Domino 8.5.3 auf VMWare / Windows 2008 R2 64bit
Domino ist 32bit

Ich habe so ein Verhalten bislang nicht erlebt und ich habe auch noch nie so lange rumgemacht ohne zumindest das Problem zu identifizieren.
Hilfäääääääääääää

Fragt mich, ich antworte umgehend ;-)

Gruss, der Uwe

[RZLT]

Könnte es sein das die Domino´s die auf VM-Ware laufen grad an einen anderen Standort gehüpft sind.
Ähnliche Symtome kenn ich aus meiner Testumgebung die auf VM-Ware läuft und der Server (Windows) vom System an einen anderen Server hüpft.

[nespresso]

Hi Tom,

der Umzug auf VM Ware war ein Teil der Übung um die Systeme zu entkoppeln, das heisst die Probleme traten schon vorher auf. Gebracht hat es allerdings nichts.

[RZLT]

Hm, grübel.
Wird Netzwerkseitig ein Switch täglich rebootet oder ist da evtl. einer defekt?



PS: als ich letztes Jahr von AIX auf Windows migriert habe, wurde mir seitens eines IBM-Fieldsupporters abgeraten produktive Maschinen auf VM-Ware zu installieren, da es da regelmäßig zu Problemsituationen kommt. 

[nespresso]

Äussere Einflüsse habe ich soweit möglich abgeklärt. Netzwerk funktioniert, da sonst kein Ping möglich wäre.

[RZLT]

Mich erstaunt nur die Regelmäßigkeit mit Beginn um 06:00 Uhr.
Porteinstellungen im Serverdokument (IP-Adressen/DNS-Name) überprüft?

[Micha B]

Vielleicht zieht auch gerade eine andere Software (Virenscanner?) um diese Zeit Aktualisierungen und macht, warum auch immer, gewisse Ports dicht.

[nespresso]

Wie gesagt, habe ich äussere Einflüsse so weit wie Möglich abgeklärt. Auf dem OS laufen keine entsprechenden Tasks, Virenscanner wurde seit Installation nicht angefasst und entsprechende Ausschlüsse für Domino Datenbanken sind vorhanden. IP Konfiguration auf OS und Domino Server wurden nicht vorgenommen. Hab das alles auch nochmals überprüft, aber ohne Ergebnis.

[atbits]

DNS-Probleme kannst Du auch ausschliessen?
Ist der Cluster über Hostnamen oder IP-Adressen?

Läuft eine lokale Firewall auf den Windows-Kisten? Oder vielleicht der Update-Servive um 6 Uhr?
Wie stehts mit Backup?
Was für ein OS? Windows 2008?
Hängen die Dominos an einer SAN und die zickt vielleicht (hatte ich auch schon)

Grüße David

[nespresso]

Cluster rein über IP und die Server sind via ICMP Ping erreichbar. Sowohl unter der IP als auch via DNS
Firewall = negativ
Backup ist um die Zeit fertig, Backuplog bestätigt das.
SAN überprüft und Logs gesichtet = negativ

[mezz]

Äussere Einflüsse habe ich soweit möglich abgeklärt. Netzwerk funktioniert, da sonst kein Ping möglich wäre.

das durchkommen der ICMP-pakete muss nicht zwangsläufig aussagekräftig sein, du solltest statt dessen z.b. mit hping einen "traceroute" auf den entsprechenden tcp-port machen, am besten automatisiert zu dem zeitpunkt wo das problem auftritt.

[nespresso]

Telnet auf 1352 funzt genau zu der Zeit. Ich sitze seit einer Woche am Morgen um 6 vor den Kisten 

Meine Vermutung ist, dass die Domino Server routing Probleme haben. Routing tables? whatever..... Adressbuch? DA? Ich hab derzeit einfach keinen Plan und nichts greifbares um den Fehler zu reproduzieren.....

[pram]

Telnet von einem server zum anderen versucht?
Ggf ist eine Firewall mit IDS o.ä. schuld?

Gruß
Roland

[nespresso]

jup, hatte ich geschrieben....
Die Server stehen im internen LAN, also keine FW dazwischen

[umi]

Hi

Also sehen sich die Dominos zwischen 6 und 6:20 nicht. Aber kannst Du mit dem NotesClient auf die Dominos zugreifen während dieser Zeit?
Hast Du die Connectiondokumente schon mal geprüft? Schedule evtl. verschoben?

[ra.t]

Hallo ...
du könntest vielleicht mal bei einem Server die Windowszeit verstellen,
um zu überprüfen ob es wirklich lokale Probleme sind.
Dann könntest du evtl. die Dominos als Fehler ausschließen.
mfg
Ralf

[koehlerbv]

Aber ja nicht vorstellen! Ich würde ihn in eine andere Zeitzone setzen und so tun, als ob das Teil jetzt in Grönland friert.

Bernhard

[nespresso]

Sali Urs: Nein, auch mit dem Client sind die Server nicht erreichbar. Verbindungsdokumente kann man ausschliessen, da auf der Serverconsole ein Trace die korrekte IP wiedergibt, dennoch bleibt der angesprochene Server nicht erreichbar.

Ralf & Bernhard: Das tönt auf den ersten Blick interessant, aber bei näherer Betrachtung hole ich mir damit andere Probleme ins Haus. Wir haben auf jedem Server ca. 1500 Mailboxen, setzen Traveler und iNotes ein. Vermutlich gibt das ein tolles Durcheinander mit Terminen, Mails etc... denke nicht dass das sinnvoll wäre.

[koehlerbv]

Wieso, Uwe? Einfach Uhrzeit verstellen ist natürlich Murks. Aber die Zeitzone? Du musst den Bezug zu UTC dabei erhalten. 6 Uhr CET = 4 Uhr CVT. Gespeichert wird jeweils der UTC-Wert, es ändert sich also nix. Termine etc. werden vom Client oder von den Dokumentvorgaben bestimmt.

Allerdings hängen auch an meinem Vorschlag sackweise Folgeprobleme, u.a., da sichergestellt werden muss, dass relevante Config-Dokumente des umgestellten Dominos dann auch auf die neue Zeitzone umgestellt werden müssen, um alle Eventualitäten auszuschliessen.
Ich dehne das mal nicht weiter aus, da für mich doch eher alles in Richtung Netzwerk deutet oder OS oder .. .irgendwas auserhalb der Dominos.

Bernhard

[nespresso]

Ich werde mir jetzt mal Wireshark auf einem Domino installieren und ein Protokoll schreiben. Mal sehen ob das neue Erkenntnisse bringt.