Das Notes Forum
Domino 9 und frühere Versionen => ND8: Administration & Userprobleme => Thema gestartet von: nespresso am 20.03.12 - 08:15:12
-
Guten Morgen,
habe seit 2 Wochen ein bislang noch nie gesehenes Problem mit 4 Domino Servern, wovon jeweils 2 im Cluster sind. Jeden Morgen um 6 Uhr fangen die an sich plötzlich nicht mehr zu sehen. Alle fangen relativ gleichzeitig an und nach 15 bis 20 Minuten ist der Spuk vorbei.
20.03.2012 06:01:14 ATTEMPT TO ACCESS SERVER by xxxxxx/SERVER/xx was denied
20.03.2012 06:01:18 ATTEMPT TO ACCESS SERVER by yyyyyyy/SERVER/xx was denied
20.03.2012 06:01:45 Error connecting to server xyz/SERVER/xx: Remote system no longer responding
20.03.2012 06:02:53 Error connecting to server xyz/SERVER/xx: Remote system no longer responding
Ping hingegen funktioniert auf die Systeme, auch untereinander.
Domino Trace = kein Connect
Logfile gibt nicht einmal eine Ahnung was los sein könnte.
OS Eventlog fehlerfrei.
Bisher: Alle relevanten DB's offline behandelt
Vorher waren die Server partitioniert auf zwei Stück Hardware, jetzt zwei davon auf VM
2 x Domino 8.5.3 auf Windows 2003 R2 32 bit
2 x Domino 8.5.3 auf VMWare / Windows 2008 R2 64bit
Domino ist 32bit
Ich habe so ein Verhalten bislang nicht erlebt und ich habe auch noch nie so lange rumgemacht ohne zumindest das Problem zu identifizieren.
Hilfäääääääääääää
Fragt mich, ich antworte umgehend ;-)
Gruss, der Uwe
-
Könnte es sein das die Domino´s die auf VM-Ware laufen grad an einen anderen Standort gehüpft sind.
Ähnliche Symtome kenn ich aus meiner Testumgebung die auf VM-Ware läuft und der Server (Windows) vom System an einen anderen Server hüpft.
-
Hi Tom,
der Umzug auf VM Ware war ein Teil der Übung um die Systeme zu entkoppeln, das heisst die Probleme traten schon vorher auf. Gebracht hat es allerdings nichts.
-
Hm, grübel.
Wird Netzwerkseitig ein Switch täglich rebootet oder ist da evtl. einer defekt?
PS: als ich letztes Jahr von AIX auf Windows migriert habe, wurde mir seitens eines IBM-Fieldsupporters abgeraten produktive Maschinen auf VM-Ware zu installieren, da es da regelmäßig zu Problemsituationen kommt. ;)
-
Äussere Einflüsse habe ich soweit möglich abgeklärt. Netzwerk funktioniert, da sonst kein Ping möglich wäre.
-
Mich erstaunt nur die Regelmäßigkeit mit Beginn um 06:00 Uhr.
Porteinstellungen im Serverdokument (IP-Adressen/DNS-Name) überprüft?
-
Vielleicht zieht auch gerade eine andere Software (Virenscanner?) um diese Zeit Aktualisierungen und macht, warum auch immer, gewisse Ports dicht.
-
Wie gesagt, habe ich äussere Einflüsse so weit wie Möglich abgeklärt. Auf dem OS laufen keine entsprechenden Tasks, Virenscanner wurde seit Installation nicht angefasst und entsprechende Ausschlüsse für Domino Datenbanken sind vorhanden. IP Konfiguration auf OS und Domino Server wurden nicht vorgenommen. Hab das alles auch nochmals überprüft, aber ohne Ergebnis.
-
DNS-Probleme kannst Du auch ausschliessen?
Ist der Cluster über Hostnamen oder IP-Adressen?
Läuft eine lokale Firewall auf den Windows-Kisten? Oder vielleicht der Update-Servive um 6 Uhr?
Wie stehts mit Backup?
Was für ein OS? Windows 2008?
Hängen die Dominos an einer SAN und die zickt vielleicht (hatte ich auch schon)
Grüße David
-
Cluster rein über IP und die Server sind via ICMP Ping erreichbar. Sowohl unter der IP als auch via DNS
Firewall = negativ
Backup ist um die Zeit fertig, Backuplog bestätigt das.
SAN überprüft und Logs gesichtet = negativ
-
Äussere Einflüsse habe ich soweit möglich abgeklärt. Netzwerk funktioniert, da sonst kein Ping möglich wäre.
das durchkommen der ICMP-pakete muss nicht zwangsläufig aussagekräftig sein, du solltest statt dessen z.b. mit hping einen "traceroute" auf den entsprechenden tcp-port machen, am besten automatisiert zu dem zeitpunkt wo das problem auftritt.
-
Telnet auf 1352 funzt genau zu der Zeit. Ich sitze seit einer Woche am Morgen um 6 vor den Kisten :-\
Meine Vermutung ist, dass die Domino Server routing Probleme haben. Routing tables? whatever..... Adressbuch? DA? Ich hab derzeit einfach keinen Plan und nichts greifbares um den Fehler zu reproduzieren.....
-
Telnet von einem server zum anderen versucht?
Ggf ist eine Firewall mit IDS o.ä. schuld?
Gruß
Roland
-
jup, hatte ich geschrieben....
Die Server stehen im internen LAN, also keine FW dazwischen
-
Hi
Also sehen sich die Dominos zwischen 6 und 6:20 nicht. Aber kannst Du mit dem NotesClient auf die Dominos zugreifen während dieser Zeit?
Hast Du die Connectiondokumente schon mal geprüft? Schedule evtl. verschoben?
-
Hallo ...
du könntest vielleicht mal bei einem Server die Windowszeit verstellen,
um zu überprüfen ob es wirklich lokale Probleme sind.
Dann könntest du evtl. die Dominos als Fehler ausschließen.
mfg
Ralf
-
Aber ja nicht vorstellen! Ich würde ihn in eine andere Zeitzone setzen und so tun, als ob das Teil jetzt in Grönland friert.
Bernhard
-
Sali Urs: Nein, auch mit dem Client sind die Server nicht erreichbar. Verbindungsdokumente kann man ausschliessen, da auf der Serverconsole ein Trace die korrekte IP wiedergibt, dennoch bleibt der angesprochene Server nicht erreichbar.
Ralf & Bernhard: Das tönt auf den ersten Blick interessant, aber bei näherer Betrachtung hole ich mir damit andere Probleme ins Haus. Wir haben auf jedem Server ca. 1500 Mailboxen, setzen Traveler und iNotes ein. Vermutlich gibt das ein tolles Durcheinander mit Terminen, Mails etc... denke nicht dass das sinnvoll wäre.
-
Wieso, Uwe? Einfach Uhrzeit verstellen ist natürlich Murks. Aber die Zeitzone? Du musst den Bezug zu UTC dabei erhalten. 6 Uhr CET = 4 Uhr CVT. Gespeichert wird jeweils der UTC-Wert, es ändert sich also nix. Termine etc. werden vom Client oder von den Dokumentvorgaben bestimmt.
Allerdings hängen auch an meinem Vorschlag sackweise Folgeprobleme, u.a., da sichergestellt werden muss, dass relevante Config-Dokumente des umgestellten Dominos dann auch auf die neue Zeitzone umgestellt werden müssen, um alle Eventualitäten auszuschliessen.
Ich dehne das mal nicht weiter aus, da für mich doch eher alles in Richtung Netzwerk deutet oder OS oder .. .irgendwas auserhalb der Dominos.
Bernhard
-
Ich werde mir jetzt mal Wireshark auf einem Domino installieren und ein Protokoll schreiben. Mal sehen ob das neue Erkenntnisse bringt.
-
Das ist bestimmt nicht die schlechteste Idee :) Im laufenden Betrieb wird man eh nichts besseres tun können, als sich in langsamen Schritten ausschliessend des Pudels Kern zu nähern.
Bernhard
-
Natürlich war heute Morgen alles okay..... :(
Vermutlich ist das dem Systemneustart aufgrund des PCap Treibers geschuldet.
Schaun wir mal abwas was morgen ist.
Auffällig ist auch, dass im Adminclient bei einem Server, wenn ich auf den Folder Files gehe, manchmal nichts kommt und manchmal dauert es ewig bis er alle Files und Verzeichnisse anzeigt..... auch F9 bringt ab und an nur träge einen Refresh.... ???
-
Auffällig ist auch, dass im Adminclient bei einem Server, wenn ich auf den Folder Files gehe, manchmal nichts kommt und manchmal dauert es ewig bis er alle Files und Verzeichnisse anzeigt..... auch F9 bringt ab und an nur träge einen Refresh.... ???
... das kann z.B. an temporären Volltextindizes liegen, die das Verzeichnis "gtrhome" zumüllen. Diese werden dann erst mal alle eingelesen, bevor die Anzeige der Dateien erfolgt. Schau Dir mal das Verzeichnis auf dem betreffenden Server an.
Gruß
Wolfgang
-
gtrhome ist gähnend leer... aber danke für den Hinweis ;)
-
Das verhalten des Admin Clients kann aber auch damit zu tun haben was er alles an Files einliest wenn du dir die Directorys anzeigen lässt wie Wofgang korrekt anmerkt.
Man kann dies aber beeinflussen und "optimieren" durch folgenden Server Notes.Ini Parameter:
ADMIN_CLIENT_SKIP_DOMINO=1
http://www-10.lotus.com/ldd/dominowiki.nsf/dx/admin_client_skip_domino (http://www-10.lotus.com/ldd/dominowiki.nsf/dx/admin_client_skip_domino)
VG
Christian
-
Richtig, den Parameter habe ich dank DCT schon eine ganze Weile implementiert und trotzdem tritt es auf.
-
Hallo ...,
vielleicht könntest du auch noch einmal bei einem Server ein neues NSD-File erstellen, sobald das Problem wieder auftritt.
Evtl. kannst du darin etwas mehr sehen, was da so im Domino und Windows gerade läuft.
Oder du postest hier mal einen Teil davon.
mfg
Ralf
-
So, Problem identifiziert, aber den Zusammenhang noch nicht kapiert ;-)
Offensichtlich hängt es mit Directoy Asstance zusammen, auch wenn ich da noch im Dunkeln tappe wie das die ganzen Server runterziehen kann. Der Fehler ist nun jedoch reproduzierbar.
Die DA Datenbank editieren und auf einem Server sh xdir reload eingeben und ein paar Sekunden warten.... kein Server kann mehr mit dem anderen kommunizieren, Server .....XXXX.... is not longer responding und das zeitgleich auf allen 4 Mailservern.
Jetzt hab' ich zumindest etwas in der Hand wo ich ansetzen kann und mal sehen ob IBM nun endlich auch in der Lage ist gerauszufinden woran es liegt, wenn ich sie mit der Nase drauf stumpe.
....to be continued
Der Uwe
-
Dann weiss ich was los ist - Ihr habt in der Directory Assistance einen Eintrag drin, bei der Ihr im Domain- Namen den selben Namen eingetragen habt wie Eure interne Domain heisst.
Nun durchsucht der Server dieses Adressbuch nach den Verbindungs- Dokumenten / Seinem eigenen Serverdokument... Und kann nichts finden -> BUMM
Problem kann sich auch auswirken, dass kein User mehr auf den Server kommt, Tasks nicht mehr sauber laufen, etc...
-
Wir haben bislang 5 Einträge im DA mit Domainnamen gehabt, die sich auf Phantasiedomains beziehen. Nun hat man ein sechstes Adressbuch hinzugenommen und ebenfalls einen Domainnamen verwendet, der nicht existiert. Einzige Ausnahme hier, dass das zugehörige Adressbuch nicht im Root liegt sondern in einem Unterverzeichnis, was eigentlich nichts machen sollte. Ich konnte das erstmalige Auftreten des Fehlers nun mit dem Erstellen des neune Adressbuchs und dem Eintrag im DA in Zusammenhang bringen, doch der Zusammenhang mit dem Ausfall der Systeme fehlt mir noch....
-
Bitte check mal den EIntrag "MailDomain" in der Notes.ini der Server und prüfe, ob es da irgendeine Ähnlichkeit mit dem Domain- Namen des sechsten DA- Eintrag gibt... Wir verwenden sehr häufig DA mit Unterverzeichnissen und hatten da noch nie Probleme mit, aber wie gesagt: Wir hatten schon Probleme, dass der Server eines der DA- Verzeichnisse als sein "Haupt- Verzeichnis" angesehen hat, und deshalb sehr viele Probleme auftraten (Mail- Routing, Replikation, Serverzugriffe und mehr)
-
Den Eintrag MailDomain haben wir nicht, lediglich DOMAIN= und der ist unique
Das ganze klingt aber von der Logik her vielversprechend, aber noch sehe ich kein Land
P.S. Benutzt Ihr Application Links oder tragt ihr Server und Verzeichnis ein?
-
;D ;D ;D ;D ;D ;D ;D
Denke mal wir haben das faule Ei gefunden!
Das neue Adressbuch, auf das DA nun referenzierte war ein altes mit Design Personaladressbook 6.5 und darüber hinaus waren die Views offensichtlich defekt. Habe jetzt ein neues gebaut und die paar Daten rübergezogen und auf dem Server ausgetauscht. Werde heute Abend gegen 22:00 Uhr testen ob ich den Fehler nochmals provozieren kann, bin aber sicher dass das mit den ergriffenen Massnahmen nun aus der Welt ist.
Vielen Dank an alle Beteiligten (gibt keine passenden Smileys um auszudrücken was ich sagen möchte ) ;D
-
ja, richtig, auf den Servern war der Eintrag Domain...
Leider erweist sich die DA damit unter 8.5 erneut mehr als Fluch denn als Segen...
Unter R7 und R8 kannte ich solche Probleme nicht, unter R8.5 scheint die Priorisierung da irgendwie "verschoben" zu sein: Dass ein ZUSÄTZLICHES Adressbuch quasi das Haupt- Adressbuch ausser Kraft setzt, wenn es falsch konfiguriert (oder defekt) ist, darf ja eigentlich gar nicht sein... ist aber so.
Damit entwickelt sich die DA vom "nice to have"- Feature zum absolut unternehmenskritischen Part der Konfiguration.
Hier mal eine Liste der Issues, die ich in letzter Zeit mit DA hatte (nur um das Thema hier abzurunden):
- Versehentliches Eintragen der Internen Domain in einem Verzeichnis- Eintrag führt zum Stillstand der ganzen Domain (Mailrouting und Replizierung gehen nicht mehr, User- Authentifizierung auch nicht, Server starten nicht mehr mit Fehlermeldung "Kein Serverdokument gefunden", etc. )
JA, das ist ein Admin- Fehler (und ich habe den Admin auch kräfig ausgeschimpft ;-) ), aber gut...
- Ein Adressbuch mit einer falschen Schablone in der DA verhindert das Funktionieren des neuen Features "AutoPopulated Groups"
JA, persönliche Adressbücher waren noch nie supported, haben aber immer funktioniert
- Ein Adressbuch, das nicht geladen werden kann, deaktiviert die Regel "Verify that local domain recipients exist in the Domino Directory:" des Serverdokuments
- Ein Defektes Adressbuch zerstört die Verbindung zwischen Servern (dieser Fall hier)
Alles Dinge, die aufgrund einer Fehlerkonfiguration / eines Fehlers an einer anderen Stelle passieren... Aber trotzdem...
-
Ich hatte bislang noch nie Ärger mit DA und von daher tat ich mich recht schwer den Fehler zu lokalisieren.
Jedenfalls macht es nach deiner Beschreibung Sinn weshalb es zu besagtem Verhalten kam, insofern merci für die Hinweise.
Zur allgemeinen Belustigung noch ein paar Auszüge aus dem PMR
IBM:
I am suspecting there is a memory leak:
Set the following parameters in notes.ini to trap any leaks in suspected
memory blocks:
Debug_Trapleaks=ab04,8a03,8604
Debug_Trapleaks_ShowStack=1
DEBUG_SHOWLEAKS=1
DEBUG_SHOW_MEMORY=1
Ich:
Sorry, die erste Zeile verschwindet immer wieder und die Parameter funktionieren nicht.
IBM:
Hi Uwe;
Please do the following:
1- Shut down the server...
2- Modify notes.ini with that parameter.
3- Start server...
Now check if the line/parameter gets deleted or not...
Ich:
Parameter ist wieder weg. Ausserdem kann ich den direkt in die Notes.ini einfügen und ein paar Minuten warten ohne etwas zu tun und er verschwindet.
IBM:
Hi Uwe;
Its very strange that even after editing and saving notes.ini with editor
this setting gets deleted...!
Please opena new PMR for this specific issue...we can not debug this PMR
before solving that issue of notes.ini
Ich:
Aha, ihr gebt mir ein Werkzeug an die Hand das nicht funzt und ICH soll dann dafür nein weiteren PMR aufmachen? geht's Euch eigentlich gut in Irland???
Ich bringe jetzt zwei Server auf Windows 64, dann sehen wir weiter.
IBM:
Hi Uwe;
Thats really strange...
First time for me to see such a problem...
I think for now its better for you to move to Win64 then we continue with
issue from there...
Thank you for your time and cooperation...
..... einen Tag später dann wieder IBM:
Hi Uwe;
According to my understanding you will re-setup the server on a Win 64 bit
OS to avoid this memory issue...
For this I will proceed with closure of this PMR with option of reopening
within 28 days...
Please note that you can re-open a PMR easily within 28 days of closure by
sending a message with PMR ID in Subject field to:
REOPEN_PMR@ECUREP.IBM.COM
Ich:
Hallo? Lasst den PMR offen, der ist noch nicht gelöst!!!
IBM:
ACTION PLAN:
OPC & Close
ACTION PLAN OWNER:
L2
NEXT COMMUNICATION DATE:
************************************************************LotusCRT02**
********************* CLOSURE QUESTIONS FOR CUSTOMERS ******************
Are you satisfied we've answered your questions? YES
Anything else I can do for you on this problem? NO
Do you have other product issues I can help with?NO
May we close this Problem Record? YES
THANKED CUSTOMER FOR CALLING IBM! YES
No-Survey: N/A
*********************************************************** CCLSR102 **
Geil, die Fragen hat er mir nie gestellt und ich bin garnicht statisfyed und ja, er kann mehr für mich tun.
Ich:
REOPEN PMR No08154711
IBM:
Hi Uwe;
Thank you for the reply...
If your server now is based on Win 64 bit then this change in configuration
requires opening a new PMR so that things do not get confusing for people
working on the PMR...
For this please open a new PMR for the new env you have...
Ich:
Oehmmmm ( Smiley das mit dem Kopf gegen die Wand hämmert )
Ich habe nur zwei Server auf Win64, die anderen sind noch 32bit, also offen lassen oder habt ihr einfach keine Lust zu helfen??
IBM:
Hi Uwe;
Sorry I did not mean we are eager to close PMRs...
Its just that IBM policy is to be precise with PMRs and related issues &
environments to make it easier to follow up on problems...
I will keep the other PMR open and continue troubleshooting it...
Ich:
Heute morgen NSD geschrieben, meine Vermutung in Richtung DA Thematik geäussert und auch wie ich den Fehler reproduzieren kann.
IBM:
Hi Uwe;
Sorry to know your server crashed again...
Please make sure to always CC lotus_support@mainz.ibm.com quoting PMR #
so that NSDs and info you send go directly to the PMR
This is important as in case i am not available then one of my colleagues
will handle the issue...
I checked the NSD you provided but it seems it was either generated
manually or did not include any crash stack...!
The only info i could find is:
Monitor.Last.Server.FatalText = Mail from xyzserver01/SERVER/FRIMA to
destination xyzserver01/SERVER/FRIMA has exceeded its message limit.
So it seems this relates to some corrupted message...
All memory allocation seems to be fine, so this is not the same as previous
crashes of your server...
According to your input you believe this relates to Directory Assistance,
in this case one of your NAB files might be corrupted and resulting in
crashes:
for this please run fix up on all your NAB files to remove any possible
corruptions, you can also replace such files from a back up...
It would be great if you can provide us with complete details for how to
reproduce this issue...
Thank you for your time and cooperation...
Ich:
Okay, macht das Ticket zu, ich hab's gefunden......................
Immer wieder mühsam mit IBM Fehler zu suchen... :-:
-
I am suspecting there is a memory leak
Made my Day!