Notes 6.5.1 hängt - keine Reaktion mehr auf Konsole

[cubetoon]

Hallo zusammen,
zurück aus dem Urlaub erwartet mich wieder mal ein dicker Hund - geändert hat natürlich keiner was ... dennoch:

- all unsere Notes-Server (7 Stück) bleiben mindestens 1x täglich "hängen"
- es werden keine Eingaben mehr an die Konsole angenommen
- DomAdmin reagiert nicht
- Serverlast geht in die Höhe, verursacher vor allem der Agent Manager
- das alles unter W2003 Server, Notes 6.5.1, SAV 9.0

habe 'ne menge Vermutungen, die sich noch nicht bestätigt haben

- Symantec Antivirus - da immer wieder Mails mit Status Virusscan pending in der Mail.box liegen, wenn das Problem wieder auftritt UND der Server besser läuft, wenn man den ntask aus der Notes.ini rausnimmt um diesen dann "von Hand" nachzustarten, wenn der Server läuft
- Agent Manager - testweises deaktivieren aller Agents brachte leider keinen Erfolg
- Korrupte Mail.box - Server startet erst wieder vernüftig neu, wenn ich die bestehende Mail.box lösche/verschiebe und eine neue anlegen lasse
- irgend eine Systemupdate - entweder von Symantec oder MS - wir nutzen den SUS Server - hierauf tippe ich eigentlich, da das Problem gleichzeitig auf allen Geräten auftritt
Hatte hier nun die Hoffnung hier im Forum was dazu zu finden - Microsoft Server und Symantec Antivirus nutzen ja sicher einige - scheint jedoch nicht so zu sein.

Ach ja, die Ereignisanzeige bringt nichts schlüssiges, ebenso die Notes-Logs.
Tappe (noch) völlig im dunkeln - und die große, weite Internet-Welt hat mir leider auch noch nicht geholfen.

Hat jemand ein ähnliches Phänomen? Vielleicht gibt es ja einen ganz einfachen Grund? Ich tippe ja kräftig auf Symantec - kenne das Produkt allerdings nicht so gut und traue dem demzufolge auch noch so sehr über den Weg!
Viele Grüße,
Christian

[Ralf_M_Petter]

Hallo!

Als erste würde ich in der Notes.ini mal die Semaphore Timeouts mitlocken lassen, damit du siehst welcher Prozess den Hang auslöst. Wie du diese Debug Möglichkeit aktivierst findest du hier

http://eknori.dyndns.org/knowledge/kbnv11.nsf/0/0437a986b2564578852565f4007c9103?OpenDocument

Wie du die Thread ID's den Windows Prozessen zuordnen kannst, musst du deinen Windows Administrator fragen, wir verwenden Domino nicht auf Windows deshalb weiß ich es nicht.

Prinzipielles zu Semphores:

Manche Dinge in Domino dürfen nicht gleichzeitig gemacht werden. z.B. der Rebuild des selben Index. Deshalb erstellt jeder Thread der so eine Operation machen will einen Semaphore lock (sowas ähnliches wie eine kleine Datei) Wenn nun ein anderer Thread die selbe Operation machen will versucht er ebenfalls einen lock zu erstellen, kann das aber nicht da ja bereits einer da ist. Der zweite Thread geht daher in einen Wartenzyklus und gibt den Prozessor wieder frei. Wenn der erste Thread den Semaphore freigibt bekommt ihn der zweite Thread. Wenn ein Thread zu lange warten muß tritt ein Timeout auf den du loggen kannst. Falls ein Thread einen Semaphore überhaupt nicht mehr freigibt kommt es zu einem Hang. Eventuell tritt bei dir auch ein Deadlock auf. Das ist Thread 1 sperrt Semaphore1. Parallel dazu sperrt Thread2 Semaphore 2. Dann will Thread 1 Semaphore 2 locken kann aber nicht , da Thread2 Semaphore 2 blockiert. Wenn nun Thread2 Semaphore 1 anfordert der immer noch von Thread 1 blockiert wird tritt eine klassiche Deadlock Situation auf. Beides fühlt sich hübsch gleich an.

Hoffe das hilft und war nicht zu unverständlich.

Grüße

Ralf

[cubetoon]

Hallo Ralf,
ich glaube, ich habe Deine Ausführungen verstanden. Dennoch bin ich überrascht, was es nicht alles gibt ... probiere ich aus, vielleicht hilft es mir ja weiter!
Gruß,
Christian

[cubetoon]

auch wenn sich das Problem etwas beruhigt hat - der Server ist bis jetzt nur noch ein mal runtergefallen die Logs haben leider gar nichts gebracht, ist mir soeben aufgefallen, dass der Server auch im "normalen" Betrieb keinen Prompt auf der Konsole anzeigt. Nach dem Neustart ist alles okay, nur irgendwann verliert er den Prompt wieder - daher ist auch keine Eingabe mehr über den Domino Administrator möglich ... habe im großen weiten Web nichts dazu gefunden - vielleicht kennt das ja jemand von Euch ?!

[Ralf_M_Petter]

Kannst du das etwas genauer präzisieren, die Logs haben leider nichts gebracht.

Heisst das die Logs werden nicht geschrieben, obwohl du die richtige Notes.ini Einträge gemacht hast oder du kannst mit dem Output nichts anfangen?

Grüße

Ralf

[cubetoon]

das problem (absturz)  ist leider bisher nicht mehr aufgetreten - daher habe ich es lieber wieder deaktiviert um nicht zu viel unnötige daten zu erzeugen.
meinst du ich sollte es noch mal aktivieren und es könnte mir noch aufschluß für das Prompt-Problem geben - bin mir nun nicht sicher inwieweit das noch zusammen gehört!
Christian

[Ralf_M_Petter]

Gehe mal davon aus, dass wenn das prompt verschwindet auch irgendein Task von Notes hängt und der blockiert eventuell auch ein Semaphore. Einfach mal probieren.

Grüße

Ralf

[cubetoon]

ich bleibe dran und halt euch auf dem Laufenden - kann nur nicht zu viel "rumspielen" - ist schließlich ein Produktivserver und mein Chef killt mich, wenn ich den neu starte, obwohl er funktioniert oder so!

[cubetoon]

okay, um ehrlich zu sein hieraus verstehe ich kein wort:

ti="0029836D-C125706E" sq="00002F4A" THREAD [021C:0077-15E8] WAITING FOR FRWSEM 0x0244 database semaphore (@28F442D1) (d:\notes\Data\project\horvalue.nsf) (R=0,W=3,WRITER=021C:15F4,1STREADER=0000:0000) FOR 30000 ms
ti="0029836D-C125706E" sq="00002F4B"  Sò00000000: FACE 7A00 0244 0000 0000 0000 0000 FFFF   'Nz.zD...........'
00000010: FFFF 0002 0000 0244 0000 0300 0000 0000   '......D.........'
00000020: 021C 0000 15F4 0000 0001 02CC 0001 02E4   '....t.....L...d.'


ti="0029852F-C125706E" sq="00002F59" THREAD [021C:0076-1678] WAITING FOR FRWSEM 0x0244 database semaphore (@28F442D1) (d:\notes\Data\project\horvalue.nsf) (R=0,W=3,WRITER=021C:15F4,1STREADER=0000:0000) FOR 30000 ms
ti="0029852F-C125706E" sq="00002F5A" ôöÂ?
`Œù ˆÛ00000000: FACE 7A00 0244 0000 0000 0000 0000 FFFF   'Nz.zD...........'
00000010: FFFF 0002 0000 0244 0000 0300 0000 0000   '......D.........'
00000020: 021C 0000 15F4 0000 0001 02CC 0001 02E4   '....t.

ti="00298F3B-C125706E" sq="00002F66" THREAD [021C:0077-15E8] WAITING FOR FRWSEM 0x0244 database semaphore (@28F442D1) (d:\notes\Data\project\horvalue.nsf) (R=0,W=3,WRITER=021C:15F4,1STREADER=0000:0000) FOR 30000 ms
ti="00298F3B-C125706E" sq="00002F67"  Sò00000000: FACE 7A00 0244 0000 0000 0000 0000 FFFF   'Nz.zD...........'
00000010: FFFF 0002 0000 0244 0000 0300 0000 0000   '......D.........'
00000020: 021C 0000 15F4 0000 0001 02CC 0001 02E4   '....t.....L...d.'


ti="002990EF-C125706E" sq="00002F6D" THREAD [021C:0076-1678] WAITING FOR FRWSEM 0x0244 database semaphore (@28F442D1) (d:\notes\Data\project\horvalue.nsf) (R=0,W=3,WRITER=021C:15F4,1STREADER=0000:0000) FOR 30000 ms
ti="002990EF-C125706E" sq="00002F6E" ôöÂ?
`Œù ˆÛ00000000: FACE 7A00 0244 0000 0000 0000 0000 FFFF   'Nz.zD...........'
00000010: FFFF 0002 0000 0244 0000 0300 0000 0000   '......D.........'
00000020: 021C 0000 15F4 0000 0001 02CC 0001 02E4   '....t.

@Ralf bezogen auf deine erste Antwort sollte ich hieraus wahrscheinlich ersehen, dass der Zugriff auf dem Semaphore für die Datenbank horvalue.nsf fehlgeschlagen ist weil mehrere Prozessoren sich gegenseitig gesperrt haben?!?!? klingt sicher völlig blöd, was ich hier ablasse oder? Nur was kann ich jetzt dagegen tun?
Die Datenbank hat knapp 6,5 GByte, wovon 81% Views sind - ich kann mir denken, was jetzt kommt - "wer hat denn das Entwickelt?" - ist ein extern eingekauftes Produkt, welches in diesem Jahr auch noch abgelöst wird - aber so lange sollte es schon noch durchhalten :-)

[Ralf_M_Petter]

Sorry für späte Antwort, aber ich habe mich vorgestern gerade vermehrt und deshalb zumindest einen Tag Computerpause machen müssen zur Erholung .

Schreibt er diese Zeilen mit dem Semaphores immer weiter, sprich wiederholen sich diese während des Hangs unendlich?

Du musst dir ein Tool besorgen, mit dem du unter Windows die Thread ID's einsehen kannst. Mit diesem Tool kannst du dann feststellen welcher Thread den Semaphore geschrieben hat das müsste der 021C:15F4 sein. Dieser löst wenn ich mich richtig an unsere Hangs erinnere das Problem aus.

Falls die Meldungen nur ein paar mal kommen ist es egal.

Eventuell solltest du die Semaphore Logs mal an die IBM schicken und mit einem IBM Techniker den Thread analysieren. Speziell interessiert die IBM dann immer der Call Stack des betreffenden Thread. Da man damit im Source Code vom Domino die genaue Zeile findet wo das Problem aufgetreten ist.

Grüße

Ralf

[cubetoon]

Hallo Ralf,
vermehrt? Durch Zellteilung? sicher nicht oder? Wenn es das ist, was ich herausgehört habe dann mal herzlichen Glückwunsch!
Musst Dich natürlich nicht für die verspätete Antwort entschuldigen. Muss jetzt tatsächlich erst mal nach so 'nem Tool suchen, fortgeschrieben worden ist der Fehler zwar bis jetzt noch nicht - bleibe trotzdem dran - schließlich hab ich ja immer noch das Problem mit dem fehlenden Promt und damit der fehlenden Bedienbarkeit!
Melde mich!
Vielen Dank,
Christian

[cubetoon]

okay, ich steige so langsam dahinter ... bei jedem Neustart wird ein neues Semdebug-file erstellt und in der Semdebug.txt steht jeweils die Referenz darauf ...
Somit habe ich jetzt heraus gefunden, dass nach dem letzten Neustart keine neuen Einträge in die aktuelle Semdebug_SERVER_DATE.txt geschrieben worden, der Promt jedoch trotzdem schon wieder weg ist :-(

Zur ProzessID: IBM weiß bescheid - http://www-1.ibm.com/support/docview.wss?rs=475&context=SSKTWP&q=Semaphores+and+Semaphore+Timeouts&uid=swg21089279&loc=en_US&cs=utf-8&lang=en

die ID ist also in Meinem Beispiel die THREAD [021C:0076-1678] - Achtung Hexadezimal

Mit dem NT 4.0 Task-Manager konnte man die ProcessID auch noch gut angezeigt bekommen. Bei Windows 2003 Server vielleicht ja auch - ich habe dazu Dameware genutzt. Nun muss ich also nur mal warten bis semdebug... mal wieder geschrieben wird um den Process vor dem nächsten Neustart ausfindig zu machen.

Dumme Frage zum IBM-Support - kann man den einfach so kontaktieren? Ist der Kontakt in der Maintenance enthalten oder anderweitig kostenpflichtig? Aus der MS-Welt ist man ja gewohnt, dass man von dem Support nicht viel zu erwarten hat als eine hohe Rechnung :-)

[Ralf_M_Petter]

Der Support ist in dem Passport Vertrag enthalten. First Level Support von der IBM ist eher schwach, aber sobald man mal über den großen Teich ist, arbeiten sehr kompetente Leute an den Fällen. Wichtig ist, wenn man nicht zufrieden ist kann man einen Complaint (Beschwerde) aufmachen. Man bekommt dann einen Complaint Manager zugeteilt, der schaut dass die Bürokratie bei der IBM in die Gänge kommt. Wir haben das einmal gehabt wo es zuerst geheissen hat, dass Java unter Notes auf der AS/400 nicht supportet ist. Wir haben dann einen Complaint aufgemacht und nach wenigen Tagen ist IBM mit einer wirklich fantastischen Lösung gekommen. Die haben sogar extra für uns den Websphere Server umprogrammiert und uns den Patch zur Verfügung gestellt. Der einzige Nachteil ist, die wirklichen Experten sitzen alle in Amerika deshalb muß man aufgrund der Zeitverschiebung ziemlich viel in der Nacht mit denen machen. Die haben nämlich über Fernwartung auch auf unseren Systemen direkt gearbeitet.

Grüße

Ralf