Server crashed durch NSD??

[papadave]

Moin, letzte Nacht hatte ich meinen ersten Domin-"Servercrash".
Scheinbar durch NSD verursacht.
Hat jemand schonmal ähnliches erlebt und kann man das irgendwie vermeiden?
Schlaf sonst irgendwie nicht mehr so richtig gut

- Child Terminated from signal 9

Thu Apr 22 04:02:02   Running NSD
------------ TIMER TABLE : NumTables = 1 --------------
A-SLOT    1 N=   2, P=   0, tid=[6702:16384], to=17345320
A-SLOT    2 N=   0, P=   1, tid=[6702:32771], to=0

F-SLOT    3 N=   4, P=   0, tid=[6702:0], to=0
F-SLOT    4 N=   5, P=   0, tid=[6702:0], to=0
F-SLOT    5 N=   6, P=   0, tid=[6702:0], to=0
F-SLOT    6 N=   7, P=   0, tid=[6702:0], to=0
F-SLOT    7 N=   8, P=   0, tid=[6702:0], to=0
F-SLOT    8 N=   0, P=   0, tid=[6702:0], to=0
--- NumAlloc = 2, NumFree = 6, Total = 8, NumCancelled=0
-----------------------------------------------------------
NSD is in progress .................
------------ TIMER TABLE : NumTables = 1 --------------
A-SLOT    1 N=   2, P=   0, tid=[6703:16384], to=17345558
A-SLOT    2 N=   0, P=   1, tid=[6703:32771], to=0

F-SLOT    3 N=   4, P=   0, tid=[6703:0], to=0
F-SLOT    4 N=   5, P=   0, tid=[6703:0], to=0
F-SLOT    5 N=   6, P=   0, tid=[6703:0], to=0
F-SLOT    6 N=   7, P=   0, tid=[6703:0], to=0
F-SLOT    7 N=   8, P=   0, tid=[6703:0], to=0
F-SLOT    8 N=   0, P=   0, tid=[6703:0], to=0
--- NumAlloc = 2, NumFree = 6, Total = 8, NumCancelled=0
-----------------------------------------------------------

Please attach the following files to your bug report along with the server log:
Log file                : /local/notesdata/IBM_TECHNICAL_SUPPORT/nsd_all_Linux_domino_04_22@04_02.log

[Ralf_M_Petter]

Eine Frage, hast du vielleicht letzte Nacht versucht deinen Server Online zu sichern?

Eventuell hängt der Crash damit zusammen. Übrigens NSD ist nicht die Ursache des Crashes sondern das Tool, dass de Fehlerbericht erstellt. Poste doch mal den Bericht den NSD erstellt hat.

Grüße

Ralf

[papadave]

Ist möglich, wenn auch unwahrscheinlich. ich bastle momentan an meinem Backupskript herum. Werd dem mal nachgehen.

Der Absturz ereignete sich jedoch erst 5 Stunden nach dem Backup.

Seitdem hat jeder User (das mehr oder weniger schon bekannte Problem)
Dass sich scheinbar ungelesene Mails im Eingang befinden ("Eingang (24)"),
diese jedoch schon (in meinem fall) ungelsenen gelöscht wurden....

Hie mal ein paar verdächtige Auszüge aus dem Log (das ganz wäre wirklich zuviel )

---
WARNING: You are not the owner of the running Notes processes
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Current Procs:
==============
    F S UID        PID  PPID  C PRI  NI ADDR    SZ WCHAN  STIME TTY          TIME CMD
    4 S root         1     0  0  81   0    -   342 schedu Mar29 ?        00:00:04 init
    1 S root         2     1  0  75   0    -     0 contex Mar29 ?        00:00:00 [keventd]
    1 S root         3     1  0  75   0    -     0 schedu Mar29 ?        00:00:00 [kapmd]
    1 S root         4     1  0  94  19    -     0 ksofti Mar29 ?        00:00:01 [ksoftirqd_CPU0]
    1 S root         9     1  0  75   0    -     0 bdflus Mar29 ?        00:00:00 [bdflush]
    1 S root         5     1  0  75   0    -     0 schedu Mar29 ?        00:00:01 [kswapd]
    1 S root         6     1  0  75   0    -     0 schedu Mar29 ?        00:00:00 [kscand/DMA]
    1 S root         7     1  0  75   0    -     0 schedu Mar29 ?        00:37:09 [kscand/Normal]
    1 S root         8     1  0  75   0    -     0 schedu Mar29 ?        00:00:00 [kscand/HighMem]
    1 S root        10     1  0  75   0    -     0 schedu Mar29 ?        00:00:00 [kupdated]
    1 S root        11     1  0  75   0    -     0 md_thr Mar29 ?        00:00:00 [mdrecoveryd]
    1 S root        15     1  0  75   0    -     0 end    Mar29 ?        00:00:00 [kjournald]
    1 S root      1065     1  0  75   0    -     0 end    Mar29 ?        00:00:15 [kjournald]
    1 S root      1127     1  0  75   0    -     0 end    Mar29 ?        00:00:00 [kjournald]
    1 S root      1185     1  0  75   0    -     0 end    Mar29 ?        00:00:00 [kjournald]
    4 S root      7539     1  0  82   0    -   338 schedu 04:02 tty1     00:00:00 /sbin/mingetty tty1
    4 S root      7540     1  0  82   0    -   338 schedu 04:02 tty2     00:00:00 /sbin/mingetty tty2
    4 S root      7541     1  0  82   0    -   338 schedu 04:02 tty3     00:00:00 /sbin/mingetty tty3
    4 S root      7542     1  0  82   0    -   338 schedu 04:02 tty4     00:00:00 /sbin/mingetty tty4
    4 S root      7543     1  0  82   0    -   338 schedu 04:02 tty5     00:00:00 /sbin/mingetty tty5
    4 S root      7545     1  0  82   0    -   338 schedu 04:02 tty6     00:00:00 /sbin/mingetty tty6
    0 S notes     7586     1  1  82   0    -  1223 wait4  04:02 ?        00:00:00 /bin/bash /opt/lotus/notes/latest/linux/nsd.sh -batch
    0 S notes     7653  7586  1  85   0    -   714 wait4  04:02 ?        00:00:00 /bin/bash /opt/lotus/notes/latest/linux/nsd.sh -batch -wrapper
    0 R notes     7743  7653  1  85   0    -   716 -      04:02 ?        00:00:00 /bin/bash /opt/lotus/notes/latest/linux/nsd.sh -nolog -tag Linux_domino_04_2
2@04_02 -ppid 7653 -batch -wrapper
    0 S notes     7922  7586  0  82   0    -   479 schedu 04:02 ?        00:00:00 sleep 1
    1 R notes     7923  7743  0  85   0    -   716 -      04:02 ?        00:00:00 /bin/bash /opt/lotus/notes/latest/linux/nsd.sh -nolog -tag Linux_domino_04_2
2@04_02 -ppid 7653 -batch -wrapper
    0 R notes     7924  7923  0  85   0    -   787 -      04:02 ?        00:00:00 /bin/ps -elf

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
WARNING: notes_ps: No Notes processes seem to be running

---

Generated Info/Warnings/Errors:
  (1) INFO: New files added/deleted to/from directory '/local/notesdata'
  (2) INFO: Generating binary list file ./nsd.notes/nsd_V651_01212004_cache.ins.lst
  (3) INFO: Generating cache file ./nsd.notes/nsd_V651_01212004_cache.ins
  (4) WARNING: You are not the owner of the running Notes processes
  (5) WARNING: notes_ps: No Notes processes seem to be running
  (6) INFO: The Maximum core file size is 0 blocks
  (7) ERROR: can't list open files. rerun as root if needed/required

---

[Ralf_M_Petter]

Das mit den ungelesenen Mail bekommt man hin in dem man alle Mails in der Datenbank auf gelesen setzt. Ich tippe trotzdem gefühlsmäßig auf das Backup skript. Bei uns reagiert der Domino Server auch sehr pingelig darauf, wenn ein anderer Prozess Dateien im notes/data Verzeichnis verwendet.

Mfg

Ralf

[papadave]

Der Server crashed leider immer noch beim NSD,
obwolhl ich zB. gestern nach dem Backup einfach mal das Gerät neu gestartet hab,  um auch sicher zu gehen, dass da kein Prozess mehr auf den Domino zugreift.
Wodurch wird denn der NSD ausgeführt? Kann ich den per Hand anstossen?
Vielleicht komm ich dann so irgendwie drauf.

David

[Ralf_M_Petter]

NSD wird von Domino automatisch aufgerufen, wenn es zu einem schwerwiegenden Problem kommt und der Server nicht mehr weiterarbeiten kann. Ja man kann es auch händisch aufrufen, z.B. bei Server hangs. Für Infos zu den Paramtern einfach auf der Windows Commandline NSD /? eingeben. Vielleicht kannst du das NSD Log hier mal als Datei anhängen, damit man mal einen Blick drauf werfen kann.

Grüße

Ralf

[MartinG]

@Papadave - hast Du einen Passport Vertrag mit IBM? Wenn ja dann würde ich Dir raten die NSD Files - liegen unter \Data\IBM Technical Support direkt zu IBM mailen. Die können die NSD Files am besten auswerten....

Gruss
Martin

[papadave]

Jepp, nen PA-Vertrag hab ich.
Dann bin ich mal guter Dinge und sende das File dorthin.
Doch gebrannt von der Vergangenheit lege ist
das Ding auch noch hier ab

Danke, David

p.s.: NSD wird jeden Tag zum exakt selben Zeitpunkt aufgerufen...

[MartinG]

Meine Erfahrungen mit dem PA sind auch recht durchwachsen. Allerdings wenn ich denen NSD Filest schicken konnte habe ich bisher immer eine zufriedenstellende Antwort bekommen...

Gruss
Martin

[Ralf_M_Petter]

Ich kann das NSD nicht öffnen. Da ist offensichtlich irgendwas schiefgegangen beim anhängen. Umwelche Urhezit passiert es denn genau?
Irgendwelche Agenten die um diese Zeit gestartet werden. Eventuell der Design Task oder ein Update des Virenscanners.

Grüße

Ralf

[papadave]

So, nun geht auch der Anhang...
Es passiert immer um 04:02.
Vierscanner kann es keiner sein,
an Agenten wurde nie was geändert.
Also wenn sich nicht per Default zu diesem Zeitpunkt was startet,
dann läuft da nix....

[MartinG]

Schau mal in Deiner NOTES.INI - da muss es eine Zeile geben:

ServerTasksAt4 =

Was steht denn da drin? Was ist denn Dein letzter Eintrag in der log.nsf?

Gruss
Martin

[papadave]

ServerTasksAt4 hab ich leider keine. Was ich bieten kann:
---
ServerTasksAt1=Catalog,Design
ServerTasksAt2=UpdAll
ServerTasksAt3=Object Info -Full
ServerTasksAt5=Statlog
---

In der Log steht wirklich nichts aussergewöhnliches:
---
2004/04/26 04:00:02 AM  POP3 Server: scanrouter/leonhardlang logged in; connecting host 192.168.16.1
2004/04/26 04:00:02 AM  POP3 Server: scanrouter/leonhardlang logged out; conecting host 192.168.16.1
2004/04/26 04:00:02 AM  POP3 Server: 192.168.16.1 disconnected
2004/04/26 04:00:28 AM  Opened session for Flavia Lang/leonhardlang (Release 6.5)
2004/04/26 04:00:28 AM  Closed session for Flavia Lang/leonhardlang|Databases accessed:     1   Documents read:     0   Documents written:     0
2004/04/26 04:00:45 AM  Starting purge of old documents in log file
2004/04/26 04:00:46 AM  Finished purge of log file
2004/04/26 04:01:01 AM  POP3 Server: 192.168.16.1 connected
2004/04/26 04:01:02 AM  POP3 Server: scanrouter/leonhardlang logged in; connecting host 192.168.16.1
2004/04/26 04:01:02 AM  POP3 Server: scanrouter/leonhardlang logged out; conecting host 192.168.16.1
2004/04/26 04:01:02 AM  POP3 Server: 192.168.16.1 disconnected

- Child Terminated from signal 9

Mon Apr 26 04:02:02   Running NSD
------------ TIMER TABLE : NumTables = 1 --------------
A-SLOT    1 N=   0, P=   0, tid=[4061:16384], to=27043137

F-SLOT    2 N=   3, P=   0, tid=[4061:0], to=0
F-SLOT    3 N=   4, P=   0, tid=[4061:0], to=0
F-SLOT    4 N=   5, P=   0, tid=[4061:0], to=0
F-SLOT    5 N=   6, P=   0, tid=[4061:0], to=0
F-SLOT    6 N=   7, P=   0, tid=[4061:0], to=0
F-SLOT    7 N=   8, P=   0, tid=[4061:0], to=0
F-SLOT    8 N=   0, P=   0, tid=[4061:0], to=0
--- NumAlloc = 1, NumFree = 7, Total = 8, NumCancelled=0
-----------------------------------------------------------
NSD is in progress .................
------------ TIMER TABLE : NumTables = 1 --------------
A-SLOT    1 N=   0, P=   0, tid=[3827:16384], to=32630044

F-SLOT    2 N=   3, P=   0, tid=[3827:0], to=0
F-SLOT    3 N=   4, P=   0, tid=[3827:0], to=0
F-SLOT    4 N=   5, P=   0, tid=[3827:0], to=0
F-SLOT    5 N=   6, P=   0, tid=[3827:0], to=0
F-SLOT    6 N=   7, P=   0, tid=[3827:0], to=0
F-SLOT    7 N=   8, P=   0, tid=[3827:0], to=0
F-SLOT    8 N=   0, P=   0, tid=[3827:0], to=0
--- NumAlloc = 1, NumFree = 7, Total = 8, NumCancelled=0
-----------------------------------------------------------

Please attach the following files to your bug report along with the server log:
Log file                : /local/notesdata/IBM_TECHNICAL_SUPPORT/nsd_all_Linux_domino_04_26@04_02.log

---

[MartinG]

Okay - dann würde ich mal die Antwort von IBM abwarten...

Gruss
Martin