HILFE - server down jeden mittag wegen compact !

[luna]

hallo,

seit ein paar tagen passiert folgendes:

- der server fängt genau um 12:13 an, die DB eines users zu compacten. und zwar immer wieder. und wieder. und immer der gleiche user.
- dann hängt sicher der server komplett auf und kann auch als dienst nicht mehr gestartet werden. das server dos fenster muss geschlossen werden, und der server wieder neu gestartet.
ich hänge einen screenshot an.


ich habe ein compact programm auf diesem server laufen, für alle user und alle datenbanken, compact -B, für alle server, jeden tag um 05:00 uhr morgens. das kann's dann ja nicht sein.


einzige änderung, die mir jetzt einfällt, ist, dass dieser user seit ungefähr genau der zeit, wo das passiert, einen admin und designer 6.5.1 client (wie ich ihn auch habe), installiert hat. per setup.exe ohne de-installation auf 6.0.1 CF1.
aber ich kann mir nicht vorstellen, dass durch diese installation einfach mittags genau jeden tag um 12:13 ein compact anläuft ! ist sowas im admin client hinterlegt, oder was?


auch hat dieser user keine settings im client verändert, keinen agent angelegt oder sonst sowas.

bitte helft mir, denn ein taeglicher absturz des servers ist sehr ärgerlich.

vieeeelen dank für jeden tip,
gruss,
daniela

[dertoaster]

hi,

dies ist ja ein unerwarter server absturz. schau doch mal in dem IBM_Technical_Support Verzeichnis nach dem NSD log. Dort such mal nach Fatal und poste mal was dort drin steht oder hänge das  logfile mal hier an. Vielleicht lässt sich da was rauslesen.

gruß
toaster

[luna]

hi toaster,

das ist lieb von dir. hab's angehängt. kann eh nix da rauslesen.

danke und gruss,
daniela

[dertoaster]

Hi,

das ist der Fatal Thread aus dem Logfile. Und es ist der Compact Task der dieser verursacht, dass geht daraus hervor. Vielleicht hilft dir auch das weiter: http://www-10.lotus.com/ldd/nd6forum.nsf/55c38d716d632d9b8525689b005ba1c0/659376498e178ad085256d5d006ae03c?OpenDocument

Oder die Datenbank hat einen hau weg. Ich würde noch mal eine neue Kopie der Datenbank machen.

###########################################################
### FATAL THREAD 1/2 [ncompact:0a14:0a24]
### FP=0012eca4, PC=601967c3, SP=0012e32c, stksize=2424
Exception code: c0000005 (ACCESS_VIOLATION)
############################################################
@[ 1] 0x601967c3 nnotes._Panic@4+483 (609a0013,1,f01c2289,12ecd0)
@[ 2] 0x6000289c nnotes._LockMemHandle@12+348 (f01c2289,12ecd8,0,f01c2289)
@[ 3] 0x600028c3 nnotes._OSMemoryUnlock@4+19 (cc0014,1001,12ef30,12ef30)
@[ 4] 0x60721099 nnotes._LkUnlock@12+3641 (12ef30,12eda4,1001,6871eec)
@[ 5] 0x60027a3a nnotes._UnlockDbWriteSemCtxReal@8+234 (12ef30,12ee18,6871eec,2)
@[ 6] 0x608131dd nnotes.TRANENTRY::dbListPhysUnlock+317 (ffff0000,12ee18,0,12ef30)
@[ 7] 0x60813220 nnotes.TRANENTRY::dbListFinalUnlocks+48 (12ef30,12ef50,1,12ef30)
@[ 8] 0x607d7fc1 nnotes._RmTransactionCommit@8+705 (0,0,80800780,1aef90e8)
@[ 9] 0x607d8ce4 nnotes._RmTransactionEndCond@8+436 (12ef30,12ef50,12ef54,6074e064)
@[10] 0x60027abd nnotes._UnlockDbWriteSemCtx@8+93 (12ef30,12ef50,0,122ff01)
@[11] 0x6074e064 nnotes._NSFDbCompactInPlace@12+1604 (30c,80400000,12f4cc,12f4cc)
@[12] 0x6074548b nnotes._DbCompactExtended@12+1819 (12fc00,80000000,12f4cc,12fc00)
@[13] 0x60744d4b nnotes._NSFDbCompactExtended2@16+123 (12fc00,80000000,12f4cc,0)
@[14] 0x60744cc6 nnotes._NSFDbCompactExtended@12+22 (12fc00,80000000,12f4cc,0)
@[15] 0x00401fdc ncompact._CompactFile@16+412 (12fc00,12fd80,80000000,0)
@[16] 0x00401a96 ncompact._AddInMain@12+2710 (2,2,bb01c4,610064)
@[17] 0x0040227f ncompact._NotesMain@8+47 (2,400000,610064,610074)
@[18] 0x00402386 ncompact._main+246 (0,0,0,2)
@[19] 0x004022a6 ncompact._main+22 (2,cb2770,cb27b8,610064)
@[20] 0x00402617 ncompact._mainCRTStartup+197 (610064,610074,7ffdf000,6c)
 [21] 0x77e97d08 KERNEL32.CreateProcessW+3496 (402552,0,c8,100)


############################################################
### PASS 2 : FATAL THREAD with STACK FRAMES 1/2 [ncompact:0a14:0a24]
### FP=0012eca4, PC=601967c3, SP=0012e32c, stksize=2424
Exception code: c0000005 (ACCESS_VIOLATION)
############################################################
# ---------- Top of the Stack ----------
       # 0012e32c  00000001 16a70655 0012ecf0 54200a0a  |....U......... T|
       # 0012e33c  61657268 305b3d64 3a343141 32303030  |hread=[0A14:0002|
       # 0012e34c  3241302d 530a5d34 6b636174 73616220  |-0A24].Stack bas|
       # 0012e35c  78303d65 32313030 43383546 7453202c  |e=0x0012F58C, St|
       # 0012e36c  206b6361 657a6973 34203d20 20363137  |ack size = 4716 |
       # 0012e37c  65747962 41500a73 3a43494e 6f6f4c20  |bytes.PANIC: Loo|
       # 0012e38c  4870756b 6c646e61 68203a65 6c646e61  |kupHandle: handl|
       # 0012e39c  6f6e2065 6c612074 61636f6c 0a646574  |e not allocated.|
       # 0012e3ac  011e4300 000003da 0d6f10f8 60001401  |.C........o....`|
       # 0012e3bc  015d2dac 60008592 015d2dac 00000000  |.-]....`.-].....|
       # 0012e3cc  00000000 015d2200 600010eb 01bb0768  |....."]....`h...|
       # 0012e3dc  0140ce04 0012e4c0 00000004 01bb0768  |..@.........h...|
       # 0012e3ec  0000ee85 01b81a68 00000000 0002ac05  |....h...........|
       # 0012e3fc  015d2d96 00000000 00000000 0012e414  |.-].............|
       # 0012e40c  6083fa0c 015d2d94 600010eb 60001128  |...`.-]....`(..`|
       # 0012e41c  0123665c 00000a14 0123665a 0012e438  |\f#.....Zf#.8...|
       # 0012e42c  600010be 600011cf 6000122f 0123665c  |...`...`/..`\f#.|
       # 0012e43c  0123665c 0012e450 600014a3 0123665c  |\f#.P......`\f#.|
       # 0012e44c  01baace8 01b8ef68 00000000 0012ef30  |....h.......0...|
       # 0012e45c  00001001 01bb06e8 0140ce04 0012e548  |..........@.H...|
       # 0012e46c  60001128 01236890 00000a14 01bb0668  |(..`.h#.....h...|
       # 0012e47c  01bb06e8 00000000 645c6174 72696462  |........ta\dbdir|
       # 0012e48c  2e6e616d 00667300 00000001 00000000  |man..sf.........|
       # 0012e49c  600010eb 60001128 01236890 00000a14  |...`(..`.h#.....|
       # 0012e4ac  0012e544 6071c62b 0d6f10f8 00001985  |D...+.q`..o.....|
       # 0012e4bc  00000000 0012ef30 0012e5b8 00000000  |....0...........|
       # 0012e4cc  0012ef30 0d6f10f8 012320f4 0012e590  |0.....o.. #.....|
       # 0012e4dc  60721140 0123688e 00000001 1aef90e8  |@.r`.h#.........|
       # 0012e4ec  0012ef30 60001128 19dd0274 19dd0200  |0...(..`t.......|
       # 0012e4fc  00000002 00000002 00000005 0012e544  |............D...|
       # 0012e50c  60027a3a 0012ef30 0012e524 00001000  |:z.`0...$.......|
       # 0012e51c  06871eec 0012ef30 00000000 00000000  |....0...........|
       # 0012e52c  00000001 00000000 0012ef30 00000050  |........0...P...|
       # 0012e53c  00399005 00000000 0012e568 607d883e  |..9.....h...>.}`|
       # 0012e54c  0012ef30 ffffffff 600011cf 6000122f  |0..........`/..`|
       # 0012e55c  06872117 06872117 0012e574 600014a3  |.!...!..t......`|
       # 0012e56c  06872117 0012e5b0 0012e590 60005ca1  |.!...........\.`|
       # 0012e57c  06872115 00000001 1aef90e8 0012ef30  |.!..........0...|
       # 0012e58c  00000001 0012e644 600b0691 0012ef30  |....D......`0...|
       # 0012e59c  00000000 0012e640 1aef90e8 00000000  |....@...........|
       # 0012e5ac  600010eb 60001128 600010eb 60001128  |...`(..`...`(..`|
       # 0012e5bc  19dd0274 19dd0274 19dd024f 0012e5d8  |t...t...O.......|
       # 0012e5cc  600010be 19dd0274 00000001 600011cf  |...`t..........`|
       # 0012e5dc  6000122f 19dd0274 19dd024f 0012e5f4  |/..`t...O.......|
       # 0012e5ec  600017f3 19dd0274 0012e604 60002925  |...`t.......%).`|
       # 0012e5fc  19dd024f 0144a7e0 0012e61c 601a46dd  |O.....D......F.`|
       # 0012e60c  00cc0014 1aef90e8 600011cf 6000122f  |...........`/..`|
       # 0012e61c  1aef975c 1aef975c 0012e634 600014a3  |\...\...4......`|
       # 0012e62c  1aef975c 0012ef30 0012e648 6000df6b  |\...0...H...k..`|
       # 0012e63c  1aef975a 1aef90e8 1aef0000 0012eeb0  |Z...............|
       # 0012e64c  6081be20 0012ef30 00000000 1aef90e8  | ..`0...........|
       # 0012e65c  00000000 00000000 00000000 00000000  |................|
       # 0012e66c  00000000 00000000 00000000 00000000  |................|
       # 0012e67c  00000000 00000000 00000000 00000000  |................|
       # 0012e68c  00000000 00000000 00000000 00000000  |................|
       # 0012e69c  00000000 00000000 00000000 00000000  |................|
       # 0012e6ac  00000000 00000000 60001401 145ed104  |...........`..^.|
       # 0012e6bc  60008592 145ed102 00001fe0 145ed0e8  |...`..^.......^.|
       # 0012e6cc  0012ec84 15a1fdd0 00000032 00000000  |........2.......|
       # 0012e6dc  00000000 00000019 15a1fde4 00000a14  |................|
       # 0012e6ec  00000a24 0012e704 60008440 600010eb  |$.......@..`...`|
       # 0012e6fc  60001128 145ed2d8 145ed2d8 60001421  |(..`..^...^.!..`|
       # 0012e70c  145ed104 00006930 00006938 00000991  |..^.0i..8i......|
       # 0012e71c  00006930 0123badc 0012e79c 60004a90  |0i....#......J.`|
       # 0012e72c  60001030 15a1fde4 00008206 4c434553  |0..`........SECL|
       # 0012e73c  2f31304e 532f4544 4f594e41 454e452d  |N01/DE/SANYO-ENE|
       # 0012e74c  2d594752 15005545 00000001 2f20004c  |RGY-EU......L. /|
       # 0012e75c  15a1fdd0 00000000 00000000 00000000  |................|
       # 0012e76c  00000000 00000000 00000000 00000000  |................|
       # 0012e77c  00000000 00000000 00000000 00000000  |................|
       # 0012e78c  00000000 00000000 00000000 00000000  |................|
       # 0012e79c  00000000 00000000 00000000 00000000  |................|
       # 0012e7ac  00000000 00000000 00000000 00000000  |................|
       # 0012e7bc  00000000 00000000 00000000 00000000  |................|
       # 0012e7cc  00000000 00000000 00000000 00000000  |................|
       # 0012e7dc  00000000 00000000 00000000 00000000  |................|
       # 0012e7ec  00000000 00000000 00000000 00000000  |................|
       # 0012e7fc  00000000 00000000 0400001a 002b0000  |..............+.|
       # 0012e80c  10dd0000 6e580041 0000c125 0012dc50  |....A.Xn%...P...|
       # 0012e81c  00005f8e 1c5c002e f4ee0000 6e5a003b  |._....\.....;.Zn|
       # 0012e82c  0012eb7c 0012e844 60011769 6f727245  ||...D...i..`Erro|
       # 0012e83c  50203a72 43494e41 6f4c203a 70756b6f  |r: PANIC: Lookup|
       # 0012e84c  646e6148 203a656c 646e6168 6e20656c  |Handle: handle n|
       # 0012e85c  6120746f 636f6c6c 64657461 00eb000a  |ot allocated....|
       # 0012e86c  00ed00ec 00ef00ee 00f100f0 00f300f2  |................|
       # 0012e87c  00f500f4 00f700f6 00f900f8 00fb00fa  |................|
       # 0012e88c  00fd00fc 00ff00fe 60c5246c 00000100  |........l$.`....|
       # 0012e89c  000004e4 00132c58 00132c94 0012f5a4  |....X,...,......|
       # 0012e8ac  77fcf090 77f843aa 0012f5f0 00132c84  |...w.C.w.....,..|
       # 0012e8bc  00132c00 60000000 0012f890 00000000  |.,.....`........|
       # 0012e8cc  0012f86c 6098e313 00000000 00000200  |l......`........|
       # 0012e8dc  0012f758 00000100 0012f558 00000100  |X.......X.......|
       # 0012e8ec  000004e4 00000000 00000000 0012ea7c  |............|...|
       # 0012e8fc  0012eb98 0012e9fc 623df58a 0012ea7c  |..........=b|...|
       # 0012e90c  0012eb7c 0000001c 0012ea7c 00000100  ||.......|.......|
       # 0012e91c  0012eb7c 0012f358 000004e4 00000000  ||...X...........|
       # 0012e92c  00000000 00000001 00200048 6b6f6f4c  |........H. .Look|
       # 0012e93c  61487075 656c646e 6168203a 656c646e  |upHandle: handle|
       # 0012e94c  746f6e20 6c6c6120 7461636f 00006465  | not allocated..|
       # 0012e95c  00000020 00303636 00000116 00000000  | ...660.........|
       # 0012e96c  000002d6 000035ee 00000000 00000126  |.....5......&...|
       # 0012e97c  00000000 00000000 00000000 00000000  |................|
       # 0012e98c  00000112 00000000 00000000 0000011e  |................|
       # 0012e99c  00005f36 00000000 0000011a 00000000  |6_..............|
       # 0012e9ac  00000000 00000106 00000000 00000000  |................|
       # 0012e9bc  0000010a 000031b2 00000000 00000000  |.....1..........|
       # 0012e9cc  77f82dc2 77fcf170 77e86fdb 01180294  |.-.wp..w.o.w....|
       # 0012e9dc  00000000 0012ecec 00000000 00000000  |................|
       # 0012e9ec  0000001c 00000000 00000000 ffffffff  |................|
       # 0012e9fc  0012ea24 60008ec8 77e8c7ee 0012ea3c  |$......`...w<...|
       # 0012ea0c  001f0003 0012ea1c 7ffdebf8 0012ecec  |................|
       # 0012ea1c  00000018 0000003c 0012ea34 00000000  |....<...4.......|
       # 0012ea2c  00000000 00000000 003a0038 656d614e  |........8.:.Name|
       # 0012ea3c  4553203a 304e4c43 45442f31 4e41532f  |: SECLN01/DE/SAN|
       # 0012ea4c  452d4f59 4752454e 55452d59 001d000a  |YO-ENERGY-EU....|
       # 0012ea5c  0012ea7c 0012ec7c 6007c694 001f0003  ||...|......`....|
       # 0012ea6c  00000000 0012ea7c 011802bf 011802bf  |....|...........|
       # 0012ea7c  53495249 45564524 3124544e 36243039  |IRIS$EVENT$190$6|
       # 0012ea8c  66243036 6d6f642e 61746164 00000000  |60$f.domdata....|
       # 0012ea9c  00000000 00000000 00000000 00000000  |................|
       # 0012eaac  00000000 00000000 00000000 00000000  |................|
       # 0012eabc  00000000 00000000 0000003a 00002000  |........:.... ..|
       # 0012eacc  004a0000 00000000 00000000 001808ba  |..J.............|
       # 0012eadc  c1256e5a 001808ba c1256e5a 00000000  |Zn%.....Zn%.....|
       # 0012eaec  00000000 000001c1 00000000 00000000  |................|
       # 0012eafc  00000000 00000000 00402e71 c1256d30  |........q.@.0m%.|
       # 0012eb0c  ed2e46ce 00000303 00000000 00000000  |.F..............|
       # 0012eb1c  00000000 00000000 00010000 000002f6  |................|

@[ 1] 0x601967c3 nnotes._Panic@4+483 (609a0013,1,f01c2289,12ecd0)

[luna]

hallo toaster,

ich hab in meinem bericht vergessen, folgendes zu erwähnen:

ich hab vorgestern die mail DB auf dem secln01 (hauptserver) gelöscht, auf dem das immer passiert ist.
und hab dann vom secln02 (cluster server) nochmal eine neue replik angelegt.
gestern mittag war dann ruhe, aber heute mittag ist das wieder passiert.

jetzt weiss ich natürlich nicht, was ich noch neu anlegen soll. was rätst du mir in dem fall?

in der notes.ini hab ich keinen compact, hab grad gesucht, nur auf dem server als programm, und nur 5:00 uhr morgens.
hab server 6.0.1 CF1
warum fängt der compact um 12:13 an, obwohl das nirgends hinterlegt ist? da gehts ja schon mal los?

danke und gruss,
daniela

[dertoaster]

Ja stimmt, mit dem plötzlichen starten des compacts ist es halt so ne sache.

ich würde jetzt eine neu kopie der Mail DB lokal machen. Anschließend die 2 Repliken auf den Cluster Servern löschen. Ist die geschehen die loke kopie auf den haupt server replizieren und von dort wiederum auf den cluster server replizieren.

Un d dann abwarten was morgen um 12:13 Uhr passiert, weil dazu habe ich keine Idee!

gruß
toaster

[luna]

hallo,

hab das gerade alles so gemacht. nun warten wir mal ab, was morgen, übermorgen und am montag passiert.

danke einstweilen für deine hilfe.

gruss,
daniela

[luna]

hallo gemeinde,

ich hab das gestern genau so gemacht. db lokal zu mir kopiert. alle 3 server versionen gelöscht. die lokale kopie auf den secln01 repliziert. von dort dann auf die anderen beiden.

heute mittag ist es wieder passiert. ich hänge die logfiles nochmal gezipped dazu hier.

meine nächsten versuche (verzweifelten) werden sein:

1.) sie de-installiert komplett ihren notes client mit admin + designer, installiert ihn neu, macht dabei neue notes.ini + neues names.nsf. den 6.0.3 -> 2 tage testen
2.) wenn ok, dann den 6.5.1 client installieren -> 2 tage testen
3.) wenn ok, dann den 6.5.1 admin + designer dazuinstallieren, 2 tage testen

vielleicht lässt sich so feststellen, ob es bei einem dieser dinge passiert. aber hoffnung hab ich keine.

gruss,
daniela

[dertoaster]

hi,

da weiß ich jetzt auch nicht mehr weiter. ich kann mir nur schwer vorstellen, dass das problem vom client her kommt.

ich würde wenn möglich einen call bei IBM/Lotus mit der Priorität 1 aufmachen. Weil mit solchen Server abstürzen und das täglich ist nicht zu spaßen.

Setz ihr wenigstens eine Supportet Betriebsystem Version ein?

Gruß
toaster

[luna]

hi toaster,

ich denke schon, windows 2000 E server.

ok, ich werd meinen notes support edcom anrufen.

trotzdem vielen dank für all deine mühe.

gruss,
daniela

[dertoaster]

Hi luna,

wir hatten bis jetzt auch unter 6.5 auf SLES 8.0 4 Serverabstürze. Wir waren auf der Admin Konferenz in München. Wir haben den Daniel Nashed mal über die Files schauen lassen. Er konnte uns zwar ein paar Anhaltspunkte geben, aber hat uns halt dringend dazu geraten auf jeden Fall einen Support Call aufzumachen. Nur die von IBM können ja in den Source Code schauen und anhand des Files nachschauen, woran es nun genau liegt.

Halt mich mal am laufenden, wie es in dem Fall weitergeht und was edcom dazu sagt.

Gruß
toaster

[luna]

zwischenstand:

die kollegin hat am donnerstag alle clients auf ihrem notebook de-installiert und neu den 6.0.1 CF1 installiert, seitdem keine serverabstürze mehr.

werden nun die nächsten tests abwarten.

gruss,
daniela