[gelöst] Agenten laufen plötzlich nicht mehr

[pram]

Hallo,

ich muss vorweg sagen, ich habe mir das Problem noch nicht SELBER angesehen. Habe aktuell nur die Info, dass vereinzelt Agenten nicht mehr laufen.

Dies passiert (angeblich) ohne erkennbaren Grund und keiner hat was gemacht (angeblich!)
Sie werden vom Agentmanager nicht mehr eingeplant. (tell amgr schedule zeigt sie nicht)
Serverneustart hilft (angeblich) nicht
Nachdem man sie deaktiviert und wieder aktiviert laufen sie aber wieder.

Da dieses Problem aber schon mehrere Kunden berichtet haben, wollte ich mal nachfragen, wo ich am Besten mit der Fehlersuche anfange, wenn dies wieder mal auftritt.
Bis jetzt wurden sie einfach deaktiviert und wieder aktiviert, aber es wurde noch nicht nach der Fehlerursache geforscht.

Gruß
Roland

[koehlerbv]

Was ist los, Roland? Diese Art der Fragestellung passt so überhaupt nicht zu Dir.

Also: Tu mal Butter bei die Fische.

Bernhard

PS: Wir haben seit vielen, vielen Jahren sehr, sehr viele Anwendungen und damit Agenten draussen "in the wild" zu laufen, aber das mal ein Agent ... einfach so ... und gehäuft ... Nix. Nur "simple actions" setzen wir aus Prinzip nicht ein.

[Glombi]

Ich habe das Problem auch bei diversen Agenten, die deren Ausführung ohne erkennbaren Grund einstellen. Nach Deaktivieren und erneutem Aktivieren laufen die dann wieder. Eine Erklärung konnte mir keiner der beteiligten Admins liefern... Der Agentmanager vergisst die einfach.

Was mir allerdings aufgefallen ist, aber scheinbar nicht zum Problem passt: Bei den betroffenen Datenbanken aktiviert sich PIRC von selbst. Kein Admins schraubt da rum (angeblich). Alles sehr mysteriös.

Andreas

[eknori]

Kann es sein, dass der Compact Task gelaufen ist? Bei periodischen Agenten gibt es dann das Problem, dass die nicht mehr scheduled laufen, bis sich der Agent Cache irgendwann erneuert.
Gibt einen Notes.ini Parameter, das das Verhalten korrigiert. setzt man den Parameter, laufen die Agenten wie geplant. Komme jetzt nicht auf den Namen des Parameters.

[koehlerbv]

Debug_amgr_enable_retry_on_compact

Bernhard

[pram]

Hallo Bernhard,

ja ich gebe zu, dass die Frage diemal vielleicht etwas "eigenartig" war.

Meine Skepsis habe ich ja bereits ausgedrückt, dass ich mich ungern auf solche Aussagen verlasse, welche ich nicht verifiziert habe (... der Admin hat gesagt, er hat den Server schon neu gestartet usw.)

Ich wollte halt im Vorfeld abklären, ob es hier bekannte Bugs gibt, hatte aber nicht die Absicht, ein Ratespiel zu starten. Und Andreas scheint ja auch so ein Problem zu haben.

Ich werde versuchen mehr Details heraus zu finden, wenn dies wieder auftritt (z.B. mal in die serverkonsole/log.nsf sehen,  bzw. Debug Parameter setzen, bevor das Problem einfach wieder durch deaktivieren/aktivieren gelöst wird )

Bei einem Kunden tritt es inzwischen gehäuft auf (alle paar Wochen), bei anderen Kunden vereinzelt (wobei ich nicht mit Gewissheit sagen kann, ob es das gleiche Problem ist)

Wir verwenden übrigens ausschließlich LotusScript Agenten

Gruß
Roland

[m3]

Eine Schablone, die aktivierte Agenten wieder deaktiviert?

[pram]

Dies kann ich ausschließen, da wir hier keine Schablone verwenden und der Agent im Designer auch als "aktiv" gekennzeichnet ist.

[koehlerbv]

... ja ich gebe zu, dass die Frage diemal vielleicht etwas "eigenartig" war...

Schon klar, Roland. Ich bin wirklich nicht davon ausgegangen, daß Du auf einmal ... irgendwie anders bist.

Dir steht nun natürlich die undankbare Aufgabe der Gesamtanalyse in diesem Zusammenhang bevor. Den Servertasks würde ich da eine besondere Aufmerksamkeit schenken (läuft sinnfrei der Designer-Task, rödelt Compact, wenn auch Agents tun etc. pp. Wann wurde ein Problem-Agent letztmalig angefasst (und von wem), ist der jeweils betroffene Agent in jedem Fall wirklich noch auf enabled gestellt etc. Aber das weisst Du ja selber.

Ich kann nur sagen: Der Fall, dass es einen Agent - egal, ob ein Fünfzeiler oder ein Wummi, der selbst die maximal erlaubte Agentlaufzeit überwachen muss - weggehebelt hat, ist in meinem Umfeld Jahre her (und insofern involviert, hätten mir die örtlichen Admins auch Proteste geschickt).

Good luck - und halte uns alle bitte informiert. So ein Thema ist ja alles andere als uninteressant.

Benrhard

[Pyewacket]

Läuft dann keiner der Agenten in einer Datenbank oder nur einzelne nicht?

Peter

[pram]

ja, "undankbar" triffts in etwa.

Habe vorhin gerade mit dem Mitarbeiter gesprochen, der an dem Fall zuletzt dran war und hab nun etwas mehr Infos.

Wenn das Problem auftritt (bzw. bemerkt wird) sind bereits mehrere Agenten in diversen DBs ausgefallen (Sowohl in unseren Produkten als auch in Fremdprodukten)
Diese werden dann nicht mehr im Zeitplan gelistet. Es betrifft aber nicht grundsätzlich alle Agenten einer DB.

Der Agentmanager wurde neu gestartet, dies bingt nichts. Ein Serverneustart wurde entgegen meiner ersten Aussage NICHT durchgeführt.

Bekomme heute evtl. noch die log.nsf, evtl hab ich Glück und sie reicht noch bis zum letzten Vorfall zurück.
(bin mir ja fast sicher dass da der Grund irgendwo protokolliert ist, was das vor sich ging)

Ansonsten muss ich warten bis es wieder auftritt und dann halt mal die Verdächtigen abklappern. (Habe auch noch das $AssistRunInfo-Feld in Verdacht: http://atnotes.de/index.php/topic,20797.msg176628.html#msg176628)
Halte euch auf dem Laufenden

Gruß
Roland

[pram]

So, heute ist es wieder soweit. Agenten laufen nicht mehr.
Diesmal habe ich aber neue Erkenntnisse:

Durch einen Dienstleister wurden heute nacht Softwareupdates installiert. Dabei wurde die Maschine mehrmals hintereinander neu gestartet.
In der log.nsf sehe ich dass der Server jeweils nur für 1-2 Minuten lief und sofort wieder beendet wurde. Dabei ist irgendwann folgender Eintrag geloggt worden:

Code

...
26.03.2014 01:36:09   Starting Server shutdown
26.03.2014 01:36:10   AMgr: Error searching 'xxxx\yyyyy.nsf' for agents: Operation stopped at your request
26.03.2014 01:36:10   AMgr: Problem enumerating through the database list to search for agent documents: Program shutdown in progress
...

und genau um diese DB handelt es sich, bei der die Agenten nicht mehr laufen.
Ich habe danach folgende Schritte probiert:

1.) Agentmanager neu gestartet
2.) Debug_amgr_enable_retry_on_compact=1 gesetzt und Agentmanager neu gestartet
3.) Debug_amgr=* gesetzt  und Agentmanager neu gestartet

Der Agentmanager hat dann alles mögliche geloggt, aber die betroffene DB war nicht dabei. Agenten in der DB laufen NICHT

Als Workaround wurden früher immer die Agenten in der DB deaktiviert/aktiviert und neu signiert. Diesmal habe ich aber folgendes gemacht:

Neuen periodischen Agenten in der DB erstellt. Andere Elemente wurden nicht angefasst
=> Der neu erstellte Agent lief an.  Andere Agenten in der DB wurden nicht eingeplant.

Anschließend den Agentmanger neu gestartet => Alle Agenten wurden wieder korrekt eingeplant und laufen

(Den erstellten Agent habe ich dann wieder gelöscht)

Meine Vermutung ist, wenn der AMGR beim Scannen der DBs unterbrochen wird, diese als "crashed" o.ä. markiert und solange nicht mehr ansieht, bis sich irgendetwas an den Agenten ändert.

Hat noch jemand Tips/Ideen hierzu?

Werde wohl einen PMR aufmachen müssen.

Gruß
Roland

[thkn777]

@pram
wie sind die Zeiteinstellungen der Agenten?

a) einmal täglich?
b) oder mehrfach am Tag - und wenn: alle 5 Minuten, jede Stunde etc?

If Fall (a) weigert sich Notes gelegentlich, den Agenten wieder in die Queue zu nehmen am selben Tag. Einfach alles so lassen und am nächsten Tag gucken. Je seltener der Agent startet (alle x Stunden vs. alle y Minuten), desto "zickiger" hat sich Notes zuweilen beim erneuten Versuch, den Agenten in die Queue zu stellen. Zugegeben - das passiert selten, aber es passiert manchmal.


Nächste Idee:
- ich gehe davon aus, daß es für die betroffenen Datenbanken aktuelle Schablonen gibt
- wenn das so ist: in der betroffenen Produktiv-DB den Agenten entfernen (nicht umbenennen, deaktivieren etc., sondern LÖSCHEN)
- dann etwas warten (für ein sicheres Ergebnis 2+ Minuten)
- Gestaltung der Produktiv-DB aktualisieren

Der Agent sollte jetzt vom Amgr zumindest in die Queue gepackt werden. Wenn's gut läuft und es ein (b)-Agent ist, wird er meist auch gleich ausgeführt.


Nächste Idee:
Wie stark sind die Amgr belastet? Wachsen die Queues zu? Sorry, bin eigentlich kein Admin und hab die Konsolen-Befehle nicht im Kopf - man kann sich das anzeigen lassen. Außerdem könnte es ein Indiz sein, wenn viele (mehr als sonst) Meldungen kommen, daß der Agentenstart verzögert wurde.

Wenn dem so ist - Anzahl der Amgr auf dem Server (wenn noch möglich) erhöhen und dann mal gucken.


Viel Erfolg,
Th.

[pram]

Es gibt in der (heute) betroffenen DB mehrere Agenten.

- Einer läuft um 01:00
- Einer um 22:00
- Einer periodisch alle 15 Min.
- Einer stündlich, zwischen 1:20 und 20:00

Letztes mal war aber eine komplett andere DB betroffen (allerdings wurde da keine so detaillierte Analyse durchgeführt, deshalb kann ich nicht mit 100%iger Sicherheit sagen, ob auch hier der Server neu gestartet wurde)

- Es gibt keine Schablonen, die DBs werden durch einen eigenen Mechanismus upgedated.
 
- Der Agentmanager hat 5 Instanzen, soweit ich mich erinnern kann, waren alle zum Zeitpunkt des Restarts "idle"

- Eine Änderung an den Agenten (oder am Design) hat vermutlich wirklich irgendeinen Cache dirty gemacht und danach lief alles wieder

Es könnte natürlich sein, dass sich am nächsten Tag auch wieder alles gelaufen wäre. Warten war aber keine Option, da der Agent wichtige Daten einarbeiten musste.

Gruß
Roland

[pram]

So, habe das Problem an IBM gemeldet.

Das Problem ist bekannt und tritt auf, wenn man den Dominoserver während dem Hochfahren wieder beendet.
Es gibt auch eine Technote dazu die in etwa passt: http://www-01.ibm.com/support/docview.wss?uid=swg21208227

Empfehlung von IBM ist, in jedem Fall ein paar Minuten zu warten, bis der Server alle Dienste komplett hochgefahren hat, bevor man ihn wieder beendet.
Ansonsten kann es wirklich sein, dass sich die Sache erst wieder "erholt" wenn der Agentcache neu aufgebaut wird. (Dies ist standardmäßig um 00:00 Uhr und im Serverdokument änderbar)

Gruß
Roland