virt. Lotus Domino Webserver verliert die Netzwerkverbindung

[ra.t]

Hallo Miteinander,
nach längerer Zeit habe ich auch mal wieder ein kleines Problem.
Einer unserer virtualisierten Dominoserver verliert so ca. alle 7- 14 Tage die Netzwerkverbindung und baut sie auch nicht wieder auf.
Es stellt sich folgendermaßen dar:
- Auf der Konsole des Dominos wird nur angezeigt, das der Server sein Ziel nicht mehr erreichen kann.
- Unter Windows kann ich dann über diese Netzkarte weder etwas per ping erreichen, noch mit einer anderen Anwendung im Netzwerk arbeiten. Auch ist der Windows Server aus dem LAN nicht erreichbar.
- Die Netzwerkkarte in Windows strahlt mich aber freundlich an, das sie eine Verbindung hätte (ohne Störungen).
- Starte ich den Netzwerkadapter einmal neu (also beenden und neu starten) hat der Domino und Windows sofort wieder Netzzugriff.

Beschreibung der Umgebung:
- Lotus Domino 9.01 FP2 HF384, partitionierter Server (2 Webserver mit insg. 4 Netzkarten)
Der betroffene Server hat aktuell 3 Netzkarten in Windows.
- Windows Server 2012 mit allen SPs.
- virtualisiert auf VMWare ESX, Version 5.5

Der betroffene Webserver hatte zuerst nur eine Netzkarte mit 3 IP-Adressen, dies hatte ich mal geändert (deshalb jetzt 4 Netzkarten)
und die IP-Adressen bei den Netzkarten auch mal getauscht (der Fehler wechselt dann mit der IP-Adresse zu der anderen Netzkarte)
Die Probleme treten nur bei dem Domino Webserver auf, den wir für INotes, LDAP-Server und virt. Websites nutzen und immer nur bei der gleichen IP-Adresse.
Der andere Domino (Traveler) ist von den Störungen nicht betroffen.
Sonst hat auch kein anderer Server in der virt. Landschaft so ein Problem.

Debugger hatte ich auch mal aktiviert, zeigte aber nichts an. Im Windows-Log steht natürlich auch nichts, weder was von einem  IP-Adressen Konflikt noch sonst eine Störung.

Kennt evtl. jemand so ein Verhalten, das der Domino Server die Netzkarte von Windows so stören kann, das ohne irgendeine Fehlermeldung die Verbindung dann einfach weg ist ?
Oder wie könnte ich die Fehlerquelle besser eingrenzen ?

Vielen Dank vorab für jede Antwort.
mfg
Ralf

[Tode]

Darf ich mal ganz dumm fragen: Wie kommst Du auf die Idee, dass der Domino irgendwas mit dem Problem zu tun haben könnte?

Geht das Problem denn weg, wenn Du den Domino- Server durchstartest?

Wenn man nach "esxi 5.5 network problems" sucht, findet man massig Anleitungen zur Fehlersuche, und genauso viele Einträge mit Leuten, die das selbe Problem haben... ganz ohne Domino

zuerst würde ich mal das hier durcharbeiten

[Pfefferminz-T]

Kann Tode nur zustimmen... Domino nutzt die Ressourcen (LAN, Platten, RAM, CPU), die das OS zur Verfügung stellt. So wie alle anderen Anwendungen auch, die Du auf der Maschine installiert hast. Wenn ein Netzwerk, eine Platte, etc. wegbricht, dann musst Du beim OS bzw. im Fall eines virtuellen Systems bei der Host-Software suchen.

Gruß,
Thorsten

[ra.t]

Hallo...,
erst einmal Danke für die Antworten.
Diese Diskussion hatten wir intern schon mehrmals und die Probleme mit den Netzkarten beim ESX und
Speicherüberlauf etc. sind mir auch bekannt.
Wie man das beim ESX recherchiert weiss ich auch.

Ich habe aber keine Befugnis dazu.

Der Admin des ESX sagt: Liegt nicht am Esx, iss Lotus.
Der Admin von Windows sagt: Liegt nicht an Windows, iss Lotus.
Ergo frage ich euch einfach mal, ob jemand solche Probleme mit Lotus auch schon hatte oder kennt.
Möglich ist ja vieles.
Vielleicht kann der Domino Server ja wirklich eine Netzkarte "abschiessen".
Nachtrag: Nur den Domino Server neu starten, bringt keine Änderung.
Man muss explizit die Netzkarte von Windows stoppen und wieder starten.
Mfg
Ralf

[Tode]

Nun, wie ich gesagt habe: WENN der Domino die Netzwerkkarte "abschiesst", dann müsste es ja wieder funktionieren, wenn Du den Domino runterfährst...

Und ansonsten: Prüfe doch mal mit netstat -an >netstat.txt die offenen Verbindungen... Vielleicht findest Du ja raus, dass da eine riesige Zahl von Verbindungen offen ist, und nicht terminated wird. Wenn das so wäre, dann könnte es wirklich sein, dass diese riesige Anzahl offene Verbindungen verhindert, dass weitere Verbindungen geöffnet werden.

Dann müsstest Du halt rausfinden, woher die Verbindungen kommen, und warum sie nicht geschlossen werden...

[ra.t]

Hallo Tode,
teste ich Morgen mal.
Das hatte ich noch nicht überprüft.
Mfg
Ralf

[Tannibal]

Hallo,
welchen Typ Netzwerkkarte verwendet ihr?
Empfohlen wird VMXNet3

[ra.t]

Hallo...,
Treiber der Netzkarte bei Windows 2012: Intel Pro 1000.
Wenn ich mich jetzt nicht irre.

In den Eigenschaften der virt. Maschine des Hosts ist´s der E1000 Netzwerk Adapter.

mfg
Ra.T

[Tannibal]

Wir verwenden hier nurnoch VMXNet3.
Hatten öfters Probleme mit E1000, bis hin zu nem Purple-Screen beim ESX

[schroederk]

Ich hatte auch mal ein sehr merkwürdiges Phänomen bei der Kommunikation zwischen 2 Domino-Servern.
Der eine hatte auch immer gemeckert, dass er den anderen nicht erreichen könnte. Umgekehrt und der Rest ging aber problemlos.
War allerdings über nen VPN-Tunnel.

Ursache war bei uns letzlich der Provider der einen Seite, aber ich hatte zwischenzeitlich auch Netzwerkspezialisten mit etlichen Wireshark Sessions und den IBM Support da.
Letzlich waren es "nur" die großen TCP-Pakete, die nicht ankamen. Reproduzierbar über einen Ping mit entsprechend großen Paketgrößen. Da gab es dann plötzlich zahlreiche Timeouts (ca. 80%). Der "kleine" Ping lief zu 100%.

Vielleicht ist es ein ähnliches Problem bei Euch?
Ich würd halt mal den Ping mit großen Packets versuchen und über Wireshark mal schauen, was die TCP/IP-Pakete so sagen.
Wobei das auch für mich eher nach zuviele nicht geschlossene Verbindungen klingt.

Ansonsten ist der E1000 wirklich nur das Not-Ding, wenn partout kein anderer läuft.

[ra.t]

Hallo...,
ich hatte nun mal an der Firewall in die Logs geschaut was an den Uhrzeiten so passierte, wenn der Server nicht mehr erreichbar war. Da war eigentlich aus dem Internet und dem LAN nicht viel los.
Könnte also nur noch im Netzsegment ein Gerät sein.

Mit netstat  heute auch mal die Verbindungen von Morgens und Mittags verglichen.
Ergebnis:
Der Server arbeitet weniger im Netzwerk als mein PC. Die Anzahl der gleichzeitigen offenen Verbindungen von dieser Netzkarte ist eher gering.

Nun müsste ich nur noch einen Vergleich bei einer Störung machen, mal schauen ob das zeitlich funktioniert.
mfg
Ralf

[ra.t]

Hallo zusammen,
melde mich nun wieder.
Heute war der Webserver mal wieder nicht erreichbar.
Ich habe dann auf der Konsole mal die Anzahl gleichzeitiger Verbindungen überprüft und ...

der Server langweilt sich zu Tode. (Wahrscheinlich schläft deshalb die Netzkarte regelmäßig ein)

Naja, so konnte ich wenigstens einen Broadcaststurm oder ähnliches ausschließen.
Hat noch jemand eine Idee wie der Domino die Netzkarte lahm legen könnte ?
mfg
Ralf

[koehlerbv]

Hast Du denn nun mal in solch einer Situation der Nichterreichbarkeit der Netzwerkkarte den Domino durchgestartet? War davon dann die Netzwerkkarte beeindruckt?
Und wie sollte der Domino überhaupt derart auf eine Netzwerkkarte zurückgreifen? Der will bedient werden und kümmert sich da um nichts. Schon gar nicht aktiv.

Bernhard

[ra.t]

Hallo..,
ich hatte ja schon einmal geschrieben, das ein Neustart des Dominos nicht die Netzverbindung reaktiviert.
Mfg
Ralf

[Micha B]

Der Domino ist nicht euer Problem - ich schließe mich da den Vorrednern an. Netzwerk ist Netzwerk und Domino ist Domino.

[Tode]

Ich behaupte: wenn Du auf der Büchse einen Webserver oder Fileserver laufen lassen würdest, dann würde der genauso die Netzverbindung verlieren... Vielleicht sogar, wenn die Büchse ganz ohne Serverdienste vor sich hin "idlet".

Aber das ist natürlich leicht "dahingesagt"... Ich persönlich würde die Kiste mal clonen, und dann mit dem clone mal rumexperimentieren, wie man das Ding tot kriegt (server id austauschen nicht vergessen): tausende http sessions aufmachen, per testscript von einem notesclient hunderte verbindungen aufmachen, etc... Denn eins sollte sicher sein: unter netzwerklast wird das wahrscheinlich schneller passieren, als ohne

[ra.t]

Hallo zusammen,
erst einmal wieder Danke für die Zeit die ihr euch genommen habt hier zu antworten.
Meine Aufgabe war ja nur zu recherchieren, ob ein Domino Server eine Netzkarte so beeinflussen kann.
Ich denke, wenn es ein generrelles und bekanntes Problem wäre, hätten wahrscheinlich mehr
auf diesen Post geantwortet.

Ich werde das mal so in der Firma weitergeben und lass die Admins dann mal ihre Arbeit machen.

mfg
Ralf

[ra.t]

Hallo zisammen,
es sind ja nun einige Tage vergangen... .
Leider verliert die Netzkarte immer noch regelmässig die Verbindung.
Der ESX und Host wurden auf die neueste Version aktualisiert.

Hat evtl. noch jemand eine Idee ?
Könnte es daran liegen, das auf dem Windows Server 2 Dominos laufen ?
Mit freundlichen Grüßen
Ralf

[Pfefferminz-T]

Was habt ihr denn zwischenzeitlich alles geprüft?

Moin Ralf,

wurde ja schon mehrfach geschrieben: Domino nutzt Hardware, die ihm das Betriebssystem bereitstellt - Punkt.
Domino macht keine Änderungen an Einstellungen der Hardware, im Betriebssystem und schiesst auch keine Netzwerkkarte ab.

Habt ihr den Domino Service mal deaktiviert? Treten dann die Abbrüche auch auf?
Mal eine zweite virtuelle Karte mit IP hinzugefügt... ist der Domino darüber weiterhin erreichbar?
Mal die virtuelle Karte entfernt und neu hinzugefügt?
Was macht die Hardware selbst bzw. der Host? Hardware mal getauscht oder nach Problemen mit dieser Hardware im Netz geschaut?

Wirklich, der Domino Server ist die letzte Komponente in diesem System wo ich nach der Ursache suchen würde.

Just my 2 cents,
Thorsten

[byte]

Freibleibend:
Würde ich mir als Systemler mal das Eventlog ansehen,  (Windows) oder geben lassen.
Ferner wäre am  Switch mal zu prüfen, wann  der „Connect lost“  erfolgte, wenn  er denn überhaupt erfolgte.

Auch wäre im Dominolog zu prüfen, ob in der Log.nsf-  FM auftauchen, wie "could not bind Port / Adapter... "

Um ggfs. herauszufinden, ob es am System (ob nun real oder virt. Hardware) liegt und oder ggfs an irgend einer anderen Ecke zwickt  ( Schnittstellen zu externen Systemen  / ODBC Call, Überlauf, zu viele Verbindungen -  oder - Stealth Mode beim Windowssystem

(https://technet.microsoft.com/de-de/library/dd448557%28v=ws.10%29.aspx)

-   kann man sich  mittels Programmdokument  oder anderer Ressourcen ein Skript erstellen, welches mittels NETSH und Dump -  die Resultate  in eine Datei zurück schreiben.

(https://technet.microsoft.com/en-us/library/bb490943.aspx)

Damit hätte man zumindest die Möglichkeit, je nach Zuwendung der anderen beteiligten Fachbereiche ( wobei man sich auch miteinander wie Erwachsene an einen Tisch setzen  und eine gemeinsame Lösung könnte ) -  ermitteln, wo das Problem nun wirklich hängt.

Im Testskript könnte man interne  Gateways pingen / externe  www - Adressen tracen...  und das Resultat  dumpen. (Somit werden  ggfs auch  VLans mit-getraced)
Dieses täglich, alle 2 Stunden ausführen, so wären es 12 Files / Tag und bei max 14 Tagen - entsprechend  - 168 Files - wobei man durchaus, bei angebrachten Abfragen der Schnittstellen, in diesen Dump alle Informationen erhalten kann um Systemler, Netzwerker oder  Domino Admins zu  informieren / die wirklich  nutzbaren Ergebnisse dann  auf den Tisch legen und diskutieren kann.

Ich  würde  ggfs. soweit gehen, seölbst ein WSH Skript zu schreiben, welches  übergeben an den  Systemler  per Scheduler auf Windows Ebene eingetütet werden kann.

Denn falls das Problem aus (überhaupt) Domino kommt (wovon ich pers. nicht wirklich ausgehe)  kann es je nach Zustand des Systems passieren, dass eben das Programmdokument auf dem  Dominoserver nicht mehr ausgeführt wird. (auch schon erlebt)

Das wichtigste, okay -  ist immer wieder das abgestrittene reguläre Hauptproblem, man sollte sich  offen miteinander der Thematik auseinander setzen und nicht wie im Sandkasten, es von einem Fachbereich und deren Zuständigkeit zur anderen  verweisen ...  (ja, ich habe auch schon Eimerchen und  Schäufelchen zu  solchen Meetings mitgebracht -  die Synergie war erstauntes glotzen, sinnieren und schmunzelndes ERWACHEN ...

Die Symbiose zur Lösung des Problems  war Granatenstark und half allen Beteiligten zu einer Lösung mit anschließenden Glücksgefühlen  ^^) Denke, dieses Problem kenne wir alle zu genüge 

LG