Das Notes Forum

Domino 9 und frühere Versionen => ND8: Administration & Userprobleme => Thema gestartet von: quader am 06.10.10 - 11:31:56

Titel: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 11:31:56
Guten Morgen

Der Notes 8.5.2 Client kann ja jetzt mehrere Replizierungs- oder Synchronisierungsvorgänge gleichzeitig durchführen (es verfügt über mehrere Threads). Dies Feature ist auch standardmässig aktiviert.

Ich suche nach einem Weg das zu deaktivieren und zwar bei allen Clients, so das das wieder wie vorher funktioniert, d.h. eine Datenbank nach der anderen.. Hat da wer eine Idee? per Policy, irgendwas in der notes.ini ?

Hintergrund: per MPLS sind diverse Stationen hier ans Rechenzentrum angebunden, damit alle Anwendungen der User genug Bandbreite bekommen. Durch das "neue" Replizieren der Clients werden anscheinenend dynamische Verbindungen vom Client zum Server aufgebaut, die nicht nur den Port 1352 benutzen. Zumindest ist das die Aussage vom Netzwerkteam..

Damit greift das Konzept per MPLS nicht mehr und Notes blockiert viel mehr Bandbreite als erlaubt und andere Applicationen haben Streß..
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: eknori am 06.10.10 - 11:37:59
Ist mir jetzt nicht aus dem Stand bekannt; habe die Frage mal im IBM Design Partner Forum gestellt.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 11:50:58
danke schonmal.. Zum Glück haben wir noch nicht soviele 8.5.2er Clients ausgerollt.. :D

Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: hallo.dirk am 06.10.10 - 14:24:56
Keine Ahnung was da genau Sache ist aber vielleichte hat es etwas mit dem Streaming Replication zu tun oder einer Erweiterung dieser Funktion.
Seit 8.x  gibt es ja die Streaming Cluster Replication unter Servern.....

Ich würde ein Ticket bei IBM aufmachen!


P.S.: Es währe interressant zu wissen wie Deine Sache hier ausgeht...
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 15:02:34
Lt. dem PMR bei IBM nutzt Notes standardmäßig nur Port 1352 über das NRPC Protokoll.

Wenn ich aber sehe, das der neue Client mindestens 3 Datenbanken gleichzeitig repliziert, dann bin ich auf der Seite vom Netzwerkteam.. Gleichzeitige TCP Anfragen auf den selben Port werden doch nacheinander abgearbeitet und nicht parallel? Das Parallele gibts doch erst bei Windows Server 2008 mit der Net.TCP-Portfreigabe (Multiplexing).. Hat IBM da eventuell was eigenes gebastelt?

Einer der betroffenen Server hat Windows 2003 und Domino 8.5.2 HF16

Wie arbeitet denn der Client? werden die Anfragen dann gebündelt übertragen oder macht dann der Client, wenn es nicht klappt, nicht doch einen anderen Port auf zum Server?
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 06.10.10 - 15:26:11
Zitat
Wenn ich aber sehe, das der neue Client mindestens 3 Datenbanken gleichzeitig repliziert, dann bin ich auf der Seite vom Netzwerkteam..
Ich hab nun wirklich keine Ahnung davon, aber wenn das nicht möglich sein sollte, wieso kann ich dann mehrere Downloads gleichzeitig ausführen? Oder ist die Frage jetzt an der Thematik vorbei? Notes nutz nur den Port 1352. Wenn Deine Netzwerker was anderes sagen, müssten Sie doch auch wissen, welche Ports es noch nutzen tut. Wäre ja mal interessant.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 15:37:52
Ich meine ja den Notestraffic.. Bei Windows mag das ja möglich sein, siehe Multiplexing.

Das Interessante ist ja, das unsere Netzis da auch nicht genau etwas finden können. Es sind halt nur immer wieder Spitzen im Traffic drin, die vorher nicht da waren.. Deswegen ja die Aussage/Vermutung mit den dynamischen Ports.. Meine Frage war ja, ob das schon bekannt ist, wer ähnliche Erfahrung hat und ob ich das per Policy abstellen kann. Mal zu sehen, ob dann alles wieder sauber läuft.

Begonnen hat das mit dem Rollout von 8.5.2 was mich zu der genannten Vermutung bringt.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: hallo.dirk am 06.10.10 - 15:56:35
Zitat
Es sind halt nur immer wieder Spitzen im Traffic drin, die vorher nicht da waren..


Schon mal den Traffic am Client mit Wireshark mit protokolliert.
Eventuell am Client mal Client_Clock=1 setzen und beobachten was Client  da so treibt
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 16:06:18
Einen Screen der benutzen Ports hatten wir auch per PMR zu IBM gegeben. Antwort:

Alle anderen Protokolle und Dienste stehen in keinem Zusammenhang mit der Standard Nutzung.

Wobei mich das Wörtchen Standardnutzung stutzig macht. IBM hat ja nicht zum ersten Mal was verbockt und musste nen Hotfix nachreichen.. :D


Aber das Clientlogging kann ich ja mal bei ein paar Clients anwerfen. Gute Idee, danke!
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 06.10.10 - 16:15:08
Zitat
Einen Screen der benutzen Ports hatten wir auch per PMR zu IBM gegeben.
Und welche Ports sind darauf zu sehen, die der meinung eurer Netzwerkkollegen von Notes benutzt werden?
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 06.10.10 - 16:29:25
Wenn du es genau wissen willst: 1108 und 1209 stehen ganz oben..

1108 und 1209 ist normalerweise ein Netzwerkdienst (ratio-adp/ipcd3)

Die Vermutung ist wahrscheinlich, ob der Notesclient auf diese bekannten Ports ausweicht, weil da das  Datenvolumen (1108 am meisten) erhöht ist.


Behoben wurde das Problem erstmal mit einem Workaround über Traffic Shaping, aber dafür bin ich zuwenig in der Materie drin, um genauer zu sagen, was da gemacht wurde.





Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: eknori am 06.10.10 - 17:52:21
Die Frage wurde gerade IBM intern an die Entwickler weitergeleitet.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: koehlerbv am 06.10.10 - 17:59:19
Wenn es denn tatsächlich stimmen sollte (und das halte ich für ausgeschlossen), dass ein Client für seine Zwecke einen anderen Port als 1352 aufmachen könnte und ein Domino dann auch noch darauf hört, dann hätte sich ja IBM Lotus selber einen letalen Kopfschuss verpasst.

Ich kann mir auch nicht vorstellen (nein, das ist schlicht unmöglich!), dass ein solches krasses Fehlverhalten vorher noch niemand bemerkt haben will.

Bernhard
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 06.10.10 - 19:43:01
Dem schließe ich mich an, Bernhard. Zudem denke ich, dass Netzwerkadmins etwas mehr herausfinden können sollten als eine vage Aussage: der Port xyz hat Traffic also kann es nur Lotus Notes sein. Im Umkehrschluß zu der Aussage 'Notes 8.5.2 benötigt für das Replizieren mehr bzw. andere Ports als 1352' müsste es ja, für mein Verständnis, möglich sein, die Replizierung lahm zu legen, wenn man alle Ports bis auf den 1352 sperrt (was weder ich bisher versucht habe und was wohl auch noch nicht versucht wurde). Nun bin ich aber eben nicht so toll bewandert was Netzwerke angeht. Dies ist nur eine rein theoretische Überlegung von mir und ich kann mich da auch Irren. Das von Dirk erwähnte 'Wireshark' (z.B. http://forum.kommedia.org/index.php?topic=6145.0) könnte vielleicht auch hilfreich sein.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: theWizard am 06.10.10 - 21:42:01
Hiho,

8.5.2 Server auf Linux und 8.5.2 Client unter Windows 7. Hab gerade gesehen das er 2 Datenbanken gleichtzeitig repliziert. Am Server ist aber nur der 1352, 80 und 443 offen, der rest wird von der Firewall verbrannt (ob da was ankommt kann ich jetzt von hier aus nicht sagen).

Gruß

Basti

/Edit: Basti ist die Abkürzung für Sebastian  :D
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 06.10.10 - 21:49:18
Danke für die Auskunft, Basti (Bastian?)!
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Pyewacket am 06.10.10 - 22:30:10
Ich denke da passiert genau das was mit jeder Applikation passiert die mehrere parallele Sessions aufbaut.
Die Zieladresse und Port sind durch den Dominoserver vorgegeben, ebenso die Quell(Client) Adresse. Der beim Client verwendete Port ist nicht fest sondern wird beim Verbindungsaufbau zufällig ausgewählt. Wenn jetzt mehrere Replikationen parallel ablaufen wird wohl für jede Replikation eine Session aufgebaut die zwar als Zielport die 1352 hat, als Ausgangsport jedoch unterschiedliche Ports verwendet (verwenden muss!)

Gruss
 Peter
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: eknori am 07.10.10 - 07:08:30
Ich habe die Frage nach den zusätzlichen Ports noch einmal explizit ins Design Partner Forum gepostet ( zusammen mit einem Link auf diesen Thread )

Hier noch eine kurze Darstellung zur Klarstellung, wie die parallele Replikation funktioniert

Zitat
By default, while the client can do multiple replications at the same time, it will not do multiple replications to the same server at the same time. This was done intentionally to avoid adding additional load to the server.

Bei einem Cluster sieht das wieder ein bisschen anders aus

Zitat
If you had a cluster, it would serialize, but it would depend on what the last server the Db replicated with, and what it was set to replicate with.

Ich denke, dass sich die Frage nach den Ports im Laufe der nächsten 24 Stunden klären wird.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Driri am 07.10.10 - 09:35:16
Den Artikel von Daniel Nashed habe ich gerade bei PlanetLotus gefunden :

http://blog.nashcom.de/nashcomblog.nsf/dx/multi-threaded-replicator-in-8.5.2.htm
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 07.10.10 - 10:24:51
Ich denke da passiert genau das was mit jeder Applikation passiert die mehrere parallele Sessions aufbaut.
Die Zieladresse und Port sind durch den Dominoserver vorgegeben, ebenso die Quell(Client) Adresse. Der beim Client verwendete Port ist nicht fest sondern wird beim Verbindungsaufbau zufällig ausgewählt. Wenn jetzt mehrere Replikationen parallel ablaufen wird wohl für jede Replikation eine Session aufgebaut die zwar als Zielport die 1352 hat, als Ausgangsport jedoch unterschiedliche Ports verwendet (verwenden muss!)

Gruss
 Peter

Danke Peter! Genau das ist auch mein Ansatz..


OK nach der Antwort, die Eknori gepostet hat, gehts nicht parallel, sondern nacheinander.. Ein Cluster ist zwar dabei, aber den Traffic würde man doch anhand unterschiedlicher IP-Adressen des Ziels ausmachen können.

@Bernard
ich möchte auch nicht die Unfähigkeit von Notes oder IBM darstellen, sondern explizit ausschließen, das nicht doch was anders ist als sonst. Keine Ahnung, was man in einer aktiven Session von IP zu IP mit Port noch auslesen will. Ich möchte jetzt ungern auch noch jedes einzelne Datenpaket analysieren müssen.
Es ist definitiv mehr Traffic da und das passt haargenau mit Installation einen 8.5.2er Clients zusammen. Also ist die Wahrscheinlichkeit groß, das es damit was zu tun hat.

@Micha

Es ist nicht möglich alle Ports ausser 1352 zu schließen. Das ist eine Produktivumgebung wo Notes nur ein Programm von vielen ist. Die Idee hatten wir auch schon, aber ist nicht umsetzbar.. Es wurde ja auch schon mit einem Workaround gelöst, aber mehr Infos hätte ich eben schon gern..
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: hallo.dirk am 07.10.10 - 11:14:34
ALso wenn der Client wirklich andere Ports benutzt, dann müsste man dies auch auf dem Domino Server mit netstat -a sehen können!
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 07.10.10 - 11:17:20
Zitat
Es ist nicht möglich alle Ports ausser 1352 zu schließen.
Ich rede ja auch nicht von allen Produktiv-Rechnern, sondern von einem Testsystem  ;)
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: eknori am 07.10.10 - 16:26:25
Hier noch eine Antwort zu dem Thema aus dem Design Partner Forum

Zitat
There was no change made to the default port used for Notes traffic.

For example, on my system with parallel replications, NETSTAT shows:
TCP MyMachineName:3870 server1.domain.com:1352 ESTABLISHED
TCP MyMachineName:4621 server1.domain.com:1352 ESTABLISHED
TCP MyMachineName:4622 server2.domain.com:1352 ESTABLISHED
TCP MyMachineName:4623 server3.domain.com:1352 ESTABLISHED
TCP MyMachineName:4624 server4.domain..com:1352 ESTABLISHED
TCP MyMachineName:4625 server5.domain.com:1352 ESTABLISHED
TCP MyMachineName:4626 server6.domain.com:1352 ESTABLISHED
TCP MyMachineName:4627 server1.domain.com:1352 ESTABLISHED

NOTE: For both 8.5.2 and previous releases, network sessions are left open until all replication completes in case we perform another replication against the server.

Mehr werde ich jetzt in dieser Richtung nicht unternehmen. Es gibt genug Hinweise, wie man das verifizieren / falsifizieren kann. Und wenn immer noch was unklar ist, dann bitte einen PMR aufmachen.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Bastian_W am 07.10.10 - 19:26:09
Auf dem Domino Server werden bei uns keine weiteren Ports geöffnet außer 1352 (und die "threaded-replication" läuft trotzdem), selbst wenn der Client es wollte, könnte er das nicht, da die Firewall den Zugriff auf die Domino Server nur über den Port 1352 erlaubt.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: quader am 08.10.10 - 10:35:48
Es ist doch wunderbar, das sich hier alle so einig sind. Dann kann ich wenigstens ausschließen, das es kein neues Notesproblem ist..

netstat hat auf dem Server keine zusätzlichen Ports angezeigt.

PS: ich werde mich aber in Zukunft hier nur wieder aufs Lesen beschränken. Wie einige hier reagieren, wenn man mal das heilige Notes in Frage stellt, ist schon befremdend. Danke das wenigstens ein paar (besonders Eknori) die Möglichkeit in Betracht gezogen haben.
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Bastian_W am 08.10.10 - 10:53:18
@quader

Ich hoffe nicht das dein Posting mit der "Reaktion" an mich gerichtet war. Ich wollte damit eigentlich nur die Tatsache untermauern das der Client bei uns keinen anderen Port verwendet, aufgrund der Firewall bleibt ihm halt nur der 1352.


Könnte das bei euch ein NAT "Problem" sein?:

----------------------
Variation of dynamic NAT

    * Port Address Translation (PAT)
          o Used to allow many hosts to share a single IP address by multiplexing streams differentiated by TCP/UDP port numbers
          o Ex. Suppose private hosts 192.168.0.2 and 192.168.0.3 both send packets from source port 1108. A PAT router might translate these to a single public IP address 206.245.160.1 and two different source ports, lets say 61001 and 61002. Response traffic received for port 61001 is routed back to 192.168.0.2:1108, while port 61002 traffic is routed back to 192.168.0.3:1108.
    * Commonly implemented on Small Office / Home Office routers (SOHO)
----------------------
Titel: Re: Replizierung mehrerer Datenbanken gleichzeitig
Beitrag von: Micha B am 08.10.10 - 11:11:26
Zitat
PS: ich werde mich aber in Zukunft hier nur wieder aufs Lesen beschränken. Wie einige hier reagieren, wenn man mal das heilige Notes in Frage stellt, ist schon befremdend. Danke das wenigstens ein paar (besonders Eknori) die Möglichkeit in Betracht gezogen haben.
Es geht hier nicht um 'Heilige Kühe'. Hier ist ein Diskussions Forum. Hier sollen Meinungen geäußert werden, was Du ja auch getan hast. Ich kann nicht erkennen, dass eine Reaktion unter der Gürtellinie war oder abfällig. Ich persönlich fand aber die Aussage eurer Netzwerkadmins von denen durch nichts belegt. Natürlich ist es Dein Recht zu sagen: meine Admins haben recht und IBM nicht. Nur haben wir eben bis jetzt auch keinen Gegenbeweis antreten können - und werden es wohl auch nicht können. Insgesamt fand ich selbst sogar viele Beiträge sehr interessant. Was Du in Zukunft tust ist natürlich Dir überlassen. Schade fände ich es trotzdem. Wie heißt es doch beim Sesamstraßen-Lied: Wer nicht fragt bleibt dumm. Hier kann man so viel interessantes lesen und Herausfinden, vorallem wenn man selber auch etwas aktiv ist, finde ich.

In diesem Sinne wünsche ich Dir ein schönes Wochenende!

Michael