Wie skaliert Domino 7 auf Multiprozessor-Systemen?

[matze79]

Hallo,

unter SLES9 (Kernel 2.6.5) sehe ich per "ps ax" nur einen Linux-Prozess pro Domino-7-Programm. Unter SLES8 und Domino 6.x dagegen werden eine vielzahl angezeigt. Ich habe zu dem Thema auch schon eine Technote gefunden, die eigentliche sagt, dass alles O.K ist.

Domino on Linux uses multiple processes (essentially LWP - lightweight process)  and manages each process as a virtual threads.  So each process is actually a Domino thread.  This is how Domino on Linux is supposed to work.
But if you aren't seeing this behavior what it could mean is that the Domino server is using NPTL (Native Posix Thread Library) as opposed to LinuxThreads.  Newer versions of Linux will default to NPTL behavior if LD_ASSUME_KERNEL is not set to a kernel assumption based on 2.2.5 or 2.4.*
NPTL is not expected to be supported in 6.x code.  It is currently being considered for 7.x.

Was ich nun nicht verstehe: Wie skaliert Domino auf mehrere CPUs? Der Server-Prozess, zum Beispiel, läuft dann doch nur noch auf einer CPU. Oder habe ich da ein Verständnissproblem mit der Prozesstruktur von Linux auf SMP-Systemen?

Viele Grüße
Matthias

[m3]

Lotus Domino 7 server performance, Part 1

When Domino 6 was designed, the Linux (x86) kernels it had to support did not have sys-epoll capability. Therefore, Domino could not support a threadpool model like the other platforms use. This caused each NRPC user to spawn off a server thread. Each server thread then required a stack, which takes up 256K of memory. These stacks are allocated from the 2 GB of memory that the operating system gives Domino, thereby limiting the number of NRPC users Domino 6 can support to 3000. (Linux on zSeries implemented sys-epoll in Domino 6.5.)

With Domino 7, we take advantage of the sys-epoll feature in the new kernels (for example, SuSE SLES 8 and SLES 9), which allow Domino to use the same threadpool model as other platforms. This, along with the improvements in the NPTL Posix library contained in SLES 9, has greatly improved Domino’s scalability, allowing us to attain 15,000 R6Mail users -- a 400 percent improvement! (See figure 2.)

Lotus Domino 7 server performance, Part 2

Unlike NRPC on Domino 6.x, Domino Web Access on Linux does not require an HTTP thread and stack per user. The HTTP task itself is able to do the pooling, so the default of 40 HTTP threads can support several thousand users. This is true in both Domino 6.x and Domino 7, making percent CPU the limiting factor in the number of users that can be supported.

In Domino 7, we substantially reduced the amount of CPU required to support a user. Figure 2 shows this reduction in percent CPU and how it allows Domino 7 to gain around 50 percent more Domino Web Access users than Domino 6.x.

P.S.: Du könntest ja die Lotus Domino platform statistics benutzen, um Detailinfos zu den Prozessen zu bekommen.

[sja]

Hallo,

habe das ähnliches Problem, das in
http://atnotes.de/index.php?topic=21563.0
auch besprochen wurde.

Unter SLES8 und Domino 6.x dagegen werden eine vielzahl angezeigt. Ich habe zu dem Thema auch schon eine Technote gefunden, die eigentliche sagt, dass alles O.K ist.

@matze79,
Es wäre sehr nett, wenn Du das Link zur diese Technote geben würdest.
Vielen Dank im voraus

Schoene Gruesse
Sofia

[matze79]

Ein einzelner Dominoprozess skaliert laut Lotus nicht auf mehrere CPUs, da Domino nicht Multi-Threaded ist. Soll heißen, dass alle User einen "server" -Thread (aus Sicht des Betriebssytems) auf einer CPU nutzen. Nutz dieser Thread viel CPU wird dann z.B. für den "update"-Thread eine andere CPU genutzt.

Will man einen Task auf mehrere CPUs verteilen, muss man Partitioned-Server einsetzen.

[Tim Lemmen]

Ich kann mich der Aussage von matze79 anschließen, habe aber aus praktischer Erfahrung (Solaris) einige Anmerkungen:
Der Mailrouter kann mehrere threads verwenden, von Agentmanager, Indexer, Replikator, Clusterreplikator, Compacter etc. können mehrere Instanzen gestartet werden, die durchaus die komplette Prozessorhardware (in meinem Fall problemlos 8 CPUs) nutzen. Wenn alle Prozesse fleißig schaffen sollten bei Speicher und Platten keine Engpässer produziert werden.

[Ralf_M_Petter]

Sorry was Matze schreibt ist nicht korrekt. Zumindest nicht für Domino 7. Der Server Prozess ist eben gerade Multithreaded. Das heisst jeder Benutzer kann auf einem anderen CPU ausgeführt werden. Früher war das unter Linux in der Form nicht möglich, weshalb Domino auf Linux auch nicht optimal skalieren konnte.

Grüße

Ralf

[matze79]

@Ralf_M_Petter
Könntest du deine These bitte näher belegen? Du siehst auf deinem Linux doch auch nur eine Server-Thread, oder?


> Der Server Prozess ist eben gerade Multithreaded

"Multithreaded" heisst "a single thread per session" im Betriebssystem.

Wenn ich den nachfolgenden Artikel richtig lese, werden unter Domino >4 interne Worker-Threads genutzt, welche man nicht als Multithread bezeichnet. Nebenbei wird in dem Artikel auch die Erklärung für das Verhalten genannt.

Previous releases (R 4.x and earlier) of the Domino server supported a single thread per session model. This means for every user session established, a dedicated set of resources were allocated at the Domino application and supporting operating system level. As Domino supports more users in the form of session connections, the amount of resources tied up to support those additional users also increases, which in turn requires additional internal threads.
...
These worker threads are defined to service multiple client sessions via a limited number of threads that execute.
...
The worker thread model can be likened to the cashiers in a grocery store. There are far fewer cashiers than shoppers who need to use them. Shoppers queue up, as needed, to be serviced by a cashier. Sometimes all cashiers are busy; sometimes only a few are servicing customers. Like the number of worker threads, the number of cashiers is constant, regardless of workload. Depending on the number of customers and available cashier stations, more cashiers can be added to service increasing numbers of customers.


http://www-128.ibm.com/developerworks/lotus/library/ls-spin1/#N102BC

[Ralf_M_Petter]

Leider Matze du vermsicht hier mehrere Sachen die nichts miteinander zu tun hat.

Hier noch einmal die Begriffserklärung

Prozess ist ein schwergewichtiger Programmablaufbereich im Operating System, der in der Prozessliste aufscheint. Das erstellen eines so eines Prozesses ist für das Betriebssystem sehr aufwendig. Prozesse sind normalerweise strikt voneinander getrennt und belegen eigene  Speicherbereiche usw.

Thread ist ein leichtgewichtiger Programmablaufbereich innerhalb eines Prozesses, der nicht in der Prozessliste aufscheint. Das erstellen eines Threads ist für das Betriebssystem verleichsweise nicht aufwendig. Threads teilen sich einige Ressourcen mit andern Threads im OS.

So bei nicht Linux System war es schon immer oder zumindest seit R5 so, dass es einen Server Prozess gegeben hat in dem mehrere Server Worker Threads ob dieses dann ein Thread per Session sind wie bis 5.0.3 auf der Iseries oder geshared Worker Threads wie jetzt ist unerheblich. Bei Linux war es aber so, da die Threadunterstützung in Kernel vor NPTL nicht besonders war statt Threads Prozesse erstellt wurden. Das heisst man hatte nicht einen Server Prozess sondern viele Server Prozesse mit jeweils einem Thread.

Da die Anzahl der maximalen Prozesse beschränkt ist, konnte Domino auf Linux auch nicht sehr gut skalieren. Da Domino ab 7.0 NPTL nutzt, ist diese Beschränkung aufgehoben. Das selbe gilt übrigens auch bei Java. Die meisten Java Anwendungen verwenden massiv Threads und das war früher auf Linux ein großes Problem.

Grüße

Ralf