Autor Thema: Probleme mit der mod-Funktion  (Gelesen 2296 mal)

jkoe

  • Gast
Probleme mit der mod-Funktion
« am: 20.06.12 - 15:11:44 »
Hallo,

bei einer Berechnung für einen Kunden ist die verwendung eines Modulowertes vorgeschrieben.

das Problem ist die Größe des Dividenden : 21-stellige zahl.
die Modfunktion bringt einen Fehler, sobald die die Stellen >17 sind.

wenn ich die die Modfunktion nachbilde, wandelt Notes den Wert immer in die 123e21 -Darstellung um und Funktionen wie z.B. fix greifen nicht.

Grundsätzlich sieht die Funktion in etwa so aus:

    ModWert = Wert - (fix(Wert/33)) * 33

Wenn man die Formel in einzelne Schritte aufteilt, zeigt sich, das fix nicht greift bzw. der Gegentest mit fraction ergibt in diesem Bereich  0.

Zahlen in dieser Größenordnung scheinen durch die Umwandlung nicht mehr wie erwartet verarbeitet zu werden.

Als Formate habe ich mit dbl und variant getestet, alle anderen sind vom Wertebreich zu klein.

Vielleicht hat jemangd eine Idee, wo ich ansetzen könnte.

Danke

Jo

jkoe

  • Gast
Re: Probleme mit der mod-Funktion
« Antwort #1 am: 20.06.12 - 15:18:15 »
 :-:

Sorry, ich bin versehendlich in den falschen Bereich gerutscht,

ich stelle es noch mal unter ND 8:Entwicklung ein.

Jo
Zitat

 

Impressum Atnotes.de  -  Powered by Syslords Solutions  -  Datenschutz