Re: Schwankende Messwerte mit math.ceil(x) Kategorie: Programmierung (von krassos - 6.03.2006 21:52) | ||
Als Antwort auf Re: Schwankende Messwerte mit math.ceil(x) von JackFrost - 6.03.2006 20:35 | ||
| ||
> Hallo , > > da mein Display defekt ist kann ich nur die gerundeten Werte geben. > global.St ( Steilheit ) ist -68 > global.Np ( Nullpunkt ) ist 808 > > die werte Schwanken symetrisch , erst + 5 dann langsam wieder auf -5. > > ohne die Rundung sind die werte viel stabiler. > > +/- 0,01 pH-Einheit. > > Gruss JackFrost > > Hallo Jack, > > > > ich glaube, das wären normale Schwankungen. Bitte gib mir doch mal einen Tip, > > welche Werte für global.Nr und .St bei Dir Verwendet werden. > > Dann kann man mal nachrechnen. > > > > Gru� krassos Hallo Jack, meiner Meinung nach wird die Zeile x=z/10 im long-Bereich berechnet, was de facto integerwerte zur folge hat. Ein AD-Wert von 512 digits gemittelt ergibt dann x=(x-NP)/ST =4,3529 x=x*100 =435,29 ceil(x) =436 Bei 511 digits x=(x-NP)/ST =4,3676 x=x*100 =436,76 ceil(x) =437 bei 513 digits x=(x-NP)/ST =4,3382 x=x*100 =433,82 ceil(x) =434 Schau Dir einfach mal die Zwischenergebnisse von x an. Wenn die Berechnung long ist kannst Du Sie ändern in x=z x=x/10 Anschlie�end schaust Du Dir nochmal anhand der Zwischenergebnisse an, wo Deine Werte schaukeln. Bei mir steht kein AD-Wert. Sie schwanken alle um +/- 1 Digit. Bei Messungen in bewegten Medien auch mehr. Gru� krassos | ||
Antwort schreiben Antworten: Re: Schwankende Messwerte mit math.ceil(x) (von JackFrost - 7.03.2006 21:38) Re: Schwankende Messwerte mit math.ceil(x) (von Heribert - 8.03.2006 22:08) |