<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Oct 29, 2014 at 8:55 AM, Clemens Ladisch <span dir="ltr"><<a href="mailto:clemens@ladisch.de" target="_blank">clemens@ladisch.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Bill Cox wrote:<br>
> On Tue, Oct 28, 2014 at 5:28 PM, Clemens Ladisch <<a href="mailto:clemens@ladisch.de">clemens@ladisch.de</a>> wrote:<br>
</span><span class="">> > A typical ADC chip has a delta-sigma modulator running at about 6 MHz,<br>
> > which requires an external analog filter that reduces noise at that<br>
> > frequency.  The modulator is followed by a digital decimation filter<br>
> > that goes very near the Nyquist frequency of the currently used sample<br>
> > rate.  (There also is a high-pass filter to remove any DC offset from<br>
> > the input.)<br>
><br>
</span>> [...] In that case it's the decimation filter cut-off that counts.<br>
<span class="">> That's typically 2X the highest audio frequency of interest, isn't it?<br>
<br>
</span>Yes, if with "2X" you mean what I'd call "half".  For example, the<br>
CS5381 datasheet says:<br>
  Passband (-0.1 dB): from 0 Fs to 0.47 Fs<br>
  Stopband (-95 dB): from 0.58 Fs<br>
<br>
This filter and the HPF will attenuate extremly high and low frequencies;<br>
what remains is usable white noise over almost the entire frequency<br>
range.<br>
<span class=""><br>
> There will still be significant correlation between samples.  There is<br>
> thermal noise in a band from 9X to 10X below the sample rate<br>
<br>
</span>Why are you singling out this band?<br>
<span class=""><br>
> which will turn into a significant short-term correlation between<br>
> samples 10 away from each other.<br>
<br>
</span>The noise in all the other bands will cancel out these correlations.<br>
<br><br></blockquote><div><br></div><div>Not in my experience, but that is somewhat limited.  A simple test would be seeing if the zero crossings are correlated between adjacent samples.  My guess is they are highly correlated, as in I have a 70% chance of guessing if your next sample is greater or less than zero if you tell me the full value of the previous sample.  If you send me some typical Turbid maximum sample rate sound samples, I'd be happy to do that test.<br><br></div><div>However, this does not invalidate Turbid's entropy estimate in any way.  Feeding every sample, even if there is some correlation, into the hash function is the right thing to do to collect all that entropy.<br><br></div><div>Bill<br></div></div></div></div>