<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Apr 21, 2015 at 9:54 PM,  <span dir="ltr"><<a href="mailto:dj@deadhat.com" target="_blank">dj@deadhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">I've never seen the term surprisal used in any crypto math paper. I don't<br>
remember seeing it all before this email chain, but I have far from<br>
perfect memory.<br></blockquote><div><br></div><div>I use surprise as described in this document:</div><div><br></div><div>    <a href="http://www.av8n.com/turbid/paper/turbid.htm">http://www.av8n.com/turbid/paper/turbid.htm</a><br></div><div><br></div><div>It says:</div><div><br></div><div>"Following Solomonoff (reference 33 and reference 34) and Chaitin (reference 35) we quantify the surprisal of a string of symbols as follows:</div><div>    Let z be a string of symbols. The elements of z are denoted zk and are drawn from some alphabet Z. The number of symbols in the alphabet is denoted #Z.<br></div><div>    Let PC(z) be the probability that computer programs, when run on a given computer C, will print z and then halt. The surprisal is defined to be the negative logarithm of this probability, denoted $C(z) := − logPC(z). In this paper we choose to use base-2 logarithms, so that surprisal is measured in bits. Surprisal is also known as the surprise value or equivalently the unexpectedness. It is intimately related to entropy, as discussed below."<br></div><div><br></div><div>It's the best paper I've found on making practical use of thermal noise to build a TRNG.  The specific case of using a 24-bit A/D converter, where we know the low bits are actually random, seems a bit hackish to me, but the concepts presented about random number generation generally are excellent.</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
All the entropy extractors I have implemented have been based on proofs<br>
showing the algorithm converts one or more sources of some min-entropy to<br>
a slower source of data with higher min-entropy. All the CSPRNGs I've<br>
implemented have been based on proofs that a seed with defined min entropy<br>
fed into a given algorithm will yield an output with computation bounds on<br>
the work required by the adversary to determine the state of the PRNG.<br></blockquote><div><br></div><div>Sounds good to me :-)</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
I googled the term and it seem to be used in thermodynamics circles. The<br>
math definition doesn't seem to provide any cause to abandon Renye Entropy<br>
as the normal metric.<br></blockquote><div><br></div><div>I think Turbid is the main source of this term as it's used to describe true random number generators.  When I say entropy in statements like how many "bits of entropy" are output by my "Infinite Noise Multiplier" device, I mean how many bits of surprisal, as defined in the Turbid paper.  It directly represents an attacker's probability of guessing the state, which is perfect for security proofs.</div><div></div></div><br></div><div class="gmail_extra">Bill</div></div>