<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Fri, Apr 24, 2015 at 3:59 PM, Bill Cox <span dir="ltr"><<a href="mailto:waywardgeek@gmail.com" target="_blank">waywardgeek@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="">On Tue, Apr 21, 2015 at 9:54 PM,  <span dir="ltr"><<a href="mailto:dj@deadhat.com" target="_blank">dj@deadhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">I've never seen the term surprisal used in any crypto math paper. I don't<br>
remember seeing it all before this email chain, but I have far from<br>
perfect memory.<br></blockquote><div><br></div></span><div>I use surprise as described in this document:</div><div><br></div><div>    <a href="http://www.av8n.com/turbid/paper/turbid.htm" target="_blank">http://www.av8n.com/turbid/paper/turbid.htm</a><br></div><div><br></div><div></div></div></div></div></blockquote></div><br></div><div class="gmail_extra">Here's a good Turbid quote:</div><div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">"Let’s be clear: The surprisal is a property of the symbol, while the entropy is a property of the source. In particular, the entropy is the appropriately-weighted average surprisal.</div><div class="gmail_extra"><br></div><div class="gmail_extra">For a long string, we expect the surprisal of the string to converge to the entropy of the source times the length of the string.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Beware: In the literature it is common to see the word “entropy” used in places where surprisal would make more sense. In particular, the code and documentation for the Linux /dev/random talks about depleting the “entropy” in its buffer."</div><div class="gmail_extra"><br></div><div class="gmail_extra">We can't fix how everyone else uses the word entropy.  Linux has an entropy pool... end of story.  However, we can be more clear in our discussions of TRNGs, randomness, and entropy.  In common usage, it is simpler to say entropy, because no one knows what you're talking about if you say surprisal :-)</div><div class="gmail_extra"><br></div><div class="gmail_extra">Bill</div></div></div>