开发者头条

信息论揭开深度学习黑匣子？纽约大学研究员Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论

斯坦福经典书《熵与信息论》311页 PDF下载

本书致力于概率信息测度理论及其在信息源和噪声信道编码定理中的应用。最终的目标是全面发展香农的通信数学理论，但大部分篇幅都用于证明香农编码定理所需的工具和方法。这些工具形成了遍历理论...

“信息论之父”——克劳德·香农是如何创造未来的

信息论-Turbo码学习 - 白羊大大

什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈

信息论与机器学习

算法工程师的数学基础：信息论

【算法工程师的数学基础】系列将会从线性代数、微积分、数值优化、概率论、信息论五个方面进行介绍，感兴趣的欢迎关注【搜索与推荐Wiki】公众号，获得最新文章。《算法工程师的数学基础》已...

ICLR 2020 | 北大图灵班本科生满分论文：计算约束下有用信息的信息论

ICLR 2020 Oral | 基于计算约束下的有用信息的信息论

深度学习中的信息论

信息论和数理统计——机器学习基础 - 雪山飞猪

NeurIPS 2019 | 一种对噪音标注鲁棒的基于信息论的损失函数

对博弈活动中蕴含的信息论原理的讨论，以及从熵角度看不同词素抽象方式在WEBSHELL文本检测中的效果区别 - 郑瀚Andrew.Hann

关于数据压缩、信源编码、赫夫曼码的一些研究，以及由此引出对决策树模型的信息论本质的思考 - 郑瀚Andrew.Hann

关于信息论中熵、相对熵、、条件熵、互信息、典型集的一些思考 - 郑瀚Andrew.Hann

信息论入门教程

编程数学之信息论 - 伏草惟存

基于信息论构建的测试解决方案：携程机票如何利用大数据提升测试效果？

作者简介 陈亮，携程机票BU高级测试经理，在软件服务端、前端的软件质量领域有多年的实战经验，喜欢钻研引入新技术，提升团队工作效率。 一、前言1948年信息论创始人香农博士在他的...

信息论创始人克劳德·香农：真正的天才是如何思考的？

深度学习中你必须知道的信息论

信息论随笔3: 交叉熵与TF-IDF模型 - ZisZ

[译] 信息论视角下的深度学习简述，形式化的泛化误差分析

选自arXiv，机器之心编译，参与：刘天赐、路。本论文从信息论的角度简要概述了深度学习，试图解决这两个问题：(1) 深度神经网络为什么比浅层网络的泛化能力好？(2) 是否在所有场景...

信息论视角下的深度学习简述，形式化的泛化误差分析

信息论视角下的深度学习简述，形式化的泛化误差分析

从信息论的角度理解与可视化神经网络

从信息论的角度理解与可视化神经网络

从香农熵到手推KL散度：一文带你纵览机器学习中的信息论

知道吗？滚还是不滚的问题和信息论有关

从香农熵到手推KL散度：一文带你纵览机器学习中的信息论

从香农熵到手推KL散度：一文带你纵览机器学习中的信息论