基础信息论

EE142 | 4 学分 | 5 评论

开课单位:

信息科学与技术学院

授课老师:

吴幼龙

Ratings & Reviews

4.6

/5

特别好评

5 人评分

课程质量

很好

作业用时

1-2h

考核难度

偏易

给分情况

很好

排序和筛选

排序方式

20142026

吴幼龙 (5)

其他 (0)

Winlere

2021 级本科生

2025/01/10 18:30

2025/01/10 18:17

好课传递知识，神课传递直觉

2024 年秋学期

吴幼龙

课程质量

很好

作业用时

1-2h

考核难度

偏易

给分情况

较好

关于信息熵，吴老师花了很多时间帮助我们建立直觉。同时也给了我们很多计算的工具。我上过的课中最值得亲自坐第一排去听的课程之一。(也和下午一点上课肯定醒着有关）。

作业：书上的题

期末考试：作业是什么样子期末就怎么样，作业都会做考试就都会做。教科书里每一章都有 summary，可以塞到一张纸里作为 cheatsheets。

Project：是随机读一篇论文然后写 poster，写 report。鼓励有创新，不要求有创新。被学 RL 的大哥带飞了。

给分：会好的

是 CS 的跨专业选修。其实我也不知道我熵之后会怎么样，不过这套理论本身也很有意思，给我带来了全新的理解不确定性的视角。并且所学的 AEP 定理能够帮助自己理解随机程序里随机采样的有效性。

一套不用记公式的记号：

熵的公式

H(X) = - Σ Pr[X] log Pr[X]

熵的原始性质：

(可拆分性) H (A,B,C) = H (A) + Pr [A not happen] H (B,C)
忘了

X 和 Y 的不确定性，假设和集合 A B 对应

H (X) ~ |A|, H (Y) ~ |B| 熵就是集合取大小操作
H (X,Y) (逗号) 代表并集运算，H (X,Y) ~ |A \cup B|
I (X;Y) 代表交集运算，I (X,Y) ~ |A \cap B|
H (X|Y) (rv X given Y) 代表集合减法运算 H (X|Y) ~ |A - B| 应用一下：
I (X;Y,Z) ~ |(A \cap (B \cup C))| = |(A\cap B) \cup (A \cap C)| = |(A\cap B)| + |(A \cap C) - B| = I (X;Y) + I (X;Z|Y) 再也不用死记硬背公式了！！！
I (X;Y) = |A \cup B| = |A| + |B| - |A\cup B| = H (X) + H (Y) - H (X,Y) 容斥原理！！！

是 CS 的跨专业选修课

作业：书上的题

期末考试：作业是什么样子期末就怎么样，作业都会做考试就都会做。教科书里每一章都有 summary，可以塞到一张纸里作为 cheatsheets。

约

约翰史密斯

2025/01/13 15:49

2024/12/20 04:29

好课

2024 年秋学期

吴幼龙

课程质量

很好

作业用时

<1h

考核难度

简单

给分情况

很好

出分 update：竟然出奇的高，这都能有 **，看来大伙大四都比较摆

上的很好，讲的非常详细，老师人非常 nice，偏数学，考核 project + 考试

虽然大四上的几乎没听，上了个乐呵

出分 update：竟然出奇的高，这都能有 **，看来大伙大四都比较摆

上的很好，讲的非常详细，老师人非常 nice，偏数学，考核 project + 考试

澜

澜念Lannian

2022 级本科生

2025/01/18 15:40

2024/10/22 07:11

神中神！给分好是最不值得一提的优点

2024 年秋学期

吴幼龙

课程质量

很好

作业用时

1-2h

考核难度

简单

给分情况

很好

课程

信院还有如此神课！
各种概念定理阐释的非常透彻，无论是从物理含义、几何抑或概率的角度
学生是真能接收到老师试图传递到一些直觉
上课很有特点的一位宝藏老师，几乎我认识的上过课的所有人评价都非常高
正课 12 周，最后一周（我们拖到了 13 周）的课讲拓展，会征集学生感兴趣的方向，好评
clean my soul

作业

课后习题

考试

作业写啥，考试考啥，题目类型考点高度一致，考试范围小于课堂讲述内容
这学期人多，教务处要 curve，老师提前预告考试可能会出的难点，虽然最后看下来难度其实和作业差不多，而且有很多送分题

project

最后 4 周不上课，用来做 pj，有困难可以找吴老师
paper reading，鼓励创新
遇到了非常非常好的 research 队友，选了个结合我俩兴趣的方向，一起泡了几周图书馆，中间读 paper 有疑问找了几次吴老师（救大命，顺便说一句为了少写几个矩阵通篇拿张量写简直 xxx），最后写了一个作为课程 pj 还算满意的论文（虽然这导致水掉了几个其他课的 pj😆），perfect

给分

虽然说是 curve 了，但我感觉我考试考了一坨最后还是被捞到 A 了，感谢！

课程

信院还有如此神课！
各种概念定理阐释的非常透彻，无论是从物理含义、几何抑或概率的角度
学生是真能接收到老师试图传递到一些直觉
上课很有特点的一位宝藏老师，几乎我认识的上过课的所有人评价都非常高

云

云销雨霁

2022 级本科生

2026/03/04 02:11

2024/10/17 09:38

非常非常好，EE课top 1

2024 年秋学期

吴幼龙

课程质量

很好

作业用时

1-2h

考核难度

适中

给分情况

很好

Applied Probability（？浓浓的概率论味儿，风格和考核难度都和 szy 概率论有点像

上课

信息论 yyds！完全不输其他 EE 讲课天花板（ly 电路基础，wx 电磁，etc），本人心中 EE 课的 top 1。除了其他评论提到的物理直觉，还能感受到四处洋溢的 research 热情，吴老师每节课都讲得很 high，讲着讲着夹杂几个梗。下午第一大节本应是吃完饭最困的时候，但听完课像充满电一样，神清气爽，觉得学习真快乐，有种知识通透的美感
吴老师：看上去大家精神都很好，那中间就不休息了，早 10min 下课
motivation 讲得特别清楚，比如 xx 公式为什么定义成这样，为什么需要 xxx，这些是课本上不会讲的
重要的地方会重复几遍，讲快了会再讲一遍
不考勤

Project

因材施教，大概复现论文就能拿 80 分，想做出 contribution 他也会给很多指导，卷摆皆可
（if 找他指导）点评很犀利，按照 resarch 的标准，像和导师 meeting 一样精准拷打，哪里卡壳问哪里。要有 novelty，不只是把文献读懂、有深刻的理解就够了，而是要加入我们的创新和改进。如果我们提的是一些 general 的建议，比如 “算法运算量大，需要降低复杂度”，那老师会问我们到底哪一步有改进空间，可以尝试怎么改。
队友非常好，我们当时做了很多，感觉得到了很好的 research 训练，即使结课后没继续做（要是大二下开课肯定就继续做了，悲）

考试

人多（30 人以上？我们当时 60 70 人）会加大难度拉区分度，我感觉比作业难一些

Applied Probability（？浓浓的概率论味儿，风格和考核难度都和 szy 概率论有点像

上课

信息论 yyds！完全不输其他 EE 讲课天花板（ly 电路基础，wx 电磁，etc），本人心中 EE 课的 top 1。除了其他评论提到的物理直觉，还能感受到四处洋溢的 research 热情，吴老师每节课都讲得很 high，讲着讲着夹杂几个梗。下午第一大节本应是吃完饭最困的时候，但听完课像充满电一样，神清气爽，觉得学习真快乐，有种知识通透的美感
吴老师：看上去大家精神都很好，那中间就不休息了，早 10min 下课
motivation 讲得特别清楚，比如 xx 公式为什么定义成这样，为什么需要 xxx，这些是课本上不会讲的

Yuhan

2019 级本科生

2022/10/16 16:21

基础信息论

2020 年春学期

吴幼龙

课程质量

很好

作业用时

1-2h

考核难度

简单

给分情况

很好

吴老师真的非常好，讲解清晰，而且对同学也很耐心、友善，是一个宝藏老师。给分也非常好，当时因为期末题目出难了，每人还给加了几分。

作业：书上的题

期末考试：作业是什么样子期末就怎么样，作业都会做考试就都会做。教科书里每一章都有 summary，可以塞到一张纸里作为 cheatsheets。

Project：是随机读一篇论文然后写 poster，写 report。鼓励有创新，不要求有创新。被学 RL 的大哥带飞了。

给分：会好的

一套不用记公式的记号：

熵的公式

H(X) = - Σ Pr[X] log Pr[X]

熵的原始性质：

(可拆分性) H (A,B,C) = H (A) + Pr [A not happen] H (B,C)
忘了

X 和 Y 的不确定性，假设和集合 A B 对应

H (X) ~ |A|, H (Y) ~ |B| 熵就是集合取大小操作
H (X,Y) (逗号) 代表并集运算，H (X,Y) ~ |A \cup B|
I (X;Y) 代表交集运算，I (X,Y) ~ |A \cap B|
H (X|Y) (rv X given Y) 代表集合减法运算 H (X|Y) ~ |A - B| 应用一下：
I (X;Y,Z) ~ |(A \cap (B \cup C))| = |(A\cap B) \cup (A \cap C)| = |(A\cap B)| + |(A \cap C) - B| = I (X;Y) + I (X;Z|Y) 再也不用死记硬背公式了！！！
I (X;Y) = |A \cup B| = |A| + |B| - |A\cup B| = H (X) + H (Y) - H (X,Y) 容斥原理！！！

是 CS 的跨专业选修课