① 最近回看大一大二的日记,感觉好多东西原来我很早以前就知道了呀。很多日记的内容都是很超前的,写的时候我其实没有完全理解,得花好几个月的时间来消化。
② 最近在看吴军的《智能时代》,书里一个核心观点是人工智能的核心手段不是用算法去建立因果关系,而是用统计去寻找相关关系,这种解决问题的思路让我豁然开朗。14 号我看了篇文章叫 The Bitter Lesson (by Rich Sutton),里面提到类似的观点,即过去的 AI 科研凡是想使用 domain knowledge,用制定规则的方法解决问题的,最后都被大数据的方法打败。
③ Two Minute Paper 指出,(1)要思考现成的方法如果在有 100 倍计算资源的情况下,是否仍然适用(我觉得这边写 100 倍数据更好些);(2)计算资源的重要性。
④ 仔细想想 Welch Labs 两个 CV 解说视频系列,无论是认手指还是自动驾驶,他说的手段都是比较基于 reasoning 的,这些都是老方法了。之前读《A survey on deep learning in medical image analysis》的时候也提到,deep learning 近几年来已经大规模取代了很多传统(但看上去更合理)的图像处理方法比如 PCA。虽然很玄学,但是管用啊!
⑤ 15 号早上我补了一些发论文的基础知识,研究了 NIPS 的官网。感觉大多数论文的内容都是对于一个原有的方法进行改进,只有少部分是使用全新的方法,或者批判 ML 的根本理论(比如 variance-bias tradeoff)。16 号早上终于提交了腾讯的实习申请。
⑥ 看《智能时代》的过程中,我一直在思考目前的互联网时代里,每个行业都需要哪些方面的人才。现在技术产业是需要前端多,还是后端多呢?CS 研究是需要 AI 多,还是非 AI 多呢?AI 现在的问题是理论基础还是工程实践?这些都会是我长期探索的问题。
⑦ 16 号晚上听了 979 的 PM 求职讲座(为了听讲座我还不得不把讲座宣传图发到一个 CMU 的水群里,然后被群主踢出去了 hhhh)。话说之前 329 推荐我 PM 这个方向时我还没放心上,但现在在选择专业小方向(特长)的关键时期,我越来越好奇什么样的工程才能盈利。
⑧ 979 讲得很不错,有不少干货,比如我知道了 PM 是个以人际交往为主的职位(工作内容大多是开会),比如各个大厂 PM 能力侧重点的不同。不过感觉 PM 还是个比较虚的职位,做的东西其实相对简单。之前看 Tech Lead 说 FB 很多产品已经很完善了,就导致很多组都在尝试做实际上无谓的改进,引发各种问题。
⑨ 按我自己的体验,比如 YouTube 就是个用户体验很棒的软件,播放流畅度极高,推荐系统很赞,回复排序系统很智能,广告好看,自动字幕精准,只有英译中系统很辣鸡。Spotify 就是给用户体验很差的产品,又没歌词,广告还那么蛋疼。可以改进的地方还是很多的。
⑩ 16 晚上 UChi 群里再次进行了激烈的讨论,对于 AI 的前景和行业风气,大家各抒己见。有位学长认为 AI 是骗局、量子计算和区块链才是未来的风口,还有人认为 AI 未来会越来越火。至于风气,有认为 AI 研究很混乱,只看结果不看过程、只追求模型的高大上、科研 idea 恶性竞争。
⑪ 我倒是觉得 AI 不管怎样都是个人才聚集地,在这个圈子本身就可以收到很多锻炼和磨砺,后来和 560 聊的时候也提到这点。如 Philip Guo 所说,the product of academia is people。
⑫ 560 很慷慨地和我分享了他在旷视的见闻:“很多技术的突破对业界没有本质影响;学术圈的用的都是公用数据集,在上面拟合的好的,到业务就抓瞎。感觉企业需要的是成熟的技术,AI 就是一直迟迟交付不了成熟的技术。”
⑬ 最后他帮我内推旷视实习没成,倒是给我推荐了其他招聘信息,啊真的太 nice 了!他说旷视最近已经快不行了,CV 四小龙都不好,技术遇到瓶颈,又遇上经济不景气。哎,560、561、562 都是特别有思想的人,我真恨不得抓一个人去 CMU 做我室友呀!
⑭ 562 在群里分享了“沐神”的这么一段话:“在工业界呆过再去读 phd 可以少走很多弯路,也会发现很多学术界的 idea 就是个笑话。但同样的问题是,习惯了很 solid 的工作,反而有时候思路打不开,不敢尝试思路新奇的点子。我 phd 期间比较后悔的是好几个地方隐约有点想法,但太专注一些跟工业界经历很像的想法,结果后面看到别人在这些地方做出了世界级的工作。”
⑮ 天哪,看来我 MSML 文书里的思路竟然是对的,如果要去搞 ML 科研的话,应该先去工业界体验一下真实问题的 scale。(虽然正常来说是一直就在 lab 里面做)
⑯ 现在真的感觉,了解一个行业的情况,相比学习这个行业的技术知识,是彻底不同的两种技能,只能通过和别人讨论获取信息。很多对某个行业有深刻见解的人其实并没有做过太多这一行,而是和很多业内大神交流过。Vandy 真的没有这个讨论的环境,我身边的同学似乎没有人有 UChi 录取群里同学们那样的见解,MASI 可能是 AI 气息最重的地方了吧。
⑰ 我大学前 2 年的社交紧缩战略已经完全不管用了,当时的我太书呆子气了,对实际应用的理解非常肤浅。以前每次同学问我作业或者概念我都能滔滔不绝讲好久,但现在要讨论现实里的问题,我就抓瞎了。这也是我们老师没教好吧,用吴军老师的话说,只知“术”、不知“道”。
⑱ 我还是在想,如果 AI 业内是大神内卷,那其他行业何尝不是呢。另外,不同层次的毕业生,做的职业是不一样的,像 AI、金融这种就是卡“精英”的行业(比如国内投行要求的清北复交本科),往下走毕业生的去向会多样很多?