① 以前我总是想,AI 课自己找 project idea 的意义何在,原来在实际项目里也会遇到类似的任务。要知道哪些事情需要做、可以做;要了解之前的人做过什么、没做过什么。1.29,我问 479 大神对 224n 的 Project 有何建议,她向我推荐了 FriendsQA,方向是基于多人对话的问答(MPDQA):
② “之前的对话系统一般只考虑人机两方的对话,接下来可能会热门的方向是多人对话。这个方向目前基本还处于数据集已经逐步完善,但还没什么人填坑的阶段。数据集推荐 emoryNLP 基于老友记台词构建的一套数据集。”
③ 我搜了一下,竟然只有 2 篇 2020 年出版的 paper 是专门解决这个问题的,它们的引用分别只有 0 和 3,MPDQA 也只有这一个 dataset。Manning 之前搞过 CoQA,但和 FriendsQA 有本质区别。
④ 对于 Custom Project,除了自己选题以外,还有个列表包含了 34 个课题 proposal,分别由近 20 位 Stanford 在读 PhD 提出,做列表上的课题就由对应的 PhD 指导。这些 projects 最诱惑人的地方在于,有些导师是明确希望把 project 转化为长期合作、顶会 paper 的。
⑤ 不过我感觉这 34 个课题大都比较无聊(理论分析,如看 Transformer 每一层提取什么特征;放射学 BERT;改进 NLP 组的软件工具),或者严重超出我的技能范畴(分布式训练、GAN)。
⑥ 第 20 个课题叫“ Can Transformers Do Math ”,我觉得有些意思,就还联系了那位 PhD 问他还接不接受指导新的组。但后来觉得这个题目不够 NLP,而且 Transformer 做数学题感觉怪怪的,再加上 FriendsQA 似乎探索空间更大(现有模型表现并不尽如人意)、更有应用前景,和 966 讨论后还是决定做 FriendsQA。
⑦ 当然,这是个有风险的决定,但这就是最纯粹的科研嘛。见证、体验了太多搞学术受到各种条件的限制后,现在我在 224n 的平台上,能自由地探索世界上还没有人能很好解决的难题,就像 Google Brain、MSR、FAIR 的那些大牛一样享受真正的学术自由,这是难得的浪漫和奢侈。
⑧ 相比 custom,default 选项有很多限制,预训练模型基本上都是禁止使用的,确实 BERT 能带来的精确度提升太大了,大家都用 BERT 刷分就有点没意思了。当然这也让我觉得做 default 一点也不“刺激”。
⑨ 2.7 深夜,我和 966 第一次(云)见面讨论 project,向她推荐了这个课题。2.8 下午,我们在 Manning 的 OH 上问他这个方向如何,不过他并没有探索过这个领域,就没有给啥实质性的建议。
⑩ 966 来自苏州,与我同龄,高二高三在荷兰读的 IB,20 春季回国上网课,秋季前从柬埔寨回的美国。她说大学专业换过很多次,中途搞了 1 年半化学科研;有只猫叫 Jane;这学期上 18 + 5 个学分:224n、231a、234、一门数学、粤语、8 + 12 小时科研,还说其他同学经常上 21+ 个学分(学费不变),导致有攀比心理。
⑪ 2.8 晚上,783 拉我和 770、782、776、761 进了 clubhouse 上一个 Stanford AI 讨论组,听众有小几十,我还发了言,好有趣;782 介绍了他现在在 SVL 是做 3D 重建的。之后 783 打算明天再开一个主题,同学们都说他想涨粉 hhh。
⑫ 2.9 中午和晚上,783 又分别拉了群,中午是大家轮流做 DJ 放歌,晚上是闲聊。783 吐槽他 140 作业 debug 了 4 小时,劝退 system track 了;761 说 ICLR 今年 GNN 表现不太行,怀疑 224w 有没有用;782 女票不让他回湾区 orz。
⑬ CS 142 的第 3 次作业让我体会到在 HTML 里 access class variable 有多蛋疼。作业 4 用了 React.js,里面 state 和 setState 机制是一个很好的解决方案。
⑭ 2.11 国内过春节,Stanford 各大食堂也装上了灯笼,提供了港式点心、寿司等平时没有的菜。晚上被 749、761、762、763、772、774、776、799 的“中年少女× 8 ” Cardinal Red 聚餐刷频,我则和 770、780 去 786 家唱 K;第一次见到了 MSCS 同学 745(Easton,大连人,已入籍加拿大,实习去 Apple)。
⑮ 2.12 下午和 MSCS 一位尼日利亚女生 Ofure 见面聊天,她疯狂吐槽自己国家的政府,说 Nigeria Dream 就是移民加拿大。晚上春节聚餐,还看了 Stanford 的春晚,之后打阿瓦隆。
⑯ 后来在 clubhouse 上和 783 聊,他现在在校内做一个 part-time 的工作,吐槽代码质量太差(用纯 JavaScript 写的前端,他想用 React 重写);他下学期是去 Percy 那儿打工。