June 30
遇到了大危机, 现在是下午6点半
本来打算今天看5篇论文但是现在只看完了两篇
首先是No.19 = Extractive Summarization as Text Matching
这篇还蛮有意思的:
将整篇文章看成一个vector 然后对每一个sentences的排列算vector
用两者之间的cos distance来判断拟合度
本能地觉得这个前途有望
后来开始看关于importance这篇论文
但是并没有任何意义
因为信息理论这一块我不熟然后并不能理解怎么将这个理论模型融入到优化中去
好吧我会尝试再努力一下…
先来思考一下 我已经看了bert, xlnet, prophetnet
一个是完形填空，一个乱序排列，一个预测未来
可不可以说已经掌握近期比较火的模型了呢
继续看模型相关的东西还有意义吗？
如果不看模型相关的，还有什么方向值得发掘呢？
首先信息理论方面肯定是值得一看的, 这个会不会只能用到loss上？
然后Score相关的问题也还是令我有些在意
问题主要在怎么给一个预测打分
接下来继续看什么呢？
洗澡的时候好好思考一下吧
晚上看了email subject line generation
技术都是一些老古董但是子领域的引入以及用neural estimator生成的分数用来reinforcement leaning
至少后者还是值得参考的
强化学习的用途那么广泛吗有点惊讶
截止到目前看了6篇论文
明天再补5篇
然后晚上开始写计划书