June-28
晚上睡的并不是很好
听到雨声
感到窗外渐渐明亮起来
听到脚步声, 舍友慢慢的都醒来了
闭着眼等倦意苏醒，等闹钟响起
一直到中午都是大雨
是我喜欢的天气
大部分的时间把ELMO -> Bert模型过了一遍
需要补充的知识点又多了一个subword模型
用神经网络来训练单词分割 完全替代mecab我觉得是一个非常了不起的事情
同时在以后的使用中可以使输入规范化
明天会优先搞懂这个，然后开始看XLNET
其实XLNET前面会不会还有前置技能呢现在的我是没办法知道的
如果有的话就来吧我也只能一一解决了
明天是29号
理论上我必须在明后两天把近段时间的NLP知识全部弄懂
感觉应该不会很远了因为Prophetnet是最新的state of art
而它的前置就是xlnet
不会很远了
总结一下吧，明后两天要做的事情:
- sentence piece & subword
- XLNET
- Prophetnet
- importance(paper)
加油吧