June-29

上午: neural tokenization
下午: XLNet

XLNet的实现比较复杂
double stream attention什么的看的有点懵逼
决定大概理解后跳过

晚上首先看Prophetnet
然后我想了想
决定在ACL2019的论文里淘一些能看的
从中吸收一些新的理念之类的

仔细想想根本没必要深究实现细节
比如XLNet其实只要知道PLM(Pumutation Language Model)就好了
唉时间又浪费了
今晚和明天好好把握吧

Prophenet大致搞懂了
但是现在已经11点了所以我可能探索一下别的东西
比如GAN啥的
上油管去了