语言模型Sampling方法 在text generation模型预测时，如果我们总是抽取最有可能的单词，标准语言模型训练目标会容易陷入“I don’t know. I don’t know. I don’t know.” 这种循环中。所以有了sample based generation方法。但是，它有一个潜在问题： 假如依照logit softmax生成的分布进行sample，假设有60%的词的概率极低以至于 2021-01-20 Notes NLP language model sampling
贝叶斯超参数搜索 贝叶斯方法跟踪过去的评估结果，建立形成一个概率模型，将超参数映射到目标函数上得分的概率。这个模型被称为目标函数的代理。评估目标函数后不断地更新概率模型。 2020-11-30 Notes ML machine learning
CRF--SimpleNote NER标注输出不仅仅是简单的分类，而是具有一定关联规律的标注输出。CRF正是输出这种结构化结果的一种算法。结合HMM（状态转移和状态释放）和最大熵模型（log linear model建模特征函数，寻找最优的条件概率），在MEMM的基础上，建立隐变量X的概率无向图解决了MEMM的局部归一化问题。 2020-11-18 Notes NLP nlp CRF
Large scale GAN training for high fidelity natural image synthesis 这是得空听百度paddle平台公开课的一个小作业，选了一篇很简单的论文读读。结论有一定参考价值，虽然很少用到GAN。 2020-08-04 Notes DL gan
