BERT-flow and more 记录对BERT-flow模型论文的一点思考，以及记录苏剑林提出的更简单的矩阵空间变换方法解决句子向量表达能力不理想的问题。 2021-02-13 Notes NLP sentence embedding BERT nlp
语言模型Sampling方法 在text generation模型预测时，如果我们总是抽取最有可能的单词，标准语言模型训练目标会容易陷入“I don’t know. I don’t know. I don’t know.” 这种循环中。所以有了sample based generation方法。但是，它有一个潜在问题： 假如依照logit softmax生成的分布进行sample，假设有60%的词的概率极低以至于 2021-01-20 Notes NLP language model sampling
贝叶斯超参数搜索 贝叶斯方法跟踪过去的评估结果，建立形成一个概率模型，将超参数映射到目标函数上得分的概率。这个模型被称为目标函数的代理。评估目标函数后不断地更新概率模型。 2020-11-30 Notes ML machine learning
CRF--SimpleNote NER标注输出不仅仅是简单的分类，而是具有一定关联规律的标注输出。CRF正是输出这种结构化结果的一种算法。结合HMM（状态转移和状态释放）和最大熵模型（log linear model建模特征函数，寻找最优的条件概率），在MEMM的基础上，建立隐变量X的概率无向图解决了MEMM的局部归一化问题。 2020-11-18 Notes NLP nlp CRF
