字符串匹配从KMP到AC自动机 记录从多输入单pattern文本匹配算法KMP,到多输入多pattern文本匹配算法AC自动机。 2021-02-27 Notes Algorithm algorithm kmp trie Aho-Corasick
浅涉知识图谱 简要记录了知识图谱基本概念,NER模型方法(HMM、MEMM、CRF),关系分类方法,知识表示(Trans系列)等。 2021-02-22 Notes NLP relation extraction NER TransE Knowledge Graph
BERT-flow and more 记录对BERT-flow模型论文的一点思考,以及记录苏剑林提出的更简单的矩阵空间变换方法解决句子向量表达能力不理想的问题。 2021-02-13 Notes NLP sentence embedding BERT nlp
语言模型Sampling方法 在text generation模型预测时,如果我们总是抽取最有可能的单词,标准语言模型训练目标会容易陷入“I don’t know. I don’t know. I don’t know.” 这种循环中。所以有了sample based generation方法。但是,它有一个潜在问题: 假如依照logit softmax生成的分布进行sample,假设有60%的词的概率极低以至于 2021-01-20 Notes NLP language model sampling