
LDA 主题模型:一大批文档都在谈些什么
几百份规划、几万条游客点评读不过来时,LDA 把常一起出现的词归成主题,再算出每篇文档里各主题占多少。这篇讲它的想法和来历,社会科学怎么用、容易错在哪,以及该读哪几篇论文。

几百份规划、几万条游客点评读不过来时,LDA 把常一起出现的词归成主题,再算出每篇文档里各主题占多少。这篇讲它的想法和来历,社会科学怎么用、容易错在哪,以及该读哪几篇论文。

跑主题模型之前要先填一个主题数。这篇讲困惑度和主题一致性各在量什么,为什么困惑度低的模型主题未必好懂,这些指标从哪来,规划、旅游和政策研究怎样定这个数,以及该读哪几篇论文。

几万条游客短评,每条一两句话,用词各不相同,怎样看出大家在谈哪几件事?这篇讲 BERTopic 怎样先按意思分组、再找代表词,它和 LDA 有什么不同,从哪来,研究里怎么用,该读哪几篇论文。

有人写【绿地】,有人写【草坪】,按字面去搜会漏掉一批。这篇讲 LSA 怎样把词和文档的大表压成几个潜在维度,它从哪来,在心理学和教育测评里做过什么,后来被什么接替。

一大批留言、评论或访谈,还没有分类表,能不能先让程序按内容相近分成几组?这篇讲文本怎样变成能比远近的数,层次聚类和 k-means 怎样分组,分出的组怎样起名和验收,以及这套办法的来历、用处和值得读的论文。