今天晚上跟师兄讨论,这那几篇论文,对于《领域多词表
达翻译对的自动抽取及其应用》那篇,我的感觉是跟实体识别不太吻合。他的大概意思就是先讲所有有可能的多词表达都找出来,然后在用C-value、上下文
熵、北京语料库等手段进行过滤,不过我看了前面生成预选集合的地方就觉得不太对劲。因为多词表达跟实体差别还是挺大的,实体对于内部结构有依赖,他的方法
就是连续统计一句话每词之间的相关联度,然后将最大的一个一个接着规约合并,合并的中间产物和最终产物都算是有可能的多词表达,整个规约过程可以被表达成
一颗树。但是这样并不好,因为对于多词表达来说这样做也许能够奏效,因为多词表达对于结构依赖的不是那么多,然而对于实体来说,情况太多了,想做的好点,
大部分都得通过结构来判别是不是某种实体的,如果像文章那样做,每次都只考虑两个词之间的关联程度来规约的话,很多真正的实体可能就不会在预选机里面,以
后再怎么筛都不可能筛出来了,也就是说第一步就不对了。比如预料中只有“鱼香肉丝”,没有“鱼香茄条”这个词,所以“鱼香“跟“肉丝”的关联度可能很大,
但“鱼"跟"茄条”之间的关联程度最后算出来的可能就是零,或者经过平滑之后得到一个很小的值,但是“鱼香茄条”、“鱼香黄瓜”都是正常的实体,他们有着
相同的结构。所以最后大师兄说这个地方可能还需要考虑考虑别的思路。
不过目前大概的思路就是两张牌:
- 实体结构
- 话题模型
目前大师兄的意思是我们先从实体结构上下手,看看能不能抽出来,效果怎么样。让我先看着论文《基于维百科和条件随机场的领域主题词抽取方法》,师兄说这个文章的方法比较简单,大概写一个简单的代码,看能跑出来什么。先对着几个领域试一下:
- 化学品名
- 药品名
- 动植物名
- 菜名
- 疾病名
最后就是定了一下碰头的固定时间,周一的晚上,还有周三和周五的下午一起商量。
夜里看多次表达那篇论文的高潮部分,感觉那个上下文熵还有点意思。不过还没理解好,主要是不知道那个熵为什么这样设计,其中的C/N代表什么,为什么把N放在分母上,为什么认为N越小越好?不过这个人做的手法现在大概已经很清晰了,其实他识别多次表达的时候就用了四张牌: