原创新闻 Python也有中文分词程序了- pymmseg-cpp

 Python也有中文分词程序了- pymmseg-cpp

2008-08-14 by 见习编辑 robbin 
评论(2) 有558人浏览

声明：JavaEye新闻文章的版权属于JavaEye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

JavaEye曾经报道过ruby的中文分词程序：rmmseg-cpp这个项目。rmmseg-cpp实际上是用C++来编写的分词，只在最外层和ruby进行了粘合。 

现在作者pluskid（张驰原）在rmmseg-cpp的基础上提供了Python的代码封装，可以用在Python项目当中进行中文分词，用法示例如下： 

from pymmseg import mmseg
 
mmseg.dict_load_defaults()
text = # ...
algor = mmseg.Algorithm(text)
for tok in algor:
    print '%s [%d..%d]' % (tok.text, tok.start, tok.end)

该项目源代码在github上面：http://github.com/pluskid/pymmseg-cpp/ 

作者对于该项目的介绍请看：http://pluskid.lifegoo.com/?p=431

评论 共 2 条 发表评论

luiqt 2008-10-06 11:40 引用

用下看
分词很重要 对一个2.0网站来说

hellas 2008-08-15 12:38 引用

太好了，这个正需要。