目前，主流的分词办法有两种，一种是基于统计模型的文字处理，另外一种是基于字符串匹配的逆向最大匹配法。
基于统计模型的文字处理
从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息，计算两个汉字X、Y的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。（上文引自SEO专家论坛）
基于统计模型的文字处理，因为技术性比较高，而且只是使用在搜索引擎分词算法的过程中，如果学会，对于SEO的帮助会更大，各位可以加入我的SEO培训班进行深入讨论。这里更多的说一下基于字符串匹配的逆向最大匹配法。
一般来说，我们在SEO中使用最多的分词办法就是基于字符串匹配的逆向最大匹配法。这个办法其实很简单。我们以一个简单的例子来说明。
在搜索引擎技术中，中文分词对于影响搜索引擎结果排序有着至关重要的作用。我们在实际的搜索引擎优化中，为了避免很多主关键词的大量竞争，也会使用到中文分词技术来做SEO优化。举个简单的例子，假如我们需要优化一个内容是“轴承”的网页，那么想要这个关键词在搜索引擎中排名更好，那就是很难的一件事了。因为“轴承”这个关键词热度太高，所以想要通过SEO手段去将其优化到搜索结果的首页是一件非常难的事。在这个时候我们经常会使用长尾关键词去优化这样的高热度关键词，也就是说，我们经常会优化一些例如“北京轴承销售商”、“北京进口轴承”等这样的关键词。而想要把这样的关键词做到搜索结果的前列，对于中文分词技术的把握和对于关键词的布局，有很大的重要性。
免责声明：本站所有资讯内容搜集整理于互联网或者网友提供，并不代表本网赞同其观点，仅供学习与交流使用，如果不小心侵犯到你的权益，如果你对文章内容、图片和版权等问题存在异议，请及时联系我们删除该信息。
鲁公网安备 37021402001407号