自然语言处理库―Snownlp
上次在跟大家分享用Python在本地进行文本情感分析的时候,给大家介绍了一个Snownlp库,当时只跟大家介绍了一下它的情感分析功能,这次来跟大家详细的介绍一下它其它的强大的功能。
01定义和安装
我们先来看看官方对它的介绍:
SnowNLP是一个python写的类库,可以方便的处理中文文本内自然容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成u语言nicode。
它的安装命令如下:
pip install snownlp 02功能介绍
它主要有九个功能,我们分别来给大家介绍一下这九个功能都是干什么的。
01分词功能
SnowNLP的分词功能,可以将文本内容对照着字典划分一个个词语字符串,如果不是词语的就单独成为一个字符串。代码处理如下:
a = SnowNLP('我非常的热爱学习!') print(a.words)
02词性标注
SnowNLP的词性标注功能,可以对各个词语进行标注,让我们能够知道这个词语属于名词还是动词,或者其它词性。代码如下:
a = SnowNLP('我非常的库―热爱学习!') for i in a.tags: print(i)
03情感分析
在之前的文章我们已经详细的介绍过了SnowNLP的情感分析功能,这里就不在过多介绍,用兴趣的小伙伴,可以看看这篇文章两种文本Sn情感分析方式,你更pick哪一种?。
04拼音标注
SnowNLP的拼音标准功能,可以给文本中所有文字进行拼音标注,这样以后再也不担心遇到生僻字不会读啦~~ 代码如下:
a = SnowNLP('我非常的热爱学习!') print(a.pinyin)
05提取关键字和摘要
SnoowwNLP可以将文本中出现的关键字和文本摘要给提取出来,从而让我们可以更快速的了解文本讲述的内容。代码如下:
text = '''计算机网络系统就是利用通信设备和线路将地理位置不同、功能独立的多个计算机系统互联起来,以功能完善的网络软件实现网络中资源共享和信息传递的系统。 通过nl计算机的互联,实现计算机之间的通信,从而实现计算机系统之间的信息、软件和设备资源的共享以及协同工作等功能, 其本质特征在于提供计算机之间的各类资源的高度共享,实现便捷地交流信息和交换思想。''' b=SnowNLP(text) key_word = b.k自然eywords(5) #()中的数字,代表提取关键字数量 abs_word = b.summary(1) #()中的数字,代表提取摘要数量 print(key_word) 语言;print(abs_word)
06计算词频和逆文档频率
关键字的先后顺序是由TF-IDF值的大小来决定的,其中TF就是词频、IDF就是逆文档频率、词频很好理解就是一个词在文本中出现的频率,逆文档频率是在词频的基础上,给每个词分配一个“重要性”的权重,越常见的词分配的权重越低,越稀少的词,处理权重越高,这个权重就成为逆文档频率,它的大小和词语的常见性成反比。代码如下:
c = SnowNLP([['计算机'], ['资源'], ['ϵͳ'], ['信息'], ['功能']]) print(c.tf) print库―(c.idf)
07繁体转简体
个人感觉这个技能较为冷门,现在基本上都是简体字了。(仅为个人意见,不喜勿喷。)代码如下:
d = SnowNLP() print(d.han)
08断句功能
SnowNLP可以按照","和“。”对文本进行断句处理。代码如下:
b=SnSnowNLP(text) print(b.sentences)
09文本相似度
e = SnowNLP([['计算机','资源'], &ownbsp; ['ϵͳ'], ['信息','功能']  nl; ]) print(e.sim(['ϵͳ'])) print(e.sim(['计算机'])) print(e.sim(['功能']))
- ·标签: 英特尔 AlexKatouzian PushkarRanade 物理AI
- ·DBaaS需要数据保护的三大原因
- ·云安全日报220301: 红帽Ruby脚本语言发现任意代码执行漏洞,需要尽快升级
- ·标签: 中导光电 国联民生 FPD检测设备 京东方
- ·标签: 腾讯元宝 AI拜年图片 低俗输出 模型异常
- ·扎克伯格45分钟深度采访:透露下个十年VR和脑机接口野心
- ·超越 RAG,DRAG 技术显著提升大模型的准确性
- ·标签: 小米汽车 SU7 雷军 小米摩德纳架构
- ·宝尊与阿里云达成战略合作,加速全面上云与数字化产品集成
- ·315晚会揭示行业乱象:多家企业涉嫌利用大数据软件非法获客
- ·标签: 海致科技 任旭阳 大模型除幻第一股 图模融合
- ·OpenAI放大招!GPT-Realtime语音模型上线,支持图像输入,AI交互要逆天了!
- ·亚马逊云计算业务Q3营收230亿美元 营收营业利润双双创下新高
- ·标签: 奇瑞汽车 风云X3L 天门山 致歉声明
- ·Reddit 季度收入创历史新高,得益于人工智能
- ·Bubble 推出其首个 AI Agent,革新可视化开发体验
- ·欧盟推出11亿美元计划推动人工智能自主权
- ·亚马逊谷歌炮轰微软:云计算搞垄断,阻碍客户流动
- ·CloudTech公布2021年值得关注的云计算趋势,包括无服务器计算、混合云
- ·标签: lululemon 朱一龙 瑜见长城 太鼓争议
- ·Alphabet Q3营收651亿美元 其中谷歌云部门营收近50亿美元
- ·谷歌放大招!Gemini CLI一键接入MCP,开发者告别配置地狱
- ·标签: 思摩尔国际 电子雾化 财报 ToB业务
- ·Facebook遭反垄断诉讼 股价周三收跌1.93%
- ·五分钟技术趣谈 | 数据分析中的客户端埋点
- ·云安全日报210630:IBM应用程序生命周期管理软件发现拒绝服务漏洞,需要尽快升级
- ·标签: 公牛集团 603195 2025年报
- ·标签: 寒武纪 AI芯片 人工智能 算力
- ·别伤害我歌曲原唱
- ·分析师预计Azure云业务明年有望超过Office 成微软第一大营收来源
- ·标签: Anthropic ClaudeSonnet5 智能体AI OSWorld-Verified
- ·云安全日报210425:IBM数据保护平台发现执行任意代码漏洞,需要尽快升级
- ·标签: 亿航智能 EH216 VT35 eVTOL
- ·Prime Intellect 推出开放平台“环境中心”,对抗AI强化学习领域的封闭趋势
- ·B 站开源文本转语音模型IndexTTS-2.0,情感与时长可控
- ·docker scan 本地扫描镜像漏洞
