关于自然语言处理之One Hot模型
最近工作实在有点忙,前阵子关于梯度和导数的事情把人折腾的够呛,数学学不好,搞机器学习和神经网络真是头疼;想转到应用层面轻松一下,想到了自然语言处理,one hot模型是基础也是入门,看起来很简单的一个列表转矩阵、词典的功能,想着手工实现一下,结果看了一下CountVectorizer,发现不是那么回事儿,还是放弃了。
顾名思义,单热表示从一个零向量开始,如果单词出现在句子或文档中,则将向量中的相应条目设置为 1。
对句子进行标记,忽略标点符号,并将所有的单词都用小写字母表示,就会得到一个大小为 8 的词汇表: {time, fruit, flies, like, a, an, arrow, banana} 。所以,我们可以用一个八维的单热向量来表示每个单词。在本书中,我们使用 1[w] 表示标记/单词 w 的单热表示。
对于短语、句子或文档,压缩的单热表示仅仅是其组成词的逻辑或的单热表示。短语 like a banana 的单热表示将是一个 3×8 矩阵,其中的列是 8 维的单热向量。通常还会看到“折叠”或二进制编码,其中文本/短语由词汇表长度的向量表示,用 0 和 1 表示单词的缺失或存在。like a banana 的二进制编码是: [0,0,关于0,1,1,0,0,1] 。
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer import seaborn as sns import matplotlib.pyplot as plt import jieba import jieba.analyse # 单热表示从一个零向量开始,如果单词出现在句子或文档中,则将向量中的相应条目设置为 1。 # 英文的处理和展示 corpus = ['Time flies flies like an arrow.', 'Fruit flies like a banana.'] one_hot_vectorize自然r = CountVectorizer(binary=True) one_hot = one_hot_vectorizer.fit_transform(corpus).toarray() sns.heatmap(one_hot, annot=True, cbar=False, yticklabels=['Sentence 1', 'Sentence 2']) plt.show()
# 中文的处理和展示 # 获取停用词列表 def get_stopwords_list(stopwordfile): stopwords = [line.strip() for line in open(stopwordfile, encoding='UTF-8').readlines()] &nbs语言p; return stopwords # 移除停用词 def movestopwords(sentence): stopwords = get_stopwords_list('stopwords.txt') # 这里加载停用词的路径 santi_words = [x for x in sentence if len(x) > 1 and x not in stopwords] return santi_words # 语料 corpus = ["小明硕士毕业于中国科处理学院计算所,后在日本京都大学深造。", "小王本科在清华大学,后在南京计算所工作和深造,后在日本早稻田大学深造", "小李本科在清华大学,硕士毕业于中国科学院计算所,博士在南京大学"] newcorpus = [] for str in corpus: orgwordlist = jieba.lcut(str) # jieba分词 wordlist = movestopwords(orgwordlist) # 移除停用词 之O newword = " ".join(wordlist) # 按照语料库要求进行空格分隔 newcorpus.append(newword) # 按照语料库要求转换成列表 # newcorpus # ['小明 硕士 毕业 中国科学院 计算所 日本京都大学 深造', # '小王 本科 清华大学 南京 计算所 工作 深造 日本早稻田大学 深造', # '小李 本科 清华大学 硕士 毕业 中国科学院 计算所 博士 南京大学'] one_hot_vectorizer = CountVectorizer(binary=True)ne # 创建词袋数据结构 one_hot = one_hot_vectorizer.fit_transform(newcorpus).toarray() # 转换语料,并矩阵化 # 下面为热词的输出结果 # one_hot_vectorizer.vocabulary_ # {'小明': 4, '˶ʿ': 14, '毕业': 11, '中国科学院': 0, '计算所': 15, '日本京都大学': 8, '深造': 12, '小王': 6, '本科': 10, '清华大学': 13, '南京': 1, '工作': 7, '日本早稻田大学': 9, '小李': 5, '博士': H 3, '南京大学': 2} # one_hot_vectorizer.get_feature_names() # ['中国科学院', '南京', '南京大学', '博士', '小明', '小李', '小王', '工作', '日本京都大学', '日本早稻田大学', '本科', '毕业', '深造', '清华大学', '˶ʿ', '计算所'] # one_hot # [[1 0 0 0 1 0 0 0 1 0 0 1 1 0 1 1] # [0 1 0 0 0 0 1 1 0 1&nbotsp;1 0 1 1 0 1] # [1 0 1 1 0 1 0 0 0 0 1 1 0 1 1 1]] sns.set_style({'font.sans-serif': ['SimHei', 'Arial']}) sns.heatmap(one_hot, annot=True, cbar=False, xticklabels=one_hot_vectorizer.get_feature_names(), yticklabels=['语句1', '语句2', '语句3']) plt.show()
IDF 表模型示惩罚常见的符号,并奖励向量表示中的罕见符号。符号 w 的 IDF(w) 对语料库的定义为其中 n[w] 是包含单词 w 的文档数量, N 是文档总数。TF-IDF 分数就是 TF(w) * IDF(w) 的乘积。首先,请注意在所有文档(例如, n[w] = N ), IDF(w) 为 0, TF-IDF 得分为 0,完全惩罚了这一项。其次,如果一个术语很少出现(可能只出现在一个文档中),那么 IDF 就是 log n 的最大值
tfidf_vectorizer = TfidfVectorizer() # 创建词袋数据结构 tfidf = tfidf_vectorizer.fit_transform(newcorpus).toarray() # 转换语料,并矩阵化 # 下面为热词的输出结果 # tfidf_vectorizer.vocabulary_ # '小明': 4, '˶ʿ': 14, '毕业': 11, '中国科学院': 关于;0, '计算所': 15, '日本京都大学': 8, '深造': 12, '小王': 6, '本科': 10, '清华大学': 13, '南京': 1, '工作': 7, '日本早稻田大学': 9, '小李': 5, '博士': 3, '南京大学': 2} # tfidf_vectorizer.get_feature_names() # ['中国科学院', '南京', '南京大学', '博士', '小明', '小李', '小王', '工作', '日本京都大学', '日本早稻田大学', '本科', '毕业', '深造', '清华大学', '˶ʿ', '计算所'] #&自然nbsp;tfidf # [[0.35221512 0. 0. 0. 0.46312056 0. 0. 0. 0.46312056 0. 0. 0.35221512 0.35221512&nb语言sp;0. 0.35221512 0.27352646] # [0. 0.35761701 0. 0. 0. 0. 0.35761701 0.35761701 0. 0.35761701 0.27197695 0. 0.54395391 处理0.27197695 0. 0.21121437] # [0.30443385 0. 0.40029393 0.40029393 0. 0.40029393 0. 0. 0. 0. &nbs之Op;0.30443385 0.30443385 0. 0.30443385 0.30443385 0.23642005]] sns.heatmap(tfidf, annot=True, cbar=False, xticklabels=tfidf_vectorizer.get_feature_names(), yticklabels=['语句1', '语句2', '语句3'], vmin=0, vmax=1, cm
-
Twitter Spaces社交语音聊天功能抢先Clubhouse登陆安卓平台标签: 携程集团 2025年财报 国际OTA 入境旅游Pinterest 图板功能获AI驱动升级,旨在成为“AI购物助手”英国担心Facebook收购Giphy交易 要求两家5天内提交整改建议AI可创作与人类画作“难以分别”的艺术品云安全日报210222:思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级标签: 擎天租 SHAREBOT 正大机器人 美格智能标签: 中手游 仙剑世界 三千幻世 聊天群的日常生活GNN for Science: 腾讯AI Lab、清华共同发文综述等变图神经网络波士顿动力「人狗共舞」:PK韩国男团,机器舞神组团来袭
- ·数据与分析领域的10大技术趋势
- ·Periscope创始人王者归来!Macroscope获3000万美元A轮,AI代码分析引擎瞄准开发者痛点
- ·Docker 初体验: Docker 自己定制镜像
- ·标签: Quobly Alloy STMicroelectronics 硅基量子计算机
- ·苹果重磅官宣:Xcode原生集成Claude AI,开发者迎来最强编程助手
- ·谷歌或将推出无屏健身手环 Fitbit Air,主打 AI 数字化健康教练
- ·英伟达发布首款基于ARM架构的数据中心CPU 可能对英特尔构成威胁
- ·标签: GoogleCloud Mandiant GTIG 网络安全
- ·Facebook在多家报纸刊登整版广告:抨击苹果调整数据政策
- ·标签: 豪威 OVB0D 索尼LYTIA
- ·雷军谈小米手机销量超过苹果:是战略的重大胜利
- ·分析师:微软Azure营收将在2022年超过Office
- ·标签: 夜经济 QuestMobile 五粮液 抖音
- ·标签: 北京亦庄机器人半马 WWDC26 iOS27 Siri PuraXMax
- ·标签: 智谱 GLM MaaS 港股
- ·标签: 李开复 AI Agent 零一万物 独角兽公司
