电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

利用Python過濾相似文本的簡單方法示例

瀏覽:4日期:2022-06-28 13:58:52
問題

假設你在存檔中有成千上萬的文檔,其中許多是彼此重復的,即使文檔的內容相同,標題不同。 現在想象一下,現在老板要求你通過刪除不必要的重復文檔來釋放一些空間。

問題是:如何過濾標題足夠相似的文本,以使內容可能相同? 接下來,如何實現此目標,以便在完成操作時不會刪除過多的文檔,而保留一組唯一的文檔? 讓我們用一些代碼使它更清楚:

titles = [ 'End of Year Review 2020', '2020 End of Year', 'January Sales Projections', 'Accounts 2017-2018', 'Jan Sales Predictions']# Desired outputfiltered_titles = [ 'End of Year Review 2020', 'January Sales Projections', 'Accounts 2017-2018',]

根據以上的問題,本文適合那些希望快速而實用地概述如何解決這樣的問題并廣泛了解他們同時在做什么的人!

接下來,我將介紹我為解決這個問題所采取的不同步驟。下面是控制流的概要:

預處理所有標題文本

生成所有標題成對

測試所有對的相似性

如果一對文本未能通過相似性測試,則刪除其中一個文本并創建一個新的文本列表

繼續測試這個新的相似的文本列表,直到沒有類似的文本留下

用Python表示,這可以很好地映射到遞歸函數上!

代碼

下面是Python中實現此功能的兩個函數。

import spacyfrom itertools import combinations# Set globalsnlp = spacy.load('en_core_web_md')def pre_process(titles): ''' Pre-processes titles by removing stopwords and lemmatizing text. :param titles: list of strings, contains target titles,. :return: preprocessed_title_docs, list containing pre-processed titles. ''' # Preprocess all the titles title_docs = [nlp(x) for x in titles] preprocessed_title_docs = [] lemmatized_tokens = [] for title_doc in title_docs: for token in title_doc: if not token.is_stop: lemmatized_tokens.append(token.lemma_) preprocessed_title_docs.append(' '.join(lemmatized_tokens)) del lemmatized_tokens[ : ] # empty the lemmatized tokens list as the code moves onto a new title return preprocessed_title_docsdef similarity_filter(titles): ''' Recursively check if titles pass a similarity filter. :param titles: list of strings, contains titles. If the function finds titles that fail the similarity test, the above param will be the function output. :return: this method upon itself unless there are no similar titles; in that case the feed that was passed in is returned. ''' # Preprocess titles preprocessed_title_docs = pre_process(titles) # Remove similar titles all_summary_pairs = list(combinations(preprocessed_title_docs, 2)) similar_titles = [] for pair in all_summary_pairs: title1 = nlp(pair[0]) title2 = nlp(pair[1]) similarity = title1.similarity(title2) if similarity > 0.8: similar_titles.append(pair) titles_to_remove = [] for a_title in similar_titles: # Get the index of the first title in the pair index_for_removal = preprocessed_title_docs.index(a_title[0]) titles_to_remove.append(index_for_removal) # Get indices of similar titles and remove them similar_title_counts = set(titles_to_remove) similar_titles = [ x[1] for x in enumerate(titles) if x[0] in similar_title_counts ] # Exit the recursion if there are no longer any similar titles if len(similar_title_counts) == 0: return titles # Continue the recursion if there are still titles to remove else: # Remove similar titles from the next input for title in similar_titles: idx = titles.index(title) titles.pop(idx) return similarity_filter(titles)if __name__ == '__main__': your_title_list = [’title1’, ’title2’] similarty_filter(your_title_list)

第一個是預處理標題文本的簡單函數;它刪除像’ the ’, ’ a ’, ’ and ’這樣的停止詞,并只返回標題中單詞的引理。

如果你在這個函數中輸入“End of Year Review 2020”,你會得到“end year review 2020”作為輸出;如果你輸入“January Sales Projections”,你會得到“january sale projection”。

它主要使用了python中非常容易使用的spacy庫.

第二個函數(第30行)為所有標題創建配對,然后確定它們是否通過了余弦相似度測試。如果它沒有找到任何相似的標題,那么它將輸出一個不相似標題的列表。但如果它確實找到了相似的標題,在刪除沒有通過相似度測試的配對后,它會將這些過濾后的標題再次發送給它自己,并檢查是否還有相似的標題。

這就是為什么它是遞歸的!簡單明了,這意味著函數將繼續檢查輸出,以真正確保在返回“最終”輸出之前沒有類似的標題。

什么是余弦相似度?

但簡而言之,這就是spacy在幕后做的事情……

首先,還記得那些預處理過的工作嗎?首先,spacy把我們輸入的單詞變成了一個數字矩陣。

一旦它完成了,你就可以把這些數字變成向量,也就是說你可以把它們畫在圖上。

一旦你這樣做了,計算兩條直線夾角的余弦就能讓你知道它們是否指向相同的方向。

利用Python過濾相似文本的簡單方法示例

所以,在上圖中,想象一下,A線代表“閃亮的橙色水果”,B線代表“閃亮的紅蘋果是一種水果”。

在這種情況下,行A和行B都對應于空格為這兩個句子創建的數字矩陣。這兩條線之間的角度——在上面的圖表中由希臘字母theta表示——是非常有用的!你可以計算余弦來判斷這兩條線是否指向同一個方向。

這聽起來似乎是顯而易見的,難以計算,但關鍵是,這種方法為我們提供了一種自動化整個過程的方法。

總結

回顧一下,我已經解釋了遞歸python函數如何使用余弦相似性和spacy自然語言處理庫來接受相似文本的輸入,然后返回彼此不太相似的文本。

可能有很多這樣的用例……類似于我在本文開頭提到的歸檔用例,你可以使用這種方法在數據集中過濾具有惟一歌詞的歌曲,甚至過濾具有惟一內容類型的社交媒體帖子。

到此這篇關于利用Python過濾相似文本的簡單方法的文章就介紹到這了,更多相關Python過濾相似文本內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 私人别墅家庭影院系统_家庭影院音响_家庭影院装修设计公司-邦牛影音 | 老房子翻新装修,旧房墙面翻新,房屋防水补漏,厨房卫生间改造,室内装潢装修公司 - 一修房屋快修官网 | 海德莱电力(HYDELEY)-无功补偿元器件生产厂家-二十年专业从事电力电容器 | 环保袋,无纺布袋,无纺布打孔袋,保温袋,环保袋定制,环保袋厂家,环雅包装-十七年环保袋定制厂家 | GAST/BRIWATEC/CINCINNATI/KARL-KLEIN/ZIEHL-ABEGG风机|亚喜科技 | 工控机-工业平板电脑-研华工控机-研越无风扇嵌入式box工控机 | 振动台-振动试验台-振动冲击台-广东剑乔试验设备有限公司 | 风化石头制砂机_方解石制砂机_瓷砖石子制砂机_华盛铭厂家 | 3d可视化建模_三维展示_产品3d互动数字营销_三维动画制作_3D虚拟商城 【商迪3D】三维展示服务商 广东健伦体育发展有限公司-体育工程配套及销售运动器材的体育用品服务商 | 武汉高温老化房,恒温恒湿试验箱,冷热冲击试验箱-武汉安德信检测设备有限公司 | 食药成分检测_调料配方还原_洗涤剂化学成分分析_饲料_百检信息科技有限公司 | 阻垢剂-反渗透缓蚀阻垢剂厂家-山东鲁东环保科技有限公司 | 蔬菜配送公司|蔬菜配送中心|食材配送|饭堂配送|食堂配送-首宏公司 | 粘度计维修,在线粘度计,二手博勒飞粘度计维修|收购-天津市祥睿科技有限公司 | 温控器生产厂家-提供温度开关/热保护器定制与批发-惠州市华恺威电子科技有限公司 | 北京公寓出租网-北京酒店式公寓出租平台 | 申江储气罐厂家,储气罐批发价格,储气罐规格-上海申江压力容器有限公司(厂) | 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 深圳南财多媒体有限公司介绍 | 整车VOC采样环境舱-甲醛VOC预处理舱-多舱法VOC检测环境仓-上海科绿特科技仪器有限公司 | BAUER减速机|ROSSI-MERSEN熔断器-APTECH调压阀-上海爱泽工业设备有限公司 | 中国玩具展_玩具展|幼教用品展|幼教展|幼教装备展 | 众品家具网-家具品牌招商_家具代理加盟_家具门户的首选网络媒体。 | 冷藏车-东风吸污车-纯电动环卫车-污水净化车-应急特勤保障车-程力专汽厂家-程力专用汽车股份有限公司销售二十一分公司 | 杜康白酒加盟_杜康酒代理_杜康酒招商加盟官网_杜康酒厂加盟总代理—杜康酒神全国运营中心 | 超声波清洗机_大型超声波清洗机_工业超声波清洗设备-洁盟清洗设备 | 办公室装修_上海办公室设计装修_时尚办公新主张-后街印象 | 电力测功机,电涡流测功机,磁粉制动器,南通远辰曳引机测试台 | 帽子厂家_帽子工厂_帽子定做_义乌帽厂_帽厂_制帽厂 | 塑胶跑道施工-硅pu篮球场施工-塑胶网球场建造-丙烯酸球场材料厂家-奥茵 | 中矗模型-深圳中矗模型设计有限公司 | X光检测仪_食品金属异物检测机_X射线检测设备_微现检测 | elisa试剂盒价格-酶联免疫试剂盒-猪elisa试剂盒-上海恒远生物科技有限公司 | 亮化工程,亮化设计,城市亮化工程,亮化资质合作,长沙亮化照明,杰奥思【官网】 | 回收二手冲床_金丰旧冲床回收_协易冲床回收 - 大鑫机械设备 | 帽子厂家_帽子工厂_帽子定做_义乌帽厂_帽厂_制帽厂 | 【甲方装饰】合肥工装公司-合肥装修设计公司,专业从事安徽办公室、店面、售楼部、餐饮店、厂房装修设计服务 | 冷藏车-东风吸污车-纯电动环卫车-污水净化车-应急特勤保障车-程力专汽厂家-程力专用汽车股份有限公司销售二十一分公司 | 协议书_协议合同格式模板范本大全 | 二手Sciex液质联用仪-岛津气质联用仪-二手安捷伦气质联用仪-上海隐智科学仪器有限公司 | 高尔夫球杆_高尔夫果岭_高尔夫用品-深圳市新高品体育用品有限公司 |