电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

利用Python過濾相似文本的簡單方法示例

瀏覽:3日期:2022-06-28 13:58:52
問題

假設你在存檔中有成千上萬的文檔,其中許多是彼此重復的,即使文檔的內(nèi)容相同,標題不同。 現(xiàn)在想象一下,現(xiàn)在老板要求你通過刪除不必要的重復文檔來釋放一些空間。

問題是:如何過濾標題足夠相似的文本,以使內(nèi)容可能相同? 接下來,如何實現(xiàn)此目標,以便在完成操作時不會刪除過多的文檔,而保留一組唯一的文檔? 讓我們用一些代碼使它更清楚:

titles = [ 'End of Year Review 2020', '2020 End of Year', 'January Sales Projections', 'Accounts 2017-2018', 'Jan Sales Predictions']# Desired outputfiltered_titles = [ 'End of Year Review 2020', 'January Sales Projections', 'Accounts 2017-2018',]

根據(jù)以上的問題,本文適合那些希望快速而實用地概述如何解決這樣的問題并廣泛了解他們同時在做什么的人!

接下來,我將介紹我為解決這個問題所采取的不同步驟。下面是控制流的概要:

預處理所有標題文本

生成所有標題成對

測試所有對的相似性

如果一對文本未能通過相似性測試,則刪除其中一個文本并創(chuàng)建一個新的文本列表

繼續(xù)測試這個新的相似的文本列表,直到?jīng)]有類似的文本留下

用Python表示,這可以很好地映射到遞歸函數(shù)上!

代碼

下面是Python中實現(xiàn)此功能的兩個函數(shù)。

import spacyfrom itertools import combinations# Set globalsnlp = spacy.load('en_core_web_md')def pre_process(titles): ''' Pre-processes titles by removing stopwords and lemmatizing text. :param titles: list of strings, contains target titles,. :return: preprocessed_title_docs, list containing pre-processed titles. ''' # Preprocess all the titles title_docs = [nlp(x) for x in titles] preprocessed_title_docs = [] lemmatized_tokens = [] for title_doc in title_docs: for token in title_doc: if not token.is_stop: lemmatized_tokens.append(token.lemma_) preprocessed_title_docs.append(' '.join(lemmatized_tokens)) del lemmatized_tokens[ : ] # empty the lemmatized tokens list as the code moves onto a new title return preprocessed_title_docsdef similarity_filter(titles): ''' Recursively check if titles pass a similarity filter. :param titles: list of strings, contains titles. If the function finds titles that fail the similarity test, the above param will be the function output. :return: this method upon itself unless there are no similar titles; in that case the feed that was passed in is returned. ''' # Preprocess titles preprocessed_title_docs = pre_process(titles) # Remove similar titles all_summary_pairs = list(combinations(preprocessed_title_docs, 2)) similar_titles = [] for pair in all_summary_pairs: title1 = nlp(pair[0]) title2 = nlp(pair[1]) similarity = title1.similarity(title2) if similarity > 0.8: similar_titles.append(pair) titles_to_remove = [] for a_title in similar_titles: # Get the index of the first title in the pair index_for_removal = preprocessed_title_docs.index(a_title[0]) titles_to_remove.append(index_for_removal) # Get indices of similar titles and remove them similar_title_counts = set(titles_to_remove) similar_titles = [ x[1] for x in enumerate(titles) if x[0] in similar_title_counts ] # Exit the recursion if there are no longer any similar titles if len(similar_title_counts) == 0: return titles # Continue the recursion if there are still titles to remove else: # Remove similar titles from the next input for title in similar_titles: idx = titles.index(title) titles.pop(idx) return similarity_filter(titles)if __name__ == '__main__': your_title_list = [’title1’, ’title2’] similarty_filter(your_title_list)

第一個是預處理標題文本的簡單函數(shù);它刪除像’ the ’, ’ a ’, ’ and ’這樣的停止詞,并只返回標題中單詞的引理。

如果你在這個函數(shù)中輸入“End of Year Review 2020”,你會得到“end year review 2020”作為輸出;如果你輸入“January Sales Projections”,你會得到“january sale projection”。

它主要使用了python中非常容易使用的spacy庫.

第二個函數(shù)(第30行)為所有標題創(chuàng)建配對,然后確定它們是否通過了余弦相似度測試。如果它沒有找到任何相似的標題,那么它將輸出一個不相似標題的列表。但如果它確實找到了相似的標題,在刪除沒有通過相似度測試的配對后,它會將這些過濾后的標題再次發(fā)送給它自己,并檢查是否還有相似的標題。

這就是為什么它是遞歸的!簡單明了,這意味著函數(shù)將繼續(xù)檢查輸出,以真正確保在返回“最終”輸出之前沒有類似的標題。

什么是余弦相似度?

但簡而言之,這就是spacy在幕后做的事情……

首先,還記得那些預處理過的工作嗎?首先,spacy把我們輸入的單詞變成了一個數(shù)字矩陣。

一旦它完成了,你就可以把這些數(shù)字變成向量,也就是說你可以把它們畫在圖上。

一旦你這樣做了,計算兩條直線夾角的余弦就能讓你知道它們是否指向相同的方向。

利用Python過濾相似文本的簡單方法示例

所以,在上圖中,想象一下,A線代表“閃亮的橙色水果”,B線代表“閃亮的紅蘋果是一種水果”。

在這種情況下,行A和行B都對應于空格為這兩個句子創(chuàng)建的數(shù)字矩陣。這兩條線之間的角度——在上面的圖表中由希臘字母theta表示——是非常有用的!你可以計算余弦來判斷這兩條線是否指向同一個方向。

這聽起來似乎是顯而易見的,難以計算,但關鍵是,這種方法為我們提供了一種自動化整個過程的方法。

總結

回顧一下,我已經(jīng)解釋了遞歸python函數(shù)如何使用余弦相似性和spacy自然語言處理庫來接受相似文本的輸入,然后返回彼此不太相似的文本。

可能有很多這樣的用例……類似于我在本文開頭提到的歸檔用例,你可以使用這種方法在數(shù)據(jù)集中過濾具有惟一歌詞的歌曲,甚至過濾具有惟一內(nèi)容類型的社交媒體帖子。

到此這篇關于利用Python過濾相似文本的簡單方法的文章就介紹到這了,更多相關Python過濾相似文本內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網(wǎng)!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 旅游规划_旅游策划_乡村旅游规划_景区规划设计_旅游规划设计公司-北京绿道联合旅游规划设计有限公司 | 大倾角皮带机-皮带输送机-螺旋输送机-矿用皮带输送机价格厂家-河南坤威机械 | SEO网站优化,关键词排名优化,苏州网站推广-江苏森歌网络 | 不锈钢/气体/液体玻璃转子流量计(防腐,选型,规格)-常州天晟热工仪表有限公司【官网】 | 海尔生物医疗四川代理商,海尔低温冰箱四川销售-成都壹科医疗器械有限公司 | 原色会计-合肥注册公司_合肥代理记账公司_营业执照代办 | 北京办公室装修,办公室设计,写字楼装修-北京金视觉装饰工程公司 北京成考网-北京成人高考网 | VI设计-LOGO设计公司-品牌设计公司-包装设计公司-导视设计-杭州易象设计 | 云杂志网-学术期刊-首页 | 破碎机锤头_耐磨锤头_合金锤头-鼎成机械一站式耐磨铸件定制服务 微型驱动系统解决方案-深圳市兆威机电股份有限公司 | 手持式3d激光扫描仪-便携式三维立体扫描仪-北京福禄克斯 | 高空重型升降平台_高空液压举升平台_高空作业平台_移动式升降机-河南华鹰机械设备有限公司 | 流水线电子称-钰恒-上下限报警电子秤-上海宿衡实业有限公司 | 理化生实验室设备,吊装实验室设备,顶装实验室设备,实验室成套设备厂家,校园功能室设备,智慧书法教室方案 - 东莞市惠森教学设备有限公司 | China plate rolling machine manufacturer,cone rolling machine-Saint Fighter | 海尔生物医疗四川代理商,海尔低温冰箱四川销售-成都壹科医疗器械有限公司 | 接地电阻测试仪[厂家直销]_电缆故障测试仪[精准定位]_耐压测试仪-武汉南电至诚电力设备 | 轻型地埋电缆故障测试仪,频响法绕组变形测试仪,静荷式卧式拉力试验机-扬州苏电 | 武汉高温老化房,恒温恒湿试验箱,冷热冲击试验箱-武汉安德信检测设备有限公司 | 江苏农村商业银行招聘网_2024江苏农商行考试指南_江苏农商行校园招聘 | 回转支承-转盘轴承-回转驱动生产厂家-洛阳隆达轴承有限公司 | 硫化罐-胶管硫化罐-山东鑫泰鑫智能装备有限公司 | 贵州自考_贵州自学考试网| 送料机_高速冲床送料机_NC伺服滚轮送料机厂家-东莞市久谐自动化设备有限公司 | 东亚液氮罐-液氮生物容器-乐山市东亚机电工贸有限公司 | 真空泵维修保养,普发,阿尔卡特,荏原,卡西亚玛,莱宝,爱德华干式螺杆真空泵维修-东莞比其尔真空机电设备有限公司 | 玉米深加工设备|玉米加工机械|玉米加工设备|玉米深加工机械-河南成立粮油机械有限公司 | 不干胶标签-不干胶贴纸-不干胶标签定制-不干胶标签印刷厂-弗雷曼纸业(苏州)有限公司 | ★塑料拖链__工程拖链__电缆拖链__钢制拖链 - 【上海闵彬】 | 智慧钢琴-电钢琴-便携钢琴-数码钢琴-深圳市特伦斯乐器有限公司 | 钢衬四氟管道_钢衬四氟直管_聚四氟乙烯衬里管件_聚四氟乙烯衬里管道-沧州汇霖管道科技有限公司 | 厂房出租_厂房出售_产业园区招商_工业地产 - 中工招商网 | 振动台-振动试验台-振动冲击台-广东剑乔试验设备有限公司 | 动库网动库商城-体育用品专卖店:羽毛球,乒乓球拍,网球,户外装备,运动鞋,运动包,运动服饰专卖店-正品运动品网上商城动库商城网 - 动库商城 | 刮板输送机,粉尘加湿搅拌机,螺旋输送机,布袋除尘器 | 山东锐智科电检测仪器有限公司_超声波测厚仪,涂层测厚仪,里氏硬度计,电火花检漏仪,地下管线探测仪 | 上海办公室装修公司_办公室设计_直营办公装修-羚志悦装 | 武汉高低温试验箱_恒温恒湿试验箱厂家-武汉蓝锐环境科技有限公司 | 福尔卡(北京)新型材料技术股份有限公司 | 传动滚筒,改向滚筒-淄博建凯机械科技有限公司 | 金蝶帐无忧|云代账软件|智能财税软件|会计代账公司专用软件 |