当前位置: 主页 > 社会实践 >

文本挖掘

来源:云南财经大学商学院 作者:董朵朵

文本挖掘,是指抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识,并且利用这些知识更好地组织信息的过程。具体说来,文本挖掘以文本型信息源为分析对象,利用智能算法,如神经网络、基于案例的推理等,并结合文字处理技术,分析大量的非结构化文本源(如文档、网页、企业管理日志等),从中寻找信息的结构、模型、模式等各种隐含的知识。

在现实世界中,知识不仅以传统数据库中的结构化数据的形式出现,还以诸如书籍、研究论文、新闻文章、WEB页面及电子邮件等各种各样的形式出现。面对以这些形式出现的、浩如烟海的信息源,人类的阅读能力、时间精力等等往往不够,需要借助计算机的智能处理技术来帮助人类及时、方便的获取这些数据源中隐藏的有用信息。因此,文本挖掘技术就在这种背景下产生和发展起来的。

文本挖掘的根本价值在于能把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息,即对文本进行科学的抽象,建立它的数学模型,用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。

文本挖掘的作用在于提高了海量非结构化信息源的利用价值,使得人们能够更加方便地从海量文本中发现隐含的知识。因此,文本挖掘广泛应用于以下领域:①网上有害信息监测、过滤和跟踪

②科技文献分析

③网上论坛/社交媒体的实时监控

④电子邮件分类与过滤

文本挖掘的一般步骤:

一、获取文本

一般来说网络文本的获取,主要是网页的形式。我们要把网络中的文本获取形成一个文本数据库(数据集)。利用爬虫技术抓取到网络中的信息。爬虫可以有主题爬虫和通用爬虫之分,主题爬取主要是在相关站点爬取或者爬取相关主题的文本,而通用爬虫则一般对此不加限制。

二、对文本进行预处理

由于网页中存在很多不必要的信息,比如说一些广告,导航栏,html、js代码,注释等等,接下来还需要对文本中的信息进行筛选,也就是对文本进行预处理。

三、分词系统

经过上面的步骤,能得到比较干净、可用的文本信息。我们知道,文本中起到关键作用的是一些关键词,这些关键词决定着文本的取向。这里就会用到一个分词系统或者说分词工具。现在常见分词的算法有最大匹配法、最优匹配法、机械匹配法、逆向匹配法、双向匹配法等。目前国内普遍用到的是中科院的分词工具ICTCLAS,该算法经过众多科学家的认定是当今中文分词中最好的,并且支持用户自定义词典,加入词典。对新词、人名、地名等的发现也具有良好的效果。

四、特征选择

经过上面的步骤,基本能够得到有意义的一些词。但是这些所有的词都有意义吗?显然不是这样的,有些词会在这个文本集中大量出现,有些只是出现少数几次而已。他们往往也不能决定文章的内容。还有一个原因就是,如果对所有词语都保留,维度会特别高,矩阵将会变得特别特别稀疏,严重影响到挖掘结果。那么对这些相对有意义的词语选取哪一本分比较合理呢?针对特征选择也有很多种不同的方式,但是改进后的TF*IDF往往起到的效果是最好的。tf-idf模型的主要思想是:如果词w在一篇文档d中出现的频率高,并且在其他文档中很少出现,则认为词w具有很好的区分能力,适合用来把文章d和其他文章区分开来。

五、利用算法进行挖掘

经过上面的步骤之后就可以把文本集转化成一个矩阵。然后再利用各种算法进行挖掘,比如说如果要对文本集进行分类,我们可以利用KNN算法、贝叶斯算法、决策树算法等等。文本挖掘的结果可以通过各种可视化的技术展现出有意义的图表,比如:人物关系图、力导向布局图、和弦图等,这些带有业务意义的、表现力丰富的图表能帮助人们对文本挖掘结构的理解。

http://www.dxsbao.com/shijian/643282.html 点此复制本页地址

相关内容

曲园学子寒假社会实践——消防连万家,平安你我他

消防进家园,平安到永远,做好消防工作,全家幸福快乐。消防演练可以加强应急演练,增强应急意识,提升应急能力。在社区大范围内举行消防演习,就是要大家具有居安思危的警觉心,真正遇…… 青春献党志愿队梁 曲阜师范大学文学院查看全文 >>

曲园学子寒假社会时间——做好消防工作,全家幸福快乐

消防是指消除隐患,预防火灾。消防演练的目的是为了增加人们的安全防火意识,让大家进一步了解掌握火灾的处理流程,以及提升在处理突发事件过程中的协调配合能力,增加人员在火中互救、…… 青春献党志愿队梁 曲阜师范大学文学院查看全文 >>

曲园学子寒假社会实践——传承中华文化,弘扬传统美德

华夏五千年的文化代代相传,展现了中华民族的泱泱国风。没有传统的延续,便没有如今的灿烂的文化之光,而传统美德是中华文化的核心与灵魂,所以华夏儿女要传承中华文化,弘扬传统美德。…… 青春献党志愿队梁 曲阜师范大学文学院查看全文 >>

关爱老年群体,建设和谐乡村

目前,我国人口老龄化形势十分严重,并带来了很多关于养老的问题,而农村作为我国的主要社会人群,在人口老龄化的速度和程度上都高于城镇人口,农村养老保障问题也更加突出,目前所建立…… 青春献党志愿队梁 曲阜师范大学化学与化工学院查看全文 >>

人民城市人民建,建好城市为人民

中国青年网聊城12月21日电(通讯员梁瑞晨)文化生活是社会生活的重要内容之一。组织进行文化生活方面的活动,不仅可以促进文化事业的发展,丰富公众的生活内容,而且可以培养与公众的良好…… 青春献党志愿队梁 曲阜师范大学化学与化工学院查看全文 >>

公益有起点,爱心无终点

中国青年网聊城12月15日电(通讯员梁瑞晨)公益活动人人参与,奉献爱心从我做起。公益活动体现了人们助人为乐的品质,促进社会变得更加温馨和谐,锻炼了自己的社会实践能力等,为延续中国…… 青春献党志愿队梁 曲阜师范大学化学与化工学院查看全文 >>

点滴汇心海,真情暖人间

中国青年网聊城12月15日电(通讯员梁瑞晨)做爱心公益活动,就是对中华优良传统的传承,每一份公益活动都有其价值所在,这些价值是在自己在得到快乐的时候,也帮助了别人,所以做爱心公益…… 青春献党志愿队梁 曲阜师范大学化学与化工学院查看全文 >>

曲园学子暑假社会实践—曲园学子在活动,助力疫情大防控

中国青年网聊城7月25日电(通讯员梁瑞晨)常态化疫情防控是一项艰巨繁重又需要持久坚持的工作,必须要深刻认识抗疫斗争的复杂性和艰巨性。为避免疫情的再次袭来,团队队员决定助力疫情防…… 青春献党志愿队梁 曲阜师范大学网络空间安全学院查看全文 >>

推荐内容

【本草社】“药”韵新生,创意“瓶”行——中医药文化创意大赛圆满结束

文字:曹欢尹思图片:张权威尹榆婷审核:唐后媛来源:本草社为传承千年中医药文化瑰宝,让更多人领略其天人合一的智慧、药草…

“魔幻光影 时空之旅” ——宾谦魔术协会开展魔术主题活动

“四月深涧底,桃花方欲燃”,在这个春意盎然的四月,为了梳理魔术发展史的核心脉络,展现传统技法与科技创新的碰撞,一场别…

志愿青春暖社区,助理服务筑和谐

近日,桔子洲街道湖大社区、师大社区和新民路社区迎来了一批特殊的“社区助理”——公管院学子志愿者。他们积极参与社区志愿…

星火遵忆志愿宣讲团赴社区宣讲

中国大学生在线网4月24日电(通讯员汪祥)安徽工业大学星火遵忆志愿宣讲团走进阳光雅居社区,开展了一场别开生面的遵义会议精…

星火遵忆志愿宣讲团赴企业宣讲,传承红色基因 赋能企业发展

中国大学生在线网4月26日电(通讯员汪祥)安徽工业大学星火遵忆宣讲团第9次宣讲活动顺利展开。作为长征精神的重要组成部分,…

最新发布

沐浴在伟大光辉里——三下乡实践活动
为贯彻习近平新时代中国特色社会主义思想,发扬红色精神,东北大学秦皇岛分校的张家口党史学习教育实践团于7月18日前往董存瑞纪念馆和新保安战役纪念馆学习相关历史,于7月21日前往张家口市怀来县融爱养老院拜…
“翰墨飘香,文韵悠扬”书法活动
书法是中华文化的瑰宝,不仅承载着汉字独特的造型符号和笔墨韵律,更融入了中国人们特有的思维方式、人格精神与性情志趣。开展书法教育,对于培养学生的书写能力、审美能力、文化品质具有重要作用。西南石油…
中国妇女发展基金会
一、基金会简介(一)基本信息中国妇女发展基金会,简称“中国妇基会”英文名称:ChinaWomen‘sDevelopmentFoundation,缩写:CWDF。1988年12月由全国妇联发起成立。中国妇基会是全国性公募基金会,其面向公众募捐的地域是…
志愿精神,生生不息
今年暑假我参加了假期社区服务活动,虽然这段时间的活动让我觉得很累很辛苦,但我从中锻炼了自己,并且学到许多社区服务和人际交往的技能。俗话说:“赠人玫瑰,手有余香”。这不仅可以丰富自己的大学生活也…
菁菁者莪点星辉 奖助政策助学梦
如《诗经·小雅》中所言“菁菁者莪,乐育材也”,学校永远把育英才放在第一位。为深入贯彻落实国家和学校对困难学生家庭的资助政策,在实践中受教育、长才干、做贡献,争做习近平新时代中国特色社会主义思想…
湖北学子三下乡:空巢老人心理健康
与“志远”同行,播撒爱心阳光,为了加强对农村空巢老人的关爱保护工作和维护老年人合法权益,湖北第二师范学院经济与管理学院“志远”调研服务队于7月27日在黄冈市英山县温泉镇百丈河村开展一系列调研活动,…
乡村文化的魅力:三下乡感悟之旅
三天时间如白驹过隙般划过。暑期三下乡社会实践活动已经结束了,但社会实践给我带来的巨大影响却远没有结束。说起我们这些大学生,空有书本知识。我们到基层锻炼的机会是非常少的,但是基层的确可以锻炼人,…
合肥学院教育学院三下乡个人感悟:青春三下乡,实践在路上
和煦的朝阳,温柔的晚风,小路上是学子们奋斗的背影;欢乐的课堂,温暖的笑容,教室里是学子们奉献的背影。2023年7月3日,我有幸作为一名志愿者参与了由合肥学院教育学院“七彩童年,‘育’你相伴”社会实践团…
合工大外国语学院学子赴河南新县探寻大别山精神
为响应二十大精神号召,弘扬中国共产党人精神,2023年7月17日至7月21日,合肥工业大学外国语学院组建的“赴大别山革命根据地传承红色精神暑期社会实践团队”前往河南新县开展社会实践活动,感悟历史文化,追寻…
广东生态工程职业学院“穿山越岭,甲行天下”之“乡”遇龙川
“乡”遇龙川(作者:施俊涛)响应国家号召,深入学习贯彻习近平新时代中国特色社会主义思想、党的二十大精神,充分落实“百千万工程”。2023年广东生态工程职业学院大学生暑期“三下乡”社会实践活动正式启…