处理技术有关自考开题报告范文与大数据处理技术在测绘地理信息档案管理中的应用方面硕士论文范文-毕业论文网

此文是一篇处理技术论文范文,为你的毕业论文写作提供有价值的参考。

大数据处理技术在测绘地理信息档案管理中的应用

最近几年,大数据对我国的科学技术、经济发展以及社会发展等方面造成了很大的影响.大数据处理技术存在的优势使其在各个领域中被广泛运用,其中存在的数据储存以及分析等方面的问题也逐渐突显.在对测绘地理信息档案进行管理的同时,也面临了档案内容多以及维护成本高的情况.而使用大数据处理技术正好能有效地解决这些问题.

一、常见的大数据处理技术

（一）HDFS文件管理系统.在大数据的发展背景下,尤其是将Hadoop作为核心的非结构文档分布式储存文件系统的运用,它能够为档案管理实施出有效的解决方式.它基本上存在以下几个特点：其一是运用成本低,能够布置在比较低廉的硬件上,在系统中的扩容成本比较低,在实施的时候比较简单便捷.其二是能够支持高吞吐量以及高并发访问运用程序的数据,而且可以使用在超大数据集群中,并且可以访问并发量比较大的文件管理中.其三是具有很强的扩张性.使用MapPeduce实行分布式运算,在计算机集簇进行配置数据并且进行运算任务,这些集簇能够便捷地扩展至数以千计的节点中.所以HDFS可以解决档案管理中文档无法进行集中储存的问题.除此之外,其中还支持了文档、音像以及图片等相关的格式,并且在HDFS数据库的基础上,包含了HIVE与Impala相关的结构化数据库,可以进行查询以及更新工作.

（二）云存储.所谓云存储,是在云计算上延展出来的新概念,是一种新的网络储存技术,经过集群运用、网络技术或者是HDFS等相关的功能把网络中多种种类的储存设备经过应用软件集合在一起进行协调工作,一起对外进行数据储存与业务访问的系统.总而言之,云存储是把储存资源放置在云上提供人们储存和提取的一种新技术.

（三）知识图谱.作为知识图谱,其是一种建设在图数据基础上的结构,其根本是语义网络经由节点与边构成.知识图谱中,节点能够表现实际世界中存在实体,每个条边是实体和实体间的关系.知识图谱是对关系进行具体呈现的方式.它是将全部不同类型的信息连接在一起获得关系网络.知识图谱能够在关系的立场上对问题进行分析,在知识图谱被逐渐运用广泛的情况下,很多公司都把其运用在文档管理中,可以有效管理文档间关系,并且对文档知识点进行获取,为后期的文档管理提供支持.

二、大数据处理技术在测绘地理信息档案管理中的具体应用

（一）建设测绘地理信息档案资源大数据处理平台.测绘地理信息档案资源中包含了大地测量,航空、航天摄影测量,工程测量等相关的成果档案.除去地理坐标信息成果以外,还包含了大量技术文档、文本、航片以及各种视频信息等相关的非结构化数据.特别是历史档案资源,这种资源形成的年代比较远,信息化程度比较低,这样就必定会存在着大量的非结构化数据.且目前大数据中心建设及数据共建共享战略实施,对地理信息档案进行管理的时候,会面临着多源异构档案数据,其可以使用大数据处理技术构建地理信息档案数据处理平台.其首先使用HadoopHDFS建设档案管理群,因为这个系统对单一节点硬件资源要求低,在初级阶段中可以使用档案中存在的硬件资源建设成50到100节点的档案管理集群,这个群中全部的节点一起工作对数据的储存与计算进行负责.在后续工作中可以依据档案管理的实际要求,随时实行节点扩展,以此符合逐渐增长的档案数据在储存空间与计算方面的要求.之后再使用Hbase数据工程将大量半结构化以及非结构化数据实行处理,产生结构化的数据,之后存放在Hadoop数据库中,设置HIve数据仓库,将结构化数据管理入库.经过Hive、Hbase进行共同运用,以此达到结构化和非结构两种地理信息进行大量数据共同处理的目的.这样就构成了一个处在Hadoop、HDFS以及Hive等功能基础上的完整性地理信息档案大数据处理平台.

（二）对测绘地理信息档案资源数据进行深入挖掘.目前三维激光扫描、多传感器集成移动测绘等技术的广泛应用,数据获取手段多样化,相关档案资源数据逐渐增多,再加上多年积累的历史数据档案,构成了大量的档案资源.若要在其中挖掘出知识财富,单纯依靠人工方式是没有办法完成的,要使用相关的技术来进行,因此大数据处理技术就是最好的选择.在大数据处理中,数据分析是其中的核心,怎样运用数据挖掘与知识发现将大数据实行分析,是大数据时代知识发展的关键方向,也是档案管理部门进行服务的关键方式.使用相关的技术对馆藏中的大量多源异构数据进行清洗、收取以及集成等构成一种方便分析的模式,之后载入文件系统数据仓库中,构建一个完整测绘地理信息档案大数据处理平台之后,将数据实行挖掘与知识发现的条件已经具备.最后再结合知识图谱,使用ES搜索引擎对数据进行了解,提升搜索质量,为用户提供更加精准的信息.

三、结束语

大数据存在的优势使其在信息档案管理中被充分使用,对大量非结构数据处理存在很大的优势.在HDFS基础上对数据集中存放进行处理,使用Hadoop建设测绘地理信息档案资源大数据处理平台等相关的工作,以此提升测绘地理信息档案管理工作的质量.

处理技术论文范文结:

关于对不知道怎么写处理技术论文范文课题研究的大学硕士、相关本科毕业论文处理技术论文开题报告范文和文献综述及职称论文的作为参考文献资料下载。