数据挖掘算法应用工程师,数据挖掘技术在航空航天的运用

数据挖掘算法应用工程师,数据挖掘技术在航空航天的运用

随着大型天文观测设备的建成和持续运行，人们获得了数以亿计的光谱。传统人工或半人工的处理方式已经不能满足实际需求,研究高效而准确的光谱处理方法成为一个迫切且实际的任务。国内外很多的研究人员在相关领域展开研究，开始尝试利用数据挖掘算法来处理这些光谱数据。这种尝试在一定程度上降低了人工参与度,在部分研究中取得了较好的效果，但-个不容忽视的事实是,大多数已有数据挖掘算法的适用范围均存在一定的局限性，直接将其应用于天体光谱数据，工作效率难以保证。因此,有必要研究适用于天文数据挖掘的新算法。

推荐阅读：【视频】小程序开发,零基础入门小程序云开发视频教程

本书是在上述背景下撰写的,是对作者近年来科研成果的总结和提炼。本书针对恒星光谱分析过程中面临的技术和应用问题,利用数据挖掘方法,对恒星光谱分类、稀有天体光谱自动发现、天文大数据挖掘等方面的内容展开研究。针对当前主流数据挖掘方法面临的挑战，提出了一系列优化方法，在一定程度上提高了数据挖掘效率;针对数据挖掘方法在恒星光谱分析中的应用问题，围绕恒星光谱分类方法、稀有天体光谱自动发现方法、天文大数据挖掘等方面的内容展开研究。
本书利用交叉研究方法，将数据挖掘的最新研究成果应用于恒星光谱分析，部分研究成果可以应用于天文学的相关课题，从而提高数据的利用效率，促进天文学的科学产出。本书为天体演化、密度分布、宇宙结构等问题的研究提供了有力的技术支持，为天文信息学的发展开拓了新的思路。数据挖掘是一个前沿的研究方向,发展快，涉及面广。由于作者水平有限,书中肯定有不少疏漏、不妥甚至错误的地方，恳请读者批评指正。

第1章

数据挖掘研究进展
随着科学技术的不断发展,互联网在各行各业得到广泛应用,新的数据采集和获取技术不断涌现，网络数据呈现爆炸式增长的态势。
面对海量数据,传统的数据处理方法已远远不能满足实际需求,出现了所谓的”数据丰富,信息贫乏”的问题。如何从历史数据中预测未来的发展趋势，以及从海量数据中快速发现有价值的信息，变被动的数据为主动的知识?这个问题迫使人们寻找新的、更为有效的数据分析方法来对各种数据资源进行有效的挖掘，以发挥其应用潜能。数据挖掘( Data Mining，DM)正是在这样的需求背景下应运而生的1。

它的出现为智能地把海量数据转化为有用信息和知识提供了可能。数据挖掘作为一门新兴的交叉学科,涉及数据库技术、人工智能、机器学习、人工神经网络、统计学、模式识别、知识库工程、信息检索、高性能计算技术、可视化等领域2。多学科的相互交融和相互促进，使这一学科得以蓬勃发展,而且已初具规模。
本章主要介绍数据挖掘基本理论、存在的问题及研究现状。
1.1数据挖掘基本理论
1.数据挖掘产性的背景
自20世纪60年代开始，数据库及信息技术就逐步从基本的文件处理系统发展为功能更强大的数据库系统。20世纪70年代,数据库系统的研究与发展,促进了关系数据库系统、数据建模工具、索引与数据组织技术的迅速发展,在线事务处理的出现也极大地推动了关系数据库的普及，尤其是在大规模数据存储、检索和管理的应用领域。

自20世纪80年代中期开始，关系数据库得到了普遍应用,新-轮的研究与开发新型数据库系统悄然兴起,并出现了众多先进的数据模型(扩展关系模型、面向对象模型、演绎模型等)及应用数据库系统(空间数据库、时序数据库、多媒体数据库等)。目前,异构数据库系统和基于互联网的全球信息系统已经在信息I业中扮演重要角色。

数据库存储量的不断增长, 已远超人类分析和处理的能力。这样，存储在数据库中的数据就形成了”数据坟墓”，即这些数据极少被访问,许多重要的决策不是基于这些数据而是依靠决策者的直觉制定的。其中的原因很明显,这些决策的制定者没有找到合适的工具帮助其从数据中抽取所需的知识。数据挖掘可以从大量数据中发现存在的特定模式和规律,从而为商业活动、科学探索和医学研究等诸多领域提供所需的知识。数据与知识之间的巨大差距迫切需要系统地开发数据挖掘方法，以便将”数据坟墓”中的数据转化为知识财富。

2.数据挖掘的定义

自20世纪90年代以来,数据挖掘的发展速度很快，加之它是多学科综合的产物，因此目前还没有一个统一的定义,人们提出了多种数据挖掘的定义3。SAS研究所( 1997 ):数据挖掘是在大量相关数据的基础上进行数据探索和建立相关模型的先进方法。Bhavani ( 1999 ):数据挖掘是使用模式识别技术、统计和数学技术，在大量数据中发现有意义的新关系、模式和趋势的过程。Hand等人( 2000):数据挖掘就是在大型数据库中寻找有意义、有价值的信息的过程。数据挖掘的定义可归纳为，数据挖掘是-个从不完整的、不明确的、大量的，并组包含噪声、具有很大随机性的数据中,提取隐含在其中、事先未被获知的潜在有用知识或模式的过程4。数据挖掘的定义包含以下4层含义。

(1 )数据源必须是真实、大量、含噪声的。
(2 )发现的是用户感兴趣的知识。
( 3)发现的知识要可接受、可理解、可运用，最好能用自然语言表达发现结果。
( 4 )并不是要发现放之四海皆准的知识，也不是要发现崭新的自然科学定理和纯数学公式，更不是机器定理证明,所发现的知识都是相对的,是有特定前提和约束条件、面向特定领域的。

从技术角度看,数据挖掘利用一系列相关算法和技术,从大量数据中提取人们所需的信息和知识，所提取的知识表示形式可以为概念、模式、规律和规则等;它可以通过对历史数据和当前数据的分析，帮助决策人员提取隐藏在数据背后的潜在关系与模式等,进而协助其预测未来可能出现的状况和即将产生的结果。
3.数据挖掘的理论框架

目前，关于数据挖掘的理论基础, 还没有发展到完全成熟的地步，但是分析它的发展,有助于加深对数据挖掘概念的理解。系统的理论是研究、开发、评价数据挖掘方法的基石。经过多年的探索，一 些重要的理论框架已经形成,并组吸引着众多研究人员进一步开展研究，向着更深入的方向发展。

数据挖掘方法可以是基于数学理论的，也可以是非数学的;可以是演绎的，也可以是归纳的。1997年 ，Mannila对当时流行的数据挖掘的理论框架做出了综述间5。结合最新的研究成果，下面一些重要的理论框架有助于准确地理解数据挖掘的概念与技术特点。