云环境下运行数据监测及周期性异常预测方法的探讨与实现

论文价格:150元/篇 论文用途:硕士毕业论文 Master Thesis 编辑:vicky 点击次数:
论文字数:39569 论文编号:sb2021101814385738857 日期:2021-10-26 来源:硕博论文网
本文是一篇计算机论文,本文完成的工作内容如下: 1.针对现有云环境运行数据监测框架所面临的大规模、高并发、高耦合、资源消耗等挑战,结合异常预测的功能需求,本文提出了云环境下运行数据监测与异常预测框架,框架包含数据监测子系统和异常预测子系统,每个子系统相互独立,且向下提供服务,解决了高耦合性问题;每个子系统中的代理模块可以横向扩展,解决了扩展性问题,使用大数据中间件作为数据传输子系统的工具,更好的解决了大规模高并发等问题。

第一章  绪论

1.1  研究背景及意义
近年来,网络技术不断成熟,以网络为载体的互联网服务提供了在线购物、出行预定、住宿预定、外卖订餐等业务,这些互联网服务已经深入我们的日常生活,互联网服务给人们带来了更多的便利,造福人类生活。但是,随着计算和存储需求的不断增加,单机计算和存储技术已经不能够满足处理海量数据这一迫切要求。为了解决这些问题,并行计算(Parallel Computing)、分布式计算技术(Distributed Computing)和网格计算(Grid Computing)技术相继产生。
随着虚拟化技术的快速发展,云计算(Cloud Computing)[1]应运而生。云使用虚拟化的技术将物理资源(计算资源、存储资源、网络资源)进行虚拟化,形成众多的虚拟资源池,将虚拟资源以虚拟机的形式提供给云的用户。云计算技术提供多个层次的服务给用户,云计算用户可以根据实际需求配置虚拟机,通过网络访问云端的虚拟机,满足用户的计算需求。云计算技术的特点有:
(1)超大规模:云计算系统规模巨大,Google 的云计算机房已有超过 100万台服务器,普通企业级私有云也有成百上千台规模的服务器,云计算技术给用户提供了巨大的计算能力。云计算系统的超大规模,同时也给云环境带来了复杂性。
(2)  虚拟化:云计算技术可以让用户在任意位置和终端来获取应用与服务。用户所请求的资源来自虚拟化的云环境,而不是固定的物理机。应用在云环境下某处运行,用户无需了解也不用担心应用运行的具体位置。
(3)高可靠性:云计算系统运用容错机制等相关措施来保障高可用,保证云环境比本地计算更加可靠。
(4)按需弹性服务:云计算服务可以根据用户的实际需求,给云计算用户自动分配资源,提供应用程序、计算与存储等服务,同时为了保证资源用量与用户需求一致,云环境可以动态变化,以适应当前的负载变化。
(5)通用性:云环境不针对特定的应用,在云环境下可以运行不同类型的应用。
.......................

1.2  云环境异常分类以及异常预测
1.2.1  云环境异常分类
云环境由于具有复杂性和动态性,因此异常的种类较多。对云环境下异常种类的正确认识,有助于选择适用于不同异常种类的异常检测或者预测方法,从而实现有效的异常检测或预测。常见的云环境下异常种类有点异常、集合异常和上下文异常[6]。
(1)点异常。点异常在云环境下的发生最为普遍,是最主要的异常种类。点异常的定义是:如果一个独立的数据与其余的数据相比是异常的,那么它则是一个点异常。点异常可以发生在单属性数据中,也可以发生在多属性数据中,表现为一个或多个属性值处于不应该出现的区间内,假如正常的 CPU 利用率为30%-60%,当某个时间点的 CPU 利用率达到 90%以上时,则可以认为 CPU 发生了异常。
图 1.1  点异常示意图
图 1.1  点异常示意图
如图 1.1 所示,在直角坐标系中,点1o 和点2o 在正常边界 Normal 之外,它们和正常边界内的数据存在较大的差异性,因此点1o 和2o 是两个点异常。
(2)集合异常。集合异常定义为:如果一组连续数据构成的集合和整个数据集中的其他集合存在较大差异,那么则称该集合存在异常。集合中的某个独立数据来说可能是正常的,但是这些连续数据组成的集合和其余的集合可能存在差异,由此产生了集合异常。下图 1.2 为人的心电图,被红圈圈出来的部分被认为是集合异常,因为在[0,500]、[500,1000]、[1500,2000]等集合中,心电图在有规律的波动,被认为是正常集合,但在集合[1000,1500]中,心率则是一个平稳阶段,显然这是一个异常集合。
..........................

第二章  相关技术及研究

2.1  云计算相关技术
谷歌公司最早提出了云计算的概念,与传统的技术不同,云计算不是一种新的技术,而是一种新的运营模式。它通过将现有的技术整合在一起,提供不同的模式来运营云服务。云计算的运营模式主要分为三种,即三层服务架构:基础设施即服务(Infrastructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)、软件即服务(Software as a Service,SaaS)[31,32]。
云计算三层服务架构示意图如图 2.1 所示: 
图 2.1 云计算三层架构示意图
图 2.1 云计算三层架构示意图
(1)  基础设施即服务层:负责管理云平台的物理资源,包括物理服务器、路由器、交换机等设备。并且负责这些物理服务器的虚拟化服务,根据客户需求对物理资源进行动态分配,并且在此基础上继续提供计算服务和存储服务,代表性服务有虚拟化服务。
(2)  平台即服务层:该层在基础设施即服务层的基础上构建,通常由数据库服务、Web 服务以及软件运行环境等中间件服务构成。例如,为了实现网站搭建,需要搭建数据库、Web 服务器以及相关环境等,以支撑网站的运行。
(3)  软件即服务层:该层在平台即服务层的基础上构建,处于三层服务架构的最高层。软件即服务层由云服务提供商为客户直接提供相关应用,不需要客户进行虚拟化操作和相关中间件环境的搭建。与传统的软件不一样,云环境下的应用具有更高的可用性和更低的运营成本。该层的代表性服务主要有 CRM 服务、虚拟桌面服务等。
..............................

2.2  编码器-解码器模型
近年来,通过基于深度学习重构模型方法来进行异常检测的算法越来越多,典型的基于深度学习的重构模型有编码器-解码器(Encoder-Decoder, ED)[37]模型。作为基于深度学习重构模型的典型代表,Encoder-Decoder 是一种半监督式算法,图 2.5 是 Encoder-Decoder 的结构图:
使用 Encoder-Decoder 模型来进行异常检测是基于正常数据易于采集这一特点,使用模型拟合正常的数据。当把异常数据输入模型时,模型因为只有拟合正常数据的能力,对于异常数据的拟合能力不强,导致重构的数据与输入的数据之间的误差较大,通过设置阈值,当重构误差大于某阈值时,可以认为输入数据是异常数据,当小于或等于阈值时,认为输入数据为正常数据,以此可以推出数据是否异常,模型还可以给出输入数据的异常程度,异常程度与重构误差成正比。 
其中 Encoder-Decoder 模型的优点有:
(1)  模型只需要通过拟合正常数据来训练模型,即可达到异常检测的目的。由于在异常检测领域,正常数据的比例远远多于异常数据,因此正常数据的获取更加容易,模型的训练数据也就更加容易获得,这样会为异常检测工作节省大量的时间。
(2)  模型既可以拟合线性数据也可以拟合非线性数据,具有泛化能力。
(3)  模型的重构误差值可以作为异常程度得分,来量化输入的数据的异常程度,供相关技术人员参考。
缺点:Encoder-Decoder 模型必须要有足够多的正常数据来训练模型,当输入一个训练数据集中未有的正常数据,且此正常数据的特征与原有训练集不同时,模型的重构输出与输入数据相差较大,此时容易造成误判。
..........................

第三章  云环境下运行数据监测与异常预测框架 ....................... 25
3.1  云环境下运行数据监测与异常预测框架 ........................... 25
3.2  数据监测代理与异常预测代理设计 ................................... 27
第四章  融合 Attention-ConvGRU-ED 数据预测模型和 Encoder-Decoder 检测模型的周期性异常预测方法 ........................ 33
4.1  方法流程 ........................... 33
4.2  数据预处理 ......................... 34
第五章  云环境下周期性运行数据异常预测原型系统及实验 ... 49
5.1  云环境下周期性运行数据异常预测原型系统需求分析设计 ................................... 49
5.2  云环境下周期性运行数据异常预测原型系统的展示 ....... 50

第五章  云环境下周期性运行数据异常预测原型系统及实验

5.1  云环境下周期性运行数据异常预测原型系统需求分析设计
本章将根据第四章提出的周期性运行数据异常预测方法,完成一个云环境下周期性运行数据异常预测原型系统。首先,对云环境运行数据异常预测原型系统从需求分析到各个功能模块的相关功能介绍,然后,通过实验验证本文提出的云环境下周期性异常预测方法的有效性。
本文针对云环境下运行数据异常预测原型系统所具备的功能和需求分析的设计,给出原型的用例图如图所示:
图 5.1  云环境下运行数据异常预测原型系统用例图
图 5.1  云环境下运行数据异常预测原型系统用例图
由图 5.1 可知,云环境下周期性运行数据异常预测原型系统包含两个功能模块:云环境周期性运行数据的监测和周期性运行数据的异常预测。对两个功能模块的具体介绍如下:
(1)云环境周期性运行数据监测功能模块:该功能模块的作用是在云环境下使用监测代理按照固定的时间间隔获取云环境的运行数据,并且传输至数据库中进行保存,给异常预测模块提供数据源。监测对象有云环境下 CPU、内存等运行数据信息。
(2)云环境周期性运行数据异常预测功能模块:该功能模块的作用是根据运行数据监测模块监测到的周期性数据输入到融合 Attention-ConvGRU-ED 的数据预测模型和 Encoder-Decoder 检测模型的周期性异常预测方法进行异常预测,得出预测结果。
.............................

第六章  总结与展望

6.1  总结
由于云计算技术的发展,云计算环境的稳定性越来越受到重视,并且云环境的稳定性要求越来越高。云计算环境运行数据异常预测方法需要针对各种类的异常,现有的研究对周期性异常研究较少,且存在问题。本文提出了融合 Attention-ConvGRU-ED 数据预测模型和 Encoder-Decoder 检测模型的周期性异常预测方法用于云环境周期性运行数据异常预测。本文完成的工作内容如下:
1.针对现有云环境运行数据监测框架所面临的大规模、高并发、高耦合、资源消耗等挑战,结合异常预测的功能需求,本文提出了云环境下运行数据监测与异常预测框架,框架包含数据监测子系统和异常预测子系统,每个子系统相互独立,且向下提供服务,解决了高耦合性问题;每个子系统中的代理模块可以横向扩展,解决了扩展性问题,使用大数据中间件作为数据传输子系统的工具,更好的解决了大规模高并发等问题。
2.针对云环境周期性运行数据异常预测方法所存在问题,提出了一种融合Attention-ConvGRU-ED 数据预测模型和 Encoder-Decoder 检测模型的周期性异常预测方法。该方法分为两个模型,Attention-ConvGRU-ED 数据预测模型和Encoder-Decoder 检测模型。Attention-ConvGRU-ED 数据预测模型需要先对原始监测数据先进行预处理,包括使用线性插值法进行缺失值填充、对周期数据进行归一化操作。然后输入 Attention-ConvGRU-ED 数据预测模型,以更加精确的获得下一时间步周期的预测数据。最后,获得预测数据后将该数据输入 Encoder-Decoder 检测模型,及时获得预测结果,并得出异常程度。
3.设计并实现了云环境下周期性运行数据异常预测原型系统,并展示了原型系统运行的界面。且进行了相关对比实验,验证了本文提出的异常预测方法的有效性。
参考文献(略)
上一篇:基于图像分割的面积计算及语义分割算法探讨
下一篇:基于概率图模型的个性化推荐算法探讨与并行实现