计算机 类型
可以朗读 语音朗读
185千字 字数
2020-06-01 发行日期
展开全部

主编推荐语

本书深入研究大数据平台异常检测与分析，构建离线与实时方法体系，并提出推测式任务调度算法。

内容简介

本书在介绍相关研究工作及基础之后，主要针对大数据平台的访问日志研究平台异常的检测与分析问题。构建大数据平台异常的离线检测与分析的方法体系，研究概念漂移的二重检测机制、分布式日志的最大频繁序列模式、基于最大频繁模式的动态规则库构建方法、基于聚类分析K-Means算法、Canopy算法、CMBK算法）的离线异常检测算法，提出基于最大信息系数的在线异常检测方法、基于贝叶斯粒子群的异常检测方法；构建大数据平台异常的实时检测与分析方法体系，研究基于Web会话流的分布式实时异常定位方法、基于会话特征相似性模糊聚类的异常检测算法、基于相邻请求的动态时间阈值会话识别算法；研究平台异常时运行维护的推测式任务调度策略并提出基于实时负载的推测式任务调度算法；从大数据技术与组件技术选型入手，针对大数据平台异常检测分析系统进行深入的结构分析、构建一种称为融合框架的RADA系统，比较系统地介绍大数据平台异常的实时检测与分析系统的系统研发实现的关键技术。

目录

  • 封面
  • 书名页
  • 内容简介
  • 版权页
  • 前言
  • 目录
  • 第1章　绪论
  • 1.1　大数据平台异常检测分析研究的背景与意义
  • 1.2　大数据平台异常检测分析技术的国内外相关研究进展
  • 1.2.1　大数据平台异常检测分析技术的国内外研究现状
  • 1.2.2　大数据平台异常检测分析系统的国内外研究现状
  • 1.3　本书的主要贡献
  • 1.4　本书的组织结构
  • 1.5　本章小结
  • 第2章　大数据平台异常检测分析的相关基础
  • 2.1　引言
  • 2.2　日志
  • 2.3　日志预处理
  • 2.4　异常检测
  • 2.4.1　异常检测的定义
  • 2.4.2　几类常见的异常检测算法
  • 2.5　入侵检测Snort系统
  • 2.6　Web用户行为模式挖掘
  • 2.7　本章小结
  • 第3章　基于数据流二重概念漂移检测的增量学习
  • 3.1　引言
  • 3.2　二重概念漂移检测机制
  • 3.3　基于数据属性的二重概念漂移检测机制
  • 3.4　基于分类性能的二重概念漂移检测机制
  • 3.5　基于增量SVM与二重检测的概念漂移数据流分类模型TDD-ISVM
  • 3.6　TDD-ISVM算法的时间复杂度分析
  • 3.7　实验设计与结果分析
  • 3.7.1　实验数据集
  • 3.7.2　实验结果与分析
  • 3.8　本章小结
  • 第4章　分布式日志的最大频繁序列模式挖掘算法
  • 4.1　引言
  • 4.2　序列模式挖掘相关工作
  • 4.3　动机与背景
  • 4.3.1　使用分布式计算框架的动机与背景
  • 4.3.2　使用PrefixSpan算法挖掘序列模式的动机与背景
  • 4.3.3　改进PrefixSpan算法提取局部最大频繁序列的动机与背景
  • 4.3.4　改进PrefixSpan算法提取全局最大频繁序列的动机与背景
  • 4.4　分布式日志最大频繁序列模式挖掘算法描述
  • 4.4.1　基于Spark的分布式计算框架
  • 4.4.2　算法总体描述
  • 4.4.3　算法第一阶段：各节点提取局部最大频繁序列
  • 4.4.4　算法第二阶段：各节点集成，提取全局最大频繁序列
  • 4.5　实验设计与结果分析
  • 4.5.1　实验数据集
  • 4.5.2　实验结果与分析
  • 4.6　本章小结
  • 第5章　基于最大频繁模式的动态规则库构建算法
  • 5.1　引言
  • 5.2　动态Web用户访问序列数据库DWASD的构建
  • 5.3　基于DWASD的分布式PrefixSpan算法
  • 5.3.1　PrefixSpan算法改进描述
  • 5.3.2　算法的时间复杂度分析
  • 5.4　实验设计与结果分析
  • 5.4.1　实验数据集
  • 5.4.2　实验结果与分析
  • 5.5　本章小结
  • 第6章　基于Web会话流的分布式实时异常定位算法
  • 6.1　引言
  • 6.2　基于Web会话流的实时异常定位框架
  • 6.3　基于混合生物基因序列比对的异常定位AL_HBGSA算法
  • 6.3.1　基本概念
  • 6.3.2　AL_HBGSA序列比对算法
  • 6.3.3　AL_HBGSA算法的时间复杂度分析
  • 6.4　实验设计与结果分析
  • 6.4.1　实验数据集
  • 6.4.2　实验结果与分析
  • 6.5　本章小结
  • 第7章　基于最大信息系数的在线异常检测算法
  • 7.1　引言
  • 7.2　相关基础
  • 7.2.1　用户活跃度
  • 7.2.2　最大信息系数
  • 7.3　基于最大信息系数的在线异常检测算法介绍
  • 7.4　算法的时间复杂度分析
  • 7.5　实验设计与结果分析
  • 7.5.1　实验数据集
  • 7.5.2　实验结果与分析
  • 7.6　本章小结
  • 第8章　基于聚类分析的离线异常检测算法
  • 8.1　引言
  • 8.2　基本聚类算法
  • 8.2.1　K-means聚类算法
  • 8.2.2　Canopy聚类算法
  • 8.2.3　CMBK聚类算法
  • 8.3　基于改进聚类分析的离线异常检测算法
  • 8.3.1　异常指数
  • 8.3.2　CMBK4AD离线异常检测算法
  • 8.4　算法的时间复杂度分析
  • 8.5　实验设计与结果分析
  • 8.5.1　实验数据集
  • 8.5.2　实验结果与分析
  • 8.6　本章小结
  • 第9章　基于相邻请求的动态时间阈值会话识别算法
  • 9.1　引言
  • 9.2　相关基础
  • 9.2.1　页面访问时间阈值
  • 9.2.2　用户访问时间阈值
  • 9.2.3　设置页面时间阈值
  • 9.3　DAITS算法
  • 9.4　实验设计与结果分析
  • 9.4.1　实验数据集
  • 9.4.2　实验结果与分析
  • 9.5　本章小结
  • 第10章　基于会话特征相似性模糊聚类的SFAD异常检测算法
  • 10.1　引言
  • 10.2　基本工作
  • 10.2.1　会话特征中网络权重的计算
  • 10.2.2　会话特征相似性的计算
  • 10.2.3　会话数据集的模糊聚类方法
  • 10.3　会话特征相似性模糊聚类的异常检测算法
  • 10.3.1　会话的数据结构及生成
  • 10.3.2　建立用户相似性矩阵
  • 10.3.3　检测和定位异常用户
  • 10.4　实验设计与结果分析
  • 10.4.1　数据集描述
  • 10.4.2　实验结果与分析
  • 10.5　本章小结
  • 第11章　基于贝叶斯粒子群的异常检测算法
  • 11.1　引言
  • 11.2　基于朴素贝叶斯分类的异常检测模型ADM-NBC
  • 11.2.1　用户会话特征提取
  • 11.2.2　ADM-NBC的构建
  • 11.3　基于ADM-NBC的WNB-PSO算法
  • 11.3.1　加权朴素贝叶斯分类算法
  • 11.3.2　粒子群优化算法
  • 11.3.3　改进的粒子群优化算法
  • 11.3.4　WNB-PSO算法描述
  • 11.4　实验设计与结果分析
  • 11.4.1　实验数据集
  • 11.4.2　实验结果与分析
  • 11.5　本章小结
  • 第12章　平台异常时的推测式任务调度策略
  • 12.1　引言
  • 12.2　多用户作业调度器
  • 12.2.1　公平调度器
  • 12.2.2　计算能力调度器
  • 12.3　推测执行调度算法
  • 12.3.1　Hadoop-Original推测执行调度算法
  • 12.3.2　LATE推测执行调度算法
  • 12.3.3　基于备份任务完成时间的推测执行调度策略
  • 12.3.4　Mantri系统推测执行调度策略
  • 12.4　本章小结
  • 第13章　基于实时负载的推测式任务调度算法
  • 13.1　引言
  • 13.1.1　Hadoop-Original推测式任务调度算法的不足
  • 13.1.2　LATE推测式任务调度算法的不足
  • 13.2　推测式任务调度算法改进
  • 13.2.1　基于混合进度比的任务进度估算方法
  • 13.2.2　慢任务判定方法
  • 13.2.3　慢节点判定方法
  • 13.3　节点负载分级模型
  • 13.4　基于实时负载的推测式任务调度算法流程
  • 13.5　实验设计与结果分析
  • 13.5.1　实验平台及部署
  • 13.5.2　测试作业选择及评估方式
  • 13.5.3　实验方案
  • 13.5.4　实验结果与分析
  • 13.6　本章小结
  • 第14章　大数据Lambda架构与微服务架构技术选型
  • 14.1　引言
  • 14.2　大数据技术Lambda架构
  • 14.2.1　Hadoop技术基础
  • 14.2.2　Spark技术生态体系
  • 14.2.3　基于Flume+Kafka的大数据收集组件
  • 14.2.4　基于Spark的大数据处理组件
  • 14.2.5　基于HBase的大数据存储与管理组件
  • 14.2.6　基于MLlib的大数据分析及挖掘组件
  • 14.2.7　基于Spark Streaming的大数据流处理组件
  • 14.3　微服务架构的有关组件技术选型
  • 14.3.1　微服务架构
  • 14.3.2　Spring Boot
  • 14.3.3　MyBatis
  • 14.3.4　Spring Cloud
  • 14.4　本章小结
  • 第15章　大数据平台异常检测分析系统的结构化分析
  • 15.1　引言
  • 15.2　问题与场景描述
  • 15.3　初步需求分析
  • 15.4　系统数据流
  • 15.4.1　顶层数据流
  • 15.4.2　第一层数据流
  • 15.4.3　第二层数据流
  • 15.4.4　第三层数据流
  • 15.5　功能需求
  • 15.6　非功能需求
  • 15.7　本章小结
  • 第16章　基于融合架构的RADA系统概要设计
  • 16.1　引言
  • 16.1.1　RADA系统逻辑架构的初步构建
  • 16.1.2　RADA系统物理架构的初步构建
  • 16.2　RADA系统逻辑架构设计
  • 16.2.1　基于微服务架构的RADA系统逻辑架构设计
  • 16.2.2　基于Lambda架构的RADA系统逻辑架构设计
  • 16.2.3　基于微服务架构和Lambda架构的RADA系统技术架构设计
  • 16.3　运行部署环境
  • 16.3.1　系统运行网络环境
  • 16.3.2　系统运行硬件环境
  • 16.3.3　系统运行软件环境
  • 16.4　日志预处理子系统概要设计
  • 16.4.1　上传离线日志
  • 16.4.2　处理离线日志
  • 16.4.3　获取实时日志
  • 16.4.4　处理实时日志
  • 16.4.5　日志规范化
  • 16.4.6　处理规范化日志
  • 16.4.7　添加日志模板
  • 16.4.8　处理日志模板
  • 16.5　监控告警子系统概要设计
  • 16.5.1　设置告警方式
  • 16.5.2　离线异常检测
  • 16.5.3　实时异常检测
  • 16.5.4　查询异常信息
  • 16.5.5　更新规则库
  • 16.6　数据库设计
  • 16.6.1　数据库实体关系分析
  • 16.6.2　数据字典
  • 16.7　本章小结
  • 第17章　RADA系统的详细设计与实现方法
  • 17.1　引言
  • 17.2　RADA系统架构的实现机制
  • 17.2.1　RADA系统中微服务架构的实现
  • 17.2.2　RADA系统中Lambda架构的实现
  • 17.3　日志预处理的详细设计
  • 17.3.1　控制层设计
  • 17.3.2　服务层设计
  • 17.3.3　持久化层设计
  • 17.4　监控告警模块的详细设计
  • 17.4.1　控制层设计
  • 17.4.2　服务层设计
  • 17.4.3　持久层设计
  • 17.5　核心用例的实现
  • 17.5.1　上传离线日志
  • 17.5.2　离线日志规范化处理
  • 17.5.3　离线异常检测
  • 17.5.4　获取实时日志
  • 17.5.5　实时日志规范化处理
  • 17.5.6　实时异常检测
  • 17.6　本章小结
  • 第18章　总结与展望
  • 18.1　总结
  • 18.2　展望
  • 附录A
  • 参考文献
  • 封底
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

电子工业出版社

电子工业出版社成立于1982年10月，是国务院独资、工信部直属的中央级科技与教育出版社，是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展，已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域，综合出版能力位居全国出版行业前列。