课程简介 Course Introduction

  本案例库课程目标是构建数据分析处理应用的两个平台,即以数据仓库为基础的分析平台与以大数据为基础的应用处理平台。以数据仓库为基础分析平台,将以SQL  Server数据仓库的构建和OLAP分析为主线,以网络安全态势历史数据为实例,展开商业智能数据分析处理,培养专业学位学生数据抽取、数据集成、数据分析、数据展示的综合能力。以大数据为基础的应用处理平台将以HDFS+MAPReduce平台为基础,培养学生大数据存储、大数据并行处理算法、大数据分析应用的能力。
课程建设目标和原理

1.  案例平台建设体现实用性和适用性原则      《大数据分析处理案例》是适应信息技术发展,尤其是数据科学与数据工程发展趋势而建设的。本案例的建设目标针对大数据的抽取、存储、分析和知识展示等各个环节设计应用场景,适合于企业大数据处理的OLTP,OLAP,DM的各个数据应用层次。案例平台的建设,始终围绕专业学位课程的设置和培养目标进行内容调整和丰富。

  2.  案例平台建设体现技术创新性和应用性      《大数据分析处理案例》库是应用当前最流行的数据分析平台、技术,结合本教学和研究团队的具体科研成果而组织编写和实施的,针对于数据分析平台构建、数据分析技法和知识可视化展示等的研究成果,编写了实现操作、易于实现的案例精华,供学位专业研究生的培养。案例建设结合入侵检测等网络应用、推荐算法、并行数据处理等热点领域的关键技术问题进行实践培训,具有很好应用需求。      

3.  案例平台建设体现理论与实践相结合的原则    《大数据分析处理案例》涉及到统计学习、数据挖掘、模式识别、大数据语义理解等各位学科领域,每个案例的编写结合具体的应用需求场景,对相关的算法进行深入浅出的描述,并对算法的相关步骤进行针对性的说明,保证学习达到事半功倍的良好效果。      

4.案例平台建设资源丰富性的原则与可扩展性原则  《大数据分析处理案例》库具有丰富的实操资源,首先我们通过虚拟机器技术实现了实现环境与实验数据的布署与集成,使得学生可以轻易上路。另外,我们提供了大量的源代码和操作视图供学生参照学习;任何集成平台都是需要不断完善的,本平台具有开放性,可以加入其他各个不同的算法进行平台的集成与完善。  

5.案例平台建设体现学生为本,将知识传授、能力培养和素质提高做为基本要求,即有丰富的教学内容,同时注重基础与前沿,将基本要求和拓展创新都有机的结合起来,提升教育质量。

教学大纲 Teaching Syllabus

本案例库课程目标是基于开源Hadoop生态系统构建面向大数据时代人才培养的数据科学分析实践平台,以真实场景为示范实现企业数据开发与管理能力培养,专注培养专业学位学生数据抽取、数据集成、数据分析、数据展示综合能力,从大数据存储、大数据并行处理算法、大数据分析应用三个维度,让学生掌握实现大数据分析应用的基本工具、开发语言、实现算法与应用集成,培养学生实现单机数据处理到多机数据处理的跨越,实现从数据处理到知识处理的提升。

1.大数据4V特征分析与处理流程

2.HDFS文件系统原理与存储实践

3.MapReduce编程模型与实践

4.HBASE数据模型与数据管理实践

5.垂直搜索引擎原理与实践

6.Hive数据仓库原理与实践

7.多维数据仓库构建与主题分析

8.图计算与内存计算引擎与实践

9.基于大数据的个性化推荐算法实现

10.基于大数据的主题事件检测与演化分析

参考书目:

1.利用Python进行数据分析 OREILLY,机械工业出版社,唐学韬等译

2.Hadoop大数据分析与挖掘实战 张良均等,机械工业出版社

3.Spark大数据处理 技术、应用与性能优化 高彦杰著,机械工业出版社



留言板 Message Board
条留言  共

  • 参与互动
    Interaction

  • 扫码加入课程
    Scan QR Code
教学队伍Teaching Members
  • 刘海
    副教授/Associate Professor
    华南师范大学
  • 汤庸
    教授/学者网创始人
    华南师范大学
  • 陈启买
    教授
    华南师范大学计算机学院
友情链接Links
需要验证您的身份,请输入请求信息:
  • 学号号:
  • 班级选择:
  • 附注信息:

扫一扫二维码,快速加入本课程!

放大二维码 查看使用方法
课程
引导