课程安排 一、大数据概述 二、大数据处理架构Hadoop 三、分布式文件系统HDFS 四、分布式数据库HBase 五、MapReduce 六、Spark 七、IPythonNotebook运行PythonSpark程序 八、PythonSpark集成开发环境 九、PythonSpark决策树二分类与多分类 十、PythonSpark支持向量机 十一

1\.前言ApacheFlink是一个分布式流处理引擎，它提供了丰富且易用的API来处理有状态的流处理应用，并且在支持容错的前提下，高效、大规模的运行此类应用。通过支持事件时间(eventtime)、计算状态(state)以及恰好一次(exactlyonce)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎。

简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）。Flink具有监控API，可用于查询"正在运行的jobs"和"最近完成的jobs"的状态和统计信息。该监控API被用于Flink自

Graphx   概述      SparkGraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。      众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现

HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介(https://www.oschina.net/action

“Hadoop能做什么？”，概括如下：　　1）搜索引擎：这也正是DougCutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引；　　2）大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等；　　3）大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等；　　4）

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：　　其中JDK、Hadoop、Spark都已经在两台电脑上安装好。　　一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（i

1KafkaKafka是一个开源分布式的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka由Scala和Java编写，2012年成为Apache基金会下顶级项目。2Kafka优点低延迟：Kafka支持低延迟消息传递，速度极快，能达到200w写/秒

Disconf分布式配置管理平台（安装配置）依赖环境Nginx：处理静态资源请求、动态请求转发到TomcatTomcat：处理Nginx的请求Redis：用户session管理MySQL：应用管理、用户管理、角色管理、环境管理、配置持久化Zookeeper：管理Disconf配置信息

NETCore的分布式批处理框架(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fbossma%2Fp%2F10668564.html)

分布式高可用键值对数据库Riak背景篇（3）Dynamo对于数据版本的处理数据版本问题不止存在于分布式系统，这里针对分布式数据库系统简单讨论下。先看一个简单的例子，用户x对key1做了一次写入操作，我们设值是数字3。然后用户y读取了key1，这个时候用户y知道的

Hadoop技术原理总结1、Hadoop运行原理Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，其最核心的设计包括：MapReduce和HDFS。基于Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。基于MapReduce计算模型编写分布式并行程序相对简单，

DolphinDBDatabase是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据

简介scrapy\_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发你可以启动多个spider对象，互相之间共享有一个redis的request队列，最适合多个域名的广泛内容的爬取特点分布式爬取分布式数据处理爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序

一、背景随着业务发展，单体系统逐渐无法满足业务的需求，分布式架构逐渐成为大型互联网平台首选。伴随而来的问题是，本地事务方案已经无法满足，分布式事务相关规范和框架应运而生。在这种情况下，大型厂商根据分布式事务实现规范，实现了不同的分布式框架，以简化业务开发者处理分布式事务相关工作，让开发者专注于核心业务开发。Seata就是这么一个分布式事

一、简介 ApacheKafka是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【MessageQueue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可

Python多线程分布式和并行是完全不同的概念，分布式只负责将一个测试脚本可调用不同的远程环境来执行；并行强调“同时”的概念，它可以借助多线程或多进程技术并行来执行脚本技术。10.1单进程的时代        在单线程的时代，当处理器要处理多个任务时，必须要对这些任务排一下执行顺序并按照这个顺序

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统