在spring源码中，在很多地方都会出现PropertyEditor，那么属性编辑器用来干什么的呢？属性编辑器主要应用在以下两个方面：使用PropertyEditors设置Bean属性。当你在XML文件中声明的bean的属性类型为java.lang.String时，Spring将在容器初始化该bean时使用ClassEditor将Str

最近在学多线程并发的知识，发现好像ThreadLoca还挺重要，决定看看源码以及查找各方资料来学习一下。ThreadLocal能够提供线程的局部变量，让每个线程都可以通过set/get来对这个局部变量进行操作，不会和其它线程的局部变量进行冲突，实现了线程的数据隔离。首先是ThreadLocal的结构：每个Thread维护一个ThreadLocalMap，这个

!(https://gss1.bdstatic.com/vo3dSag_xI4khGkpoWK1HF6hhy/baike/w%3D268%3Bg%3D0/sign0c730b84bd19ebc4c078719fba1da8c1/37d12f2eb9389b503a80d4b38b35e5dde6116ed7.jpg)

importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.function.VoidF

Spark1.6.0一般程序的入口都是这个步骤，ConfigContextSpark也不例外，先从入口开始SparkConf：Spark应用程序的配置/   SparkConf.scala        Configuration for a Spark applicatio

import包：importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.types.{IntegerType,StringType,StructField,StructTyp

1\.sparkcache原理Task运行的时候是要去获取Parent的RDD对应的Partition的数据的，即它会调用RDD的iterator方法把对应的Partition的数据集给遍历出来，具体流程如下图：!在这里插入图片描述(https://imgblog.csdnimg.cn/20200724165519878.pn

随着大数据和AI业务的不断融合，大数据分析和处理过程中，通过深度学习技术对非结构化数据（如图片、音频、文本）进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作，在大数据的处理过程利用深度学习框架对非结构化数据进行处理。Spark介绍Spark是大规模数据处理的事实标准，包括机器学习的操

Spark是一个大规模的数据处理引擎，集成了SQL查询分析，该引擎是用Scala写的，所以一些高级的实现了的算法都是用它进行描述。已知支持的第三方语言有：C【https://github.com/Microsoft/Mobius，Java,Scala,Python,R【http://spark.apache.org】一般性理解：Spark

参考《Spark内核设计的艺术：架构设计与实现——耿嘉安》NettyRpcEnv概述 Spark的NettyRpc环境的一些重要组件：privatenettyvaltransportConfSparkTransportConf.fromSparkConf(...)privat

引言对于Spark开发人员来说，了解stage的划分算法可以让你知道自己编写的sparkapplication被划分为几个job，每个job被划分为几个stage，每个stage包括了你的哪些代码，只有知道了这些之后，碰到某个stage执行特别慢或者报错，你才能快速定位到对应的代码，对其进行性能优化和排错。stage划分原理与源码

本章内容：1、功能描述本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来简单介绍介绍SparkContext，注释的第一句话就是说Spar

Spark安装spark运行环境spark是Scala写的，运行在jvm上，运行环境为java7如果使用Python的API,需要使用Python2.6或者Python3.4Spark1.6.2  Scala2.10  Spark2.0.0  Scala 2.11

4. Hadoop相关配置及Executor环境变量的设置4.1 Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下：!(https://oscimg.oschina.net/

Kafka源码系列之Broker的IO服务及业务处理一，kafka角色Kafka源码系列主要是以kafka0.8.2.2源码为例。以看spark等源码的经验总结除了一个重要的看源码的思路：先了解部件角色和功能角色，然后逐个功能请求序列画图分析，最后再汇总。那么，下面再啰嗦一下，kafka的角色。kafka在生产中的使用，如下

!(https://www.w3cschool.cn/attachments/image/20170807/1502093784622523.png)一：源码分析代码片段

在WEB开发中，上传文件的操作时必不可少的一项功能。那么，在Jfinal中，关于文件上传的操作，他到底都做了些什么呢？又有什么需要注意的了？今天我们就来看看关于文件上传的那些个故事。关于上传文件，他和普通的表单提交不一样，有啥不一样，为何不一样，怎么就不一样了？我想这个应该不用我多少吧，做WEB应用的同学们都应该知道，在有附件提交的那种表单里面，一定要加

书接上文(http://my.oschina.net/corleone/blog/652484)，SparkContext的CoarseGrainedSchedulerBackend已创建完毕，并且Driver也可以通过DriverEndpoint发消息了。让咱们再回到CoarseGrainedSchedulerBackend的子类，SparkDep

5步教你将MRS数据导入DWSMapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据