Spark算子:RDD基本转换操作(3)–randomSplit、glom – lxw的大...

来自 : lxw1234.com/archives/2015/07/3 发布时间：2021-03-25

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重
2015年7月2日rdd:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[16]at makeRDD at:21 scala>rdd.collect res6:Array[Int]=Array(1,2,3,4,5,6,7,8,9,10) ...spark, spark算子, Spark算子：RDD基本转换操作(3)–randomSplit、gl关键字：Spark算子、Spark RDD基本转换、randomSplit、glom randomSplit def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]] 该函数根据weights权重，将一个RDD切分成多个RDD。 该权重参数为一个Double数组 第二个参数为random的种子，基本可忽略。Spark算子：RDD基本转换操作(3)–randomSplit、glom – lxw的大数据田地