博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark shell的实例操作
阅读量:7040 次
发布时间:2019-06-28

本文共 684 字,大约阅读时间需要 2 分钟。

1、

scala> val inFile = sc.textFile("./spam.data")

   作用是将spam.data当作文本文件加载到Spark中,将spam.data文件中的每行作为一个RDD中的单独元素加载到Spark中,并返回一个名为inFile的RDD。

 

 

   2、

scala> val inFile = sc.textFile([filepath])

   作用是,在本地模式下,可以将文件从本地直接加载。

 

 

   3、

scala> import spark.SparkFiles;scala> val file = sc.addFile("spam.data")scala> val inFile = sc.textFile(SparkFiles.get("spam.data"))

    作用是,让spam.data文件在所有机器上都有备份,使用了SparkContext类中的addFile函数。

 

 

   4、

scala> val nums = inFile.map(x => x.split(' ').map(_.toDouble))

    作用是比较nums和inFile这两个RDD,确认一下两种数据的内容是一致的。

    注意了,x=>x.toDouble与_.toDouble等价

 

 

 

  5、

scala> inFile.first()

     作用是查看你inFile这个RDD中的第一个元素

 

 

 

  6、

  想清晰的学习,请移步

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5717855.html,如需转载请自行联系原作者

你可能感兴趣的文章
android在线API地址
查看>>
Verson Magic problem
查看>>
Passcode
查看>>
TapKu Graph
查看>>
面试需要的基础知识-合并排序数组
查看>>
关于Unity 2018的实体组件系统(ECS)一
查看>>
Echarts---添加渐变功能
查看>>
linux 下解压命令大全
查看>>
深入了解 Linux下安装DNS+Sendmail服务
查看>>
python在类中实现swith case功能
查看>>
Maven com.sun.jdmk:jmxtools:jar 下载不下来
查看>>
DevExpress之Skin自定义使用
查看>>
可变参数
查看>>
[日推荐]『饿了么外卖服务』饿了么官方小程序,无需下载安装!
查看>>
JavaScript 作用域
查看>>
Linux Ubuntu 16.04 主机名设置
查看>>
CCNP 静态路由
查看>>
单链表二[不带头节点链表]
查看>>
Spring mvc 拦截器
查看>>
MySQL GROUP BY 和GROUP_CONCAT的一些用法
查看>>