首页 >  
搜索关键字:spark    ( 204个结果
[Hadoop][Spark]Cluster and HA
#!/bin/bash# HOSTecho '10.211.55.101 spark01' >> /etc/hostsecho '10.211.55.102 spark02' >> /etc/hostsecho '10.211.55.103 spark03' >> /etc/hostsecho '1... ...
分类:其他   时间:2017-05-29 20:54:12    收藏:0  评论:0  赞:0  阅读:18
Spark -14:spark Hadoop 高可用模式下读写hdfs
第一种,通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1"); sc.hadoopConfiguration.set("dfs.nameservices", " ...
分类:其他   时间:2017-05-29 12:27:16    收藏:0  评论:0  赞:0  阅读:15
spark优化
优化一般考虑资源优化 一、资源优化 I 集群方面的:driver的内存,worker内存,核数 方法 1.配置文件:spark-env.sh(配置worker的信息) SPARK_WORKER_CORE 每个worker的使用总核数 SPARK_WORKER_MEMORY 每个worker所使用的内 ...
分类:其他   时间:2017-05-29 11:50:50    收藏:0  评论:0  赞:0  阅读:18
Spark程序本地运行
本次安装是在JDK安装完成的基础上进行的! SPARK版本和hadoop版本必须对应!!! spark是基于hadoop运算的,两者有依赖关系,见下图: 前言: 1.环境变量配置: 1.1 打开“控制面板”选项 1.2.找到“系统”选项卡 1.3.点击“高级系统设置” 1.4.点击“环境变量” 2. ...
分类:其他   时间:2017-05-28 23:33:54    收藏:0  评论:0  赞:0  阅读:17
解决spark程序报错:Caused by: java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
报错信息: 根据最后的Caused by信息和stack trace信息进行搜索,确定是broacast阶段超时,解决方法: http://stackoverflow.com/questions/41123846/scala-spark-dataframes-join-java-util-concu ...
分类:编程语言   时间:2017-05-28 19:23:20    收藏:0  评论:0  赞:0  阅读:18
基于spark1.4的Spark-Sql
Author: kwu 基于spark1.4的Spark-Sql,spark1.4.1在7月15刚公布。提供较好sql支持 1、怎样启动Spark-Sql 启动脚本例如以下 #!/usr/bin/env bash read -p "enter your username:" user read -s ...
分类:数据库技术   时间:2017-05-28 12:48:46    收藏:0  评论:0  赞:0  阅读:18
Spark GraphX实例(2)
5. 图的转换操作 图的转换操作主要有以下的方法: (1) Graph.mapVertices():对图的顶点进行转换,返回一张新图; (2) Graph.mapEdges():对图的边进行转换,返回一张新图。 代码: 运行结果: 6. 图的结构操作 图的结构操作主要有: (1) Graph.sub ...
分类:其他   时间:2017-05-27 22:12:44    收藏:0  评论:0  赞:0  阅读:14
spark一些入门资料
spark一些入门资料 A Scala Tutorial for Java Programmers http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html 学习资源(视频教程,书,样例等) spark.apache.o ...
分类:其他   时间:2017-05-27 13:16:48    收藏:0  评论:0  赞:0  阅读:16
Managing Spark data handles in R
When working with big data with R (say, using Spark and sparklyr) we have found it very convenient to keep data handles in a neat list ordata_frame. P ...
分类:其他   时间:2017-05-27 13:14:54    收藏:0  评论:0  赞:0  阅读:18
idea_pyspark 环境配置
1、配置好Hadoop和spark 2、配置好Pytho3.5 3、安装py4j pip3 install py4j 4、idea 中添加Python插件 file->setting->editor->plugins 右边搜索框中 搜索Python,下载插件 5、下载完后,重启软件,建立Python ...
分类:其他   时间:2017-05-26 22:54:10    收藏:0  评论:0  赞:0  阅读:20
Spark学习笔记——泰坦尼克生还预测
package kaggle import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, SparkSession} import or... ...
分类:其他   时间:2017-05-26 16:31:11    收藏:0  评论:0  赞:0  阅读:28
用scikit-learn学习LDA主题模型
在LDA模型原理篇我们总结了LDA主题模型的原理,这里我们就从应用的角度来使用scikit-learn来学习LDA主题模型。除了scikit-learn, 还有spark MLlib和gensim库也有LDA主题模型的类库,使用的原理基本类似,本文关注于scikit-learn中LDA主题模型的使用 ...
分类:其他   时间:2017-05-26 15:29:15    收藏:0  评论:0  赞:0  阅读:18
自学it18大数据笔记-第三阶段Spark-day12——会持续更新……
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18掌的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18掌做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成 ...
分类:其他   时间:2017-05-26 09:59:02    收藏:0  评论:0  赞:0  阅读:11
Spark学习笔记——手写数字识别
import org.apache.spark.ml.classification.RandomForestClassifier import org.apache.spark.ml.regression.RandomForestRegressor import org.apache.spark.m... ...
分类:其他   时间:2017-05-26 00:06:19    收藏:0  评论:0  赞:0  阅读:15
Spark Streaming的样本demo统计
废话不多说,直接上代码 ...
分类:其他   时间:2017-05-25 09:46:57    收藏:0  评论:0  赞:0  阅读:18
Spark2.1.0编译
1.下载spark源码包 http://spark.apache.org/downloads.html 2.安装Scala与maven,解压spark源码包 安装Scala: tar zxf scala-2.11.8.tar 修改vim /etc/profile export SCALA_HOME= ...
分类:其他   时间:2017-05-24 18:19:34    收藏:0  评论:0  赞:0  阅读:33
Spark2.1.0安装
1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HO ...
分类:其他   时间:2017-05-24 18:17:04    收藏:0  评论:0  赞:0  阅读:19
Spark探索经典数据集MovieLens
Spark探索经典数据集MovieLens 阅读目录 前言 环境 初步预览 探索用户数据 探索电影数据 探索评级数据 阅读目录 前言 环境 初步预览 探索用户数据 探索电影数据 探索评级数据 回到顶部 前言 MovieLens数据集包含多个用户对多部电影的评级数据,也包括电影元数据信息和用户属性信息 ...
分类:其他   时间:2017-05-24 15:20:49    收藏:0  评论:0  赞:0  阅读:16
自学it18大数据笔记-第三阶段Spark-day11——会持续更新……
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18掌的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18掌做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成 ...
分类:其他   时间:2017-05-24 15:11:47    收藏:0  评论:0  赞:0  阅读:14
SparkR 读取数据& Spark运行的配置
1.本地LOCAL环境安装Spark并试运行配置(在Ubuntu系统下例子) # 打开文件配置环境变量: JAVA,SCALA,SPARK,HADOOP,SBT gedit /etc/profile # 在文件中加入以下行 export JAVA_HOME=/usr/java/jdk1.8.0_51 ...
分类:其他   时间:2017-05-24 12:24:03    收藏:0  评论:0  赞:0  阅读:27
204条   1 2 3 4 ... 11 下一页
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号