ITeye博客

houston123的博客

houston123 · 共 47 篇文章

logback使用

import org.slf4j.Logger; import org.slf4j.LoggerFactory; public class MyClass { private static Logger logger = LoggerFactory.getLogger(MyClass.class); public static void main(String[] args) throws Exception{ someMethod(); } public static void someMethod() { logger.info("Hello world 824"); logger.de…

2016-08-24T16:35:46Z · java · 评论(0)

flume-ng hdfs配置文件

collection73Agent.sources=source73 collection73Agent.sinks=sink73-1 sink73-2 collection73Agent.channels=channel73 #configuration source collection73Agent.sources.source73.type=avro collection73Agent.sources.source73.channels=channel73 collection73Agent.sources.source73.bind=10.21.3.73 collection73A…

2016-08-17T14:02:21Z · flume · 评论(0)

exec方式flume-ng配置

producer.sources = r1 producer.sinks = k1 k2 producer.channels = c1 c2 # Describe/configure the source producer.sources.r1.type = exec producer.sources.r1.command =tail -F /home/tom/job/test/data/test.txt # Describe the sink producer.sinks.k1.type = logger producer.sinks.k2.type = com.thilinamb.flu…

2016-08-17T14:02:14Z · flume · 评论(0)

Spark Kmeans算法

spark-submit --class com.ones.soc.cf.KMeansClustering --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar /ones/mldata/test1 /ones/mldata/test2 8 30 3 /ones/result/12345 ############################################## package com.ones.soc.cf import org.apache.ha…

2016-08-17T14:02:05Z · 机器学习 · 评论(0)

Als最小二乘法

spark-submit --class com.ones.soc.cf.MoiveRecommender --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar 2 5 0.01 /ones/mldata/1u.user /ones/mldata/1u.data /ones/result/1 package com.ones.soc.cf import com.ones.soc.json.JSONObject import org.apache.hadoop.conf…

2016-08-17T14:01:55Z · 机器学习 · 评论(0)

Scala访问修饰符

包,类或对象的成员可以标记访问修饰符private和protected,如果我们不使用这两种关键字,那么访问将被默认设置为public。这些修饰限制为成员的代码的某些区域访问。要使用访问修饰符,包括它的包,类或对象的成员定义的关键字,我们将在下一节中看到。 私有成员: 私有成员只能看到里面包含的成员定义的类或对象。下面是一个例子: class Outer { class Inner { private def f() { println("f") } class InnerMost { f() // OK } } (new Inner).f() // Error: f is not acce…

2016-08-17T13:59:12Z · Scala · 评论(0)

Storm和Spark streaming区别

1.处理模型 Storm处理的是每次传入的一个事件. Spark Streaming是处理某个时间段窗口内的事件流 2.延迟 Storm处理一个事件可以达到秒内的延迟 Spark Streaming则有几秒钟的延迟 3.容错 Storm中,每个单独的记录当它通过系统时必须被跟踪,所以Storm能够至少保证每个记录将被处理一次, 从错误中恢复过来时候允许出现重复记录。这意味着可变状态可能不正确地被更新两次 (实际上,Storm的 Trident library库也提供了完全一次处理。但是,它依赖于事务更新状态,这比较慢,通常必须由用户实现。) Spark Streaming只需要在批级别进行跟…

2016-08-16T11:55:11Z · Spark · 评论(0)

flume-ng syslogtcp整合配置文件

#configuration 'flume78Agent' flume78Agent.sources=source78 flume78Agent.sinks=sink78-1 sink78-2 flume78Agent.channels=channel78 #configuration sinks group flume78Agent.sinksgroups=group78 #configuration sources flume78Agent.sources.source78.type=syslogtcp flume78Agent.sources.source78.port=514 flu…

2016-08-16T11:53:04Z · flume · 评论(0)

Storm Trident 项目

事务:运用IPartitionedTridentSpout DRPC:Web端通过DRPC获得结果数据 topN:按销售额排行 基于Hbase存储的Trident state:支持Topo重启时不丢数据,也可支撑Web端读数据 数据获得实现 通过开源Storm-kafka项目提供 采用Storm-kafka 项目中提供的TransactionalTridentKafkaSpout 开发思路 1、业务逻辑处理,bolt中实现; 2、数据落地格式可更加前台HighCharts的需要而定,有时需要特别为HighCharts的数据格式来存储落地数据,如项目三中就会这样。 采用内存+磁盘方式避免断电、…

2016-08-16T11:52:50Z · storm · 评论(0)

spark 几种transformation 的计算逻辑和测试

测试例子使用的数据: test01: [java]view plaincopyprint?在CODE上查看代码片派生到我的代码片 a a b b c c d d e e f f g g test02: [java]view plaincopy print?在CODE上查看代码片派生到我的代码片 11 22 33 44 55 66 a a b b c c d d e e f f 1、union(otherRDD) union() 将两个rdd简单结合在一起,与mysql中的union 操作类似只不过它是操作的rdd,它不会改变partition中的数据 spark sql 测试: [java]…

2016-08-16T11:52:23Z · Spark · 评论(0)

leftOuterJoin操作

import org.apache.spark.rdd.RDD import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object JoinRDD { def main(args: Array[string]) { val conf = new SparkConf().setAppName("sparkjson").setMaster("local") val sc = new SparkContext(conf) val file1 = sc.textFile("C:…

2016-08-16T11:52:02Z · Spark · 评论(0)

Md5+Base64产生令牌

import java.security.MessageDigest; import java.util.Random; import sun.misc.BASE64Encoder; // 令牌产生器 public class TokenProccessor { // 单例 private TokenProccessor(){} private static TokenProccessor instance = new TokenProccessor(); public static TokenProccessor newInstance() { return instance; } // …

2016-08-15T13:33:58Z · java · 评论(0)

kafka生成者实例

1. 配置文件 producer.properties #kafka broker list metadata.broker.list=master:9092,slave1:9092,slave2:9092,slave3:9092 #异步 producer.type=sync #压缩方式 compression.codec=0 #序列化 serializer.class=kafka.serializer.StringEncoder #batch.num.messages=100 2.生产者代码 import java.io.FileNotFoundException; import java…

2016-08-15T13:33:42Z · kafka · 评论(0)

kafka消费者实例

1.配置文件 consumer.properties #zookeeper地址 zookeeper.connect=master:2181,slave1:2181,slave2:2181 #zookeeper超时时间 zookeeper.connectiontimeout.ms=1000000 #kafka的consumer组 group.id=test-group 2. 组织代码 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.…

2016-08-15T13:32:20Z · kafka · 评论(0)

Linux Shell 命令

前言 本文介绍了常用的Linux shell命令,包括date、cut、sort、uniq、sed、vi、diff、find等,同时给出尽可能使用的实例以便于理解。 Linux shell命令 2.1 date 作用:获取或者设置日期 用法:date 显示时间格式(以+开头,后面接格式) 举例: (1) 以固定格式显示时间:date + “%Y%m%d%H” (2) 显示明天的日期:date -d “tomorrow” +”%Y-%m-%d” (3) 显示前天的日志:date -d “1 days ago” +”%Y-%m-%d” 2.2 cut 作用:从输入文件或者命令的输出中析取出各种域…

2016-08-15T13:31:34Z · Linux · 评论(0)