houston123
- 浏览: 60192 次
- 性别:
- 来自: 北京
-
最新评论
-
shuige_水哥：
FileSystemXmlApplocationContext ...
FileSystemXmlApplicationContext -
shuige_水哥：
第三个是FileSystemXmlApplocationCon ...
FileSystemXmlApplicationContext
文章列表
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class MyClass {
private static Logger logger = LoggerFactory.getLogger(MyClass.class);
public static void main(String[] args) throws Exception{
someMethod();
}
public static void someMethod() {
...
collection73Agent.sources=source73
collection73Agent.sinks=sink73-1 sink73-2
collection73Agent.channels=channel73
#configuration source
collection73Agent.sources.source73.type=avro
collection73Agent.sources.source73.channels=channel73
collection73Agent.sources.source73.bind=10.21.3.73
co ...
producer.sources = r1
producer.sinks = k1 k2
producer.channels = c1 c2
# Describe/configure the source
producer.sources.r1.type = exec
producer.sources.r1.command =tail -F /home/tom/job/test/data/test.txt
# Describe the sink
producer.sinks.k1.type = logger
producer.sinks.k2.type = com.t ...
spark-submit --class com.ones.soc.cf.KMeansClustering --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar /ones/mldata/test1 /ones/mldata/test2 8 30 3 /ones/result/12345
##############################################
package com.ones.soc.cf
impor ...
spark-submit --class com.ones.soc.cf.MoiveRecommender --master yarn --num-executors 3 --driver-memory 5g --executor-memory 4g /root/bigData.jar 2 5 0.01 /ones/mldata/1u.user /ones/mldata/1u.data /ones/result/1
package com.ones.soc.cf
import com.ones.soc.json.JSONObject
import org.a ...
包，类或对象的成员可以标记访问修饰符private和protected，如果我们不使用这两种关键字，那么访问将被默认设置为public。这些修饰限制为成员的代码的某些区域访问。要使用访问修饰符，包括它的包，类或对象的成员定义的关键 ...
1.处理模型
Storm处理的是每次传入的一个事件.
Spark Streaming是处理某个时间段窗口内的事件流
2.延迟
Storm处理一个事件可以达到秒内的延迟
Spark Streaming则有几秒钟的延迟
3.容错
Storm中,每个单独的记录当它通过系统时必须被跟踪，所以Storm能够至少保证每个记录将被处理一次，
从错误中恢复过来时候允许出现重复记录。这意味着可变状态可能不正确地被更新两次
（实际上,Storm的 Trident library库也提供了完全一次处理。但是,它依赖于事务更新状态,这比较慢,通常必须由用户实现。)
S ...
#configuration 'flume78Agent'
flume78Agent.sources=source78
flume78Agent.sinks=sink78-1 sink78-2
flume78Agent.channels=channel78
#configuration sinks group
flume78Agent.sinksgroups=group78
#configuration sources
flume78Agent.sources.source78.type=syslogtcp
flume78Agent.sources.source7 ...
事务：运用IPartitionedTridentSpout
DRPC：Web端通过DRPC获得结果数据
topN：按销售额排行
基于Hbase存储的Trident state：支持Topo重启时不丢数据，也可支撑Web端读数据
数据获得实现
通过开源Storm-kafka项目提供
采用Storm-kafka 项目中提供的TransactionalTridentKafkaSpout
开发思路
1、业务逻辑处理，bolt中实现；
2、数据落地格式可更加前台HighCharts的需要而定，有时需要特别为HighCharts的数据格式来存储落地数据，如项目三中就会 ...
测试例子使用的数据：
test01：
[java]view plaincopyprint?在CODE上查看代码片派生到我的代码片
a a
b b
c c
d d
e e
f f
g g
test02：
[java]view plaincopy
print?在CODE上查看代码片派生到我的代码片
11
22
33
44
55
66
a a
b b
c c
d d
e e
f f
1、union(otherRDD)
union() 将两个rdd简单结合在一起，与my ...
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}
object JoinRDD {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("sparkjson").setMaster("local")
val sc = new SparkC ...
import java.security.MessageDigest;
import java.util.Random;
import sun.misc.BASE64Encoder;
// 令牌产生器
public class TokenProccessor {
// 单例
private TokenProccessor(){}
private static TokenProccessor instance = new TokenProccessor();
public static TokenProccessor newInstance() ...
1. 配置文件 producer.properties
#kafka broker list
metadata.broker.list=master:9092,slave1:9092,slave2:9092,slave3:9092
#异步
producer.type=sync
#压缩方式
compression.codec=0
#序列化
serializer.class=kafka.serializer.StringEncoder
#batch.num.messages=100
2.生产者代码
import java.io.FileNotFoundExcep ...
1.配置文件 consumer.properties
#zookeeper地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181
#zookeeper超时时间
zookeeper.connectiontimeout.ms=1000000
#kafka的consumer组
group.id=test-group
2. 组织代码
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundExcept ...
1. 前言
本文介绍了常用的Linux shell命令，包括date、cut、sort、uniq、sed、vi、diff、find等，同时给出尽可能使用的实例以便于理解。
2. Linux shell命令
2.1 date
作用：获取或者设置日期
用法：date [选项] 显示时间格式（以+开头，后面接格式）
举例：
(1) 以固定格式显示时间：date + “%Y%m%d%H”
(2) 显示明天的日期：date -d “tomorrow” +”%Y-%m-%d”
(3) 显示前天的日志：date -d “1 days ago” +”%Y-%m-%d”
2.2 cut
作用：从输入文件或者命令的 ...