瀚海星空

星空浩瀚人类渺小

akka http复杂格式json处理

概述 json 分为好几种形态. 字符串形态, 用于数据交换和描述存储的原始形式. Json对象形态, 这是Json引擎内在逻辑,树形结构,抽象语法树AST 模型对象形态, 这是用户业务对象在实际编码中这三种形态经常相互转化. 由于官方文档的示例都非常简单, 所以遇到复杂的结构出了问题很难处理. 本文采用akka-http自带spray json和json4s的jso...

梦想家 2017-07-15

spark入门实践之单词统计

简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark由UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室) 于2009年开始开发并开源. 目前是apache顶级项目. spark 支持scala,java,python,R. 于 2017年5月发布2.1.1版本. 建议最好使用scala语言来开发. 因为java和pytho...

梦想家 2017-07-01

hadoop3安装试用

下载 hadoop 3 下载目前是 2017年5月发布的3.0.0-alpha3 wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz java环境需要java sdk 1.7 以上 [zhouhh@mainServe...

梦想家 2017-07-01

scala安装试用

java环境需要java sdk 1.7 以上 [zhouhh@mainServer hadoop-3.0.0-alpha3]$ !cat cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [zhouhh@mainServer hadoop-3.0.0-alpha3]$ echo $JAVA_HOME /etc/al...

梦想家 2017-07-01

用keras训练mnist数据集手写识别

概述周海汉/文本文采用keras2的theano后端对mnist手写数字进行训练，得到相应的模型，并利用模型参数对测试集进行检验。 mnist格式参见另一篇博文《mnist 数据描述》训练 %matplotlib inline import pickle import os import keras, theano from keras.models import Sequent...

梦想家 2017-06-11

redis基本使用

redis使用 [zhouhh@mainServer redis]$ redis-cli -h 172.17.0.2 172.17.0.2:6379> set test='zhouhh' (error) ERR wrong number of arguments for 'set' command 172.17.0.2:6379> set test 'zhouhh' OK 17...

梦想家 2017-06-09

Kafka 使用实例

kafka介绍本节部分摘自 Kafka 设计与原理详解。 apache kafka 由linkedin高吞吐量的分布式消息系统。基于push-subscribe的消息系统，它具备快速、可扩展、可持久化的特点。它现在是Apache旗下的一个开源系统，作为Hadoop生态系统的一部分，被各种商业公司广泛应用。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的...

梦想家 2017-06-09

docker使用

启动docker [zhouhh@mainServer ~]$ sudo systemctl start docker [zhouhh@mainServer ~]$ sudo systemctl enable docker [zhouhh@mainServer ~]$ docker pull hub.c.163.com/public/centos:7.2-tools 网络配置 d...

梦想家 2017-06-09

Spark安装使用实例

安装java opensdk 1.8 如果没有安装Java环境，需要先下载安装。 [zhouhh@mainServer ~]$ yum search java | grep openjdk [zhouhh@mainServer ~]$ sudo yum install java-1.8.0-openjdk-devel.x86_64 [zhouhh@mainServer ~]$ sudo y...

梦想家 2017-06-09

Centos7上安装docker-ce社区版

概述本文是centos7上安装docker-ce社区版的最新稳定版的实录. docker-ce最新稳定版需要linux kernel 大于3.10. 可以用如下的程序来检查兼容性. curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config....

梦想家 2017-06-06

特征标签

css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除编译多线程 wxwidgets ie ubuntu 开源 c python bash 备份性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 mysql protobuf apache hadoop install iocp twisted mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng scala go kafka gradle cassandra baas spring postgres maven mybatis nodejs 镜像心理学机器学习 Keras theano docker spark akka-http json 群论区块链加密抽象代数离散对数同余欧拉函数

关于

星空浩瀚

友情链接