瀚海星空

星空浩瀚 人类渺小

spark 隐含因子音乐推荐

音乐推荐 本示例基于spark高级编程. 实现了一个对 隐因子推荐算法( Latent Factor Analysis) 用用户和产品之间的交互, 来找到潜在的分类, 并对用户进行推荐. 隐含语义模型LFM和LSI，LDA，Topic Model 都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。和该技术相关算法有pLSA（probabilitist...

梦想家 2017-07-22

scala的for循环yield值

概述 scala语言的for语法很灵活. 除了普通的直接对集合的循环, 以及循环中的判断和值返回. 非常灵活. for 可以通过yield(生产)返回值, 最终组成for循环的对象类型.for 循环中的 yield 会把当前的元素记下来，保存在集合中，循环结束后将返回该集合。如果被循环的是 Map，返回的就是Map，被循环的是 List，返回的就是List，以此类推。 守卫( guard...

梦想家 2017-07-22

python kafka生产消费示例

概述 本文是python作为kafka的生产者和消费者的示例. 可以作为kafka测试程序使用. 关注点 json对象, python对象和json字符串转换 utf8支持 kafka生产和消费初始化 kafka-python 安装 利用conda 从conda-forge库中安装 zhouhh@/Users/zhouhh/python $ conda install -...

梦想家 2017-07-22

akka http的Actor示例

概述 这是akka http 文档自带的例子, 略作改编. 本代码演示了akka-http中和actor交互. 代码功能为拍卖(Aution),投标(Bid)和查询投标(GetBids),实现了http的PUT,GET等方法. 关注点 List初始化方法 akka-http和Actor发送消息 json和对象,字符串之间的转换 Route实现方式 异步通信 异...

梦想家 2017-07-22

kafka使用和容错性测试

下载安装 下载地址 最新版本kafka_2.12-0.11.0.0.tgz. zhouhh@/Users/zhouhh/java $ curl http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz -o kafka_2.12-0.11.0.0.tgz zhouhh@/Users/z...

梦想家 2017-07-15

akka http复杂格式json处理

概述 json 分为好几种形态. 字符串形态, 用于数据交换和描述存储的原始形式. Json对象形态, 这是Json引擎内在逻辑,树形结构,抽象语法树AST 模型对象形态, 这是用户业务对象 在实际编码中这三种形态经常相互转化. 由于官方文档的示例都非常简单, 所以遇到复杂的结构出了问题很难处理. 本文采用akka-http自带spray json和json4s的jso...

梦想家 2017-07-15

spark入门实践之单词统计

简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark由UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室) 于2009年开始开发并开源. 目前是apache顶级项目. spark 支持scala,java,python,R. 于 2017年5月发布2.1.1版本. 建议最好使用scala语言来开发. 因为java和pytho...

梦想家 2017-07-01

hadoop3安装试用

下载 hadoop 3 下载 目前是 2017年5月发布的3.0.0-alpha3 wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz java环境 需要java sdk 1.7 以上 [zhouhh@mainServe...

梦想家 2017-07-01

scala安装试用

java环境 需要java sdk 1.7 以上 [zhouhh@mainServer hadoop-3.0.0-alpha3]$ !cat cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [zhouhh@mainServer hadoop-3.0.0-alpha3]$ echo $JAVA_HOME /etc/al...

梦想家 2017-07-01

用keras训练mnist数据集手写识别

概述 周海汉/文 本文采用keras2的theano后端对mnist手写数字进行训练，得到相应的模型， 并利用模型参数对测试集进行检验。 mnist格式参见另一篇博文《mnist 数据描述》 训练 %matplotlib inline import pickle import os import keras, theano from keras.models import Sequent...

梦想家 2017-06-11

特征标签
css vc6 http automake linux make makefile voip 乱码 awk flash vista vi vim javascript pietty putty ssh posix subversion svn windows 删除 编译 多线程 wxwidgets ie ubuntu 开源 c python bash 备份 性能 scp 汉字 log ruby 中文 bug msn nginx php shell wordpress mqueue android eclipse java mac ios html5 mysql protobuf apache hadoop install iocp twisted mapreduce hbase thrift tutorial hive erlang lucene hdfs sqoop utf8 filter 草原 yarn ganglia 恢复 scrapy django fsimage flume tail flume-ng scala go kafka gradle cassandra baas spring postgres maven mybatis nodejs 镜像 心理学 机器学习 Keras theano docker spark akka-http json 群论 区块链 加密 抽象代数 离散对数 同余 欧拉函数 扩展欧几里德算法 ES6 node-inspect debug
关于

星空浩瀚

友情链接