使用HanLP增强Elasticsearch分词功能
hanlp-ext 插件源码地址：https://github.com/hualongdata/hanlp-ext Elasticsearch 默认对中文分词是按“字”进行分词的，这是肯定不能达到我们进行分词搜索的要求的。官方有一个 SmartCN 中文分词插件，另外还有一个 IK 分词插件使用也比较广。但这里，我们采用 HanLP 这款 自然语言处理工具 来进行中文分词。 Elasticsear
主页
Akka HTTP 快速上手
Akka Http 是Akka社区提供的一个 Http服务端/客户端通用工具包，支持 Http 1.0/1.1标准及WebSocket，现在 Http 2 的支持也在紧锣密鼓的实现中。 这篇文章将介绍Akka HTTP Server，我们将介绍Akka Http的常用功能模块及使用方式。Akka Http提供了一套强大、易用、易扩展的route dsl来构建路由。Akka Ht
使用Ambari2.5（HDP2.6）搭建大数据环境
本文介绍在 CentOS 7 环境下使用 Ambari2.5 (HDP2.6) 搭建大数据环境。 推荐使用如下脚本将 Ambari/HDP 相关软件包下到本地后配置 yum 源安装，在线安装速度太慢会经常遇到包找不到情况。 12345wget -c http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.
Cassandra设置
操作系统修改操作系统的TCP keepalive 1sudo /sbin/sysctl -w net.ipv4.tcp_keepalive_time=60 net.ipv4.tcp_keepalive_intvl=60 net.ipv4.tcp_keepalive_probes=5 集群机制一致性哈希 Gossip协议：用于在环内节点之间传播Cassandra状态信息 Snitch：支持多个数
Linux部署Oracle11G
安装Oracle数据库本文基于RHEL6/Centos6/Neokylin6，其它发行版请注意区别。 安装依赖软件包 1sudo yum install binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33.i686 gcc-c++ glibc glibc.i686 glibc-devel glibc-d
Java/Scala互操作实践 1：基础操作
本文将以Spring Boot为例，介绍下实际工作中的Java/Scala互操作。在提高个人效率、满足自我追求的情况下更多的照顾到团队不同人的实际。同时也是想说明，在同一个工程里混用Java和Scala语言是可能的。 本文源代码在：http://git.oschina.net/hualongdata/spring-starter 对于Scala不熟悉的Java程序员可以先看看：《写给J
Scala开发者的Spring-Boot快速上手指南 02：Scala惯用法
(这是一篇迟来的文章，从3月份计划到成文花了5个月多……以后需要避免这样的低效率。) 之前写第一篇文章时，只是想试试在Spring中使用Scala。但现在随着工作的需要，已经决定在应用层基于Spring boot进行开发。后面的数据服务和数据整合部分将采用Akka。作者是一个Scala粉，但不脑残。鉴于团队、招人及社区生态多方面考虑，整体使用Scala技术栈还是比较困难的。之前就有考虑过把Spri
我的Ubuntu开发环境设置
输入法（fcitx）解决某些软件不能使用问题，如：Idea, Emacs 设置如下环境变量到/etc/bash.bashrc或~/.bashrc配置文件，重启系统或注销后重新登录即可。 1234export XMODIFIERS="@im=fcitx"export QT_IM_MODULE="fcitx"export QT4_IM_MODULE="
About
这里有我的工作体会和生活感悟。 杨景：yangjing.me 知乎专栏：羊八井花园 Github: yangjing Gitee：yangjing Weibo: yangjing Twitter: yangbajing1 微信公众号：yangjing-garden 技能 擅长Java/Scala编程，熟悉多线程、并发程序设计 熟悉actor（编程模型）、Akka，可基于JVM
Scala实战：巧用集合实现数据脱敏
（原文在：《http://www.yangjing.me/2016/07/25/Scala实战：巧用集合实现数据脱敏》，转载请注明！） 在日常开发中，经常会遇到对数据进行脱敏处理的需求。像隐藏身份证或者手机号中间几位。比如对于：13812345678这个手机号，我们会使用*号替换中间4位来达到隐藏的目的，就像这样：138****5678。这是一个很常见也很简单的功能需求，这里记录下开发中对这个需求
写给Java程序员的Scala入门教程
（原文链接：http://www.yangjing.me/2016/07/24/写给java程序员的scala入门教程/，转载请注明） 之前因为Spark的引入，写了一篇《写给Python程序员的Scala入门教程》。那篇文章简单对比了Scala与Python的异同，并介绍了一些Scala的常用编程技巧。今天这篇文章将面向广大的Java程序员，带领Javaer进入函数式编程的世界。 Java 8拥
Scala实战：使用Actor来控制集成API的并发请求
本文源码在：https://github.com/yangjing/scala-applications/tree/master/combine-request 背景最近在一些大数据相关工作，除了自身的数据外，我们也会接入很多外部的第3方数据。这些第3方数据提供商都提供了基于HTTP的服务。当然，这些数据是收费的。而且重复调用是需要重复收费的。这就需要我们在调用数据后把它存储下来，这样在一定时间内
我会做的技术选型
Java/Scala：全功能的业务、服务端开发平台。大数据开发：Spark、Scala、Akka Node.js：前端不说了，还有其它更好的选择吗 Go：21世纪的C语言，分布式开发、API开发利器 Python：胶水、灵活的脚本语言。数据科学家的最爱 开门见山，先表明下我的态度吧。以上4个是我的首先，个人认为很不错的技术选型。当然，也不是非此不可，技术选型这个除了从技术本身考虑
Hive与Spark
Spark与Hadoop安装见此：安装Spark1.5与Hadoop2.6 注意：Spark官方提供的二进制发行版是不支持hive的，需要自行编译。 安装hive12wget -c http://mirrors.aliyun.com/apache/hive/hive-1.1.1/apache-hive-1.1.1-bin.tar.gztar apache-hive-1.1.1-bin.tar.
Spark实战：工程实践
工欲善其事，必先利其器。 （本文是基于 sbt 来配置 Spark 开发的工程化，支持 Scala/Java 编程语言。Python 和 R 用户需要使用其它方式来实现工程化。） 今天谈谈Spark开发中的工程化问题。我们都知道Spark程序是在集群上跑的，需要把程序打包后使用 $SPARK_HOME/bin/spark-sumibt 到Spark集群上。 在开发、测试时，每次代码修改后
Cassandra升级更新
今天需要把集群安装的 cassandra 2.2.4 升级到 cassandra 2.2.5 ，这里记录下升级步骤。 （升级脚本见：https://gist.github.com/yangjing/12461fcab190689f2499） 升级的主意事项和限制条件需求条件 Cassandra 2.0.x and 2.1.x: 需要 JRE 7 或更高版本（推荐JDK） Cassandra 2.
Scala开发者的Spring-Boot快速上手指南 01
做为一个Scala爱好者，是很想基于 Lightbend 的一套架构进行软件开发的。Play，Akka，Scala，Spark……。不过理想很丰满，现实却很骨感。鉴于那批原教旨主义者，他们对 Spring 已经疯狂迷恋，我等讲道理、讲实际的人也只好将 Scala 与 Spring Boot 进行整合。这两兄弟是和睦的，是友好的，并不是有你无他，完全可以在能力和现实中实现一个美好的平衡。 （文章查考
安装Spark1.5.2与Hadoop2.6.2
适用于 Hadoop 2.9 build spark 1.5.212./dev/change-scala-version.sh 2.11./make-distribution.sh --name hadoop2.6-scala2.11 --tgz -Phadoop-2.6 -Pyarn -Phive -Phive-thriftserver -Dscala-2.11 1.6+可以添加：-Pspar
Cassandra用户认证
Cassandra默认是不需要用户名和密码登录的，这样其实并不安全。 修改配置文件：conf/cassandra.yaml 启动用户名密码登录： 12authenticator: PasswordAuthenticatorauthorizer: CassandraAuthorizer 重新启动Cassandra，再次使用 bin/cqlsh 登录会提示 **Authentic
Linux系统运维常用工具
本文记录一些 Linux 日常运维相关工具使用方法。 （注：未做特殊说明，以下设置均指：Ubuntu Server 14.04，并测试通过。） 系统设置更改系统默认字符集 Ubuntu Server下，需要修改 /etc/default/locale 文件使配置生效（需要重启系统）。也可以在每个用户的登录 .bashrc 或 .bash_profile中设置LANG、LANGUAGE等环境变量。