spark read from kafka process and write kafka

读取kafka用spark streaming做处理 https://www.cnblogs.com/zhangXingSheng/p/6646879.html 使用spark DStream的foreachRDD时要注意哪些坑? https://www.cnblogs.com/realzjx/p/5853094.html kafka学习笔记 — Scala实现Kafka producer 和 consumer https://blog.csdn.net/u012965373/article/details/74548388 sparkStreaming集成Kafka https://blog.csdn.net/u012373815/article/details/53454669

docker update aliyun source

安装/升级你的Docker客户端 推荐安装1.10.0以上版本的Docker客户端,参考文档 docker-ce 如何配置镜像加速器 针对Docker客户端版本大于1.10.0的用户 您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器: sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-‘EOF’ { “registry-mirrors”: [“https://cl9ahkai.mirror.aliyuncs.com”] } EOF sudo systemctl daemon-reload sudo systemctl restart docker

centos release memory

Centos 内存占满 释放内存 2013年09月11日 11:44:27 阅读数:26044 一台老的PHP后台服务器,今天用 free -m 查看,发现内存跑满了。 再 top,然后按下shift+m,也就是按内存占用百分比排序,发现排在第一的进程,才占用0.9%,那是什么占用的呢?谷歌了一下,据说是centos为了提高效率,把部分使用过的文件缓存到了内存里。如果是这样的话,我又不需要这样的文件性能,那就可以释放。如下两个命令就可以: #sync #echo 3 > /proc/sys/vm/drop_caches 内存释放后,就占用很低了

yum updata aliyun source

https://blog.csdn.net/u014008779/article/details/78563730 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo CentOS 7 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3、之后运行yum makecache生成缓存 yum makecache

npm install命令遇到relocation error: npm: symbol SSL_set_cert_cb的报错问题

在安装elasticsearch-head的过程中npm install遇到如下报错 [root@localhost elasticsearch-head]# npm install npm: relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file libssl.so.10 with link time reference 网上找了一下相关资料,发现最直接有效的方法是升级openssl,执行yum update openssl -y命令即可。 升级之前版本信息: [root@localhost elasticsearch-head]# openssl version OpenSSL 1.0.1i 6 Aug 2014 升级之后: [root@localhost elasticsearch-head]# openssl version OpenSSL 1.0.2k-fips 26 Jan 2017 此时再次执行,报错消除

docker kafka

https://blog.csdn.net/snowcity1231/article/details/54946857 参考:https://blog.csdn.net/qq_35904833/article/details/74525485 https://blog.csdn.net/Mr_Hou2016/article/details/79484032   1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper  docker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper docker run -d –name zookeeper -p 2181:2180 -t wurstmeister/zookeeper 2、启动kafka docker run –name kafka -e KAFKA_ZOOKEEPER_CONNECT=“192.168.1.136:2181” -e KAFKA_ADVERTISED_HOST_NAME=“192.168.1.136” -e KAFKA_BROKER_ID=1 -e ZK=zk -p 9092:9092 –link zookeeper:zk -t wurstmeister/kafka 可以通过docker ps查看启动状态 3、测试发送消息 执行docker ps,找到kafka的CONTAINER ID,进入容器内部: docker exec -it ${CONTAINER ID} /bin/bash 进入kafka默认目录 cd opt/kafka_2.11-0.10.1.1/ 下面就是跟一般的kafka没什么区别了 创建一个主题: bin/kafka-topics.sh –create –zookeeper zookeeper:2181 –replication-factor 1 –partitions 1 –topic mykafka 运行一个消息生产者,指定topic为刚刚创建的主题 bin/kafka-console-producer.sh –broker-list localhost:9092 –topic mykafka 运行一个消费者,指定同样的主题 bin/kafka-console-consumer.sh –zookeeper zookeeper:2181 –topic mykafka –from-beginning 这时在生产者输入测试消息,在消费者就可以接收消息了   ———- [1]在Docker上运行Apache Kafka [2]基于docker部署的微服务架构(五): docker环境下的zookeeper和kafka部署

docker ali source accelerate

安装/升级你的Docker客户端 推荐安装1.10.0以上版本的Docker客户端,参考文档 docker-ce 如何配置镜像加速器 针对Docker客户端版本大于1.10.0的用户 您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器: sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-‘EOF’ { “registry-mirrors”: [“https://cl9ahkai.mirror.aliyuncs.com”] } EOF sudo systemctl daemon-reload sudo systemctl restart docker

docker spark cluster 7077

https://blog.csdn.net/yang1464657625/article/details/78798042 Spark单机模式独立部署 start-slave.sh spark://192.168.1.136:7077   (这里的IP地址要填写宿主IP地址)   docker run -it -p 8088:8088 -p 4040:4040 -p 7077:7077 -p 8080:8080 -p 6066:6066 yanggf008/spark:2.1.0 bash docker commit -m=”bootstrap.sh changed” -a=”yanggf008″ 630b yanggf008/spark2.1.0:vspark Docker 退出容器但不关闭当前容器 方法一:如果要正常退出不关闭容器,请按Ctrl+P+Q进行退出容器 方法二:如果使用exit退出,那么在退出之后会关闭容器,可以使用下面的流程进行恢复 使用docker restart命令重启容器 使用docker attach命令进入容器 重启httpd(service httpd restart)和radosgw(/etc/init.d/ceph-radosgw restart),并且使用wget验证是否将radosgw重启成功(wget http://127.0.0.1) https://blog.csdn.net/farawayzheng_necas/article/details/54341036 创建Spark 2.1.0 Docker镜像

kafka related articles

how to caculate kafka Cluster machine Number https://docs.confluent.io/current/streams/sizing.html#id1 https://www.cnblogs.com/huxi2b/p/6124937.html kafka consumer 多线程实例 https://www.cnblogs.com/huxi2b/p/6124937.html kafka producer 多线程实例 http://distantlight1.iteye.com/blog/2293778 如何为Kafka集群选择合适的Topic/Partitions数量 https://blog.csdn.net/yyqq188/article/details/79387494 【机器学习】在生产环境使用Kafka构建和部署大规模机器学习 https://blog.csdn.net/np4rhi455vg29y2/article/details/79435119 zookeeper、kafka的安装与配置以及集群 https://blog.csdn.net/wngua/article/details/62045245 kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转) https://www.cnblogs.com/likehua/p/3999538.html