raspyberry install virtualenv virtualenvwrapper and choose python edition

创建python3.5虚拟环境 由于virtualenvwrapper是安装在python2.7下的,所以安装python3.5虚拟环境的时候需要指定python路径 mkvirtualenv -p d:\Python35\python3.exe env35_new01 Virtaulenvwrapper Virtaulenvwrapper是virtualenv的扩展包,用于更方便管理虚拟环境,它可以做: 将所有虚拟环境整合在一个目录下 管理(新增,删除,复制)虚拟环境 快速切换虚拟环境 … 安装方法 1、安装 virtualenvwrapper pip install virtualenvwrapper 2、创建目录存放虚拟环境 mkdir ~/.virtualenvs 3、在.bashrc中末尾添加 export WORKON_HOME=~/.virtualenvs source /usr/local/bin/virtualenvwrapper.sh 4、 运行 source ~/.bashrc 命令列表: workon:列出虚拟环境列表 lsvirtualenv:同上 mkvirtualenv [envname]:新建虚拟环境 workon [envname]:切换虚拟环境 rmvirtualenv [envname]:删除虚拟环境 deactivate: 离开虚拟环境 cpvirtualenv [sorce] [dest]  #复制虚拟环境 pip freeze > requirements.txt  导出该环境下所有依赖到requirements.txt文件

ngrok raspyberry config

https://www.jianshu.com/p/2d918021df39?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 概述 为什么自己搭建ngrok服务呢?原因很简单,官方如果绑定域名要收费啊,自己有服务器,所以就自己搭建一个好了,要求的服务器配置又不高,说实在的树莓派IO真的惨不忍睹,我的系统装在u盘里还是卡卡卡 不管怎么说,先把树莓派扔到公网上再说 搭建ngork服务 首先当然要安装go,因为ngrok使用go写的,但是go的官方网站被墙了,所以你得学会科学上网,因为我的服务器是国外的,所以就没有存在这样的网络问题了。 首先下载go wget https://storage.googleapis.com/golang/go1.9.1.linux-amd64.tar.gz 解压 tar -zxvf go1.9.1.linux-amd64.tar.gz 之后移动解压出来的文件夹到你喜欢的位置,一般源码安装的软件我喜欢放在/usr/local下面,所以我就把go放在那里了 mv go /usr/local 之后把go的bin目录中的命令软连接到/usr/bin中,这样就不用配置环境变量了 接着测试一下是否成功,输入 go env 接着安装ngrok 首先clone下来源码 git clone https://github.com/inconshreveable/ngrok.git 之后生成自签名证书 先新建一个文件夹 mkdir ssl 设置一个变量保存你的域名,下面生成证书时候就用这个变量名而不需要你在修改了 export NGROK_DOMAIN=”ngrok.bboysoul.com” 接着一行一行复制下面的命令执行 openssl genrsa -out rootCA.key 2048 openssl req -x509 -new -nodes -key rootCA.key -subj “/CN=$NGROK_DOMAIN” -days 5000 -out rootCA.pem openssl genrsa -out…

Hadoop “Name node is in safe mode”

https://www.linuxidc.com/Linux/2015-02/113100.htm Hadoop dfsadmin -safemode leave Hadoop 解除 “Name node is in safe mode” 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧(至少我运行的时候是这样的) 那我们来分析下这个错误,从字面上来理解: Name node is in safe mode 说明Hadoop的NameNode处在安全模式下。 那什么是Hadoop的安全模式呢? 在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。 现在就清楚了,那现在要解决这个问题,我想让Hadoop不处在safe mode 模式下,能不能不用等,直接解决呢? 答案是可以的,只要在Hadoop的目录下输入: bin/hadoop dfsadmin -safemode leave 也就是关闭Hadoop的安全模式,这样问题就解决了。 之前在hadoop执行过程中使用了”ctrl+c”操作 再次使用hadoop时出现“Name node is in safe mode”提示: root@www.linuxidc.com:~/hadoop/hadoop-0.20.2# bin/hadoop fs -put conf…

Exception in thread “main” java.lang.ClassNotFoundException: Failed to find data source: kafka. Please find packages

reference:   https://stackoverflow.com/questions/46001583/why-does-spark-submit-fail-to-find-kafka-data-source-unless-packages-is-used 实验成功: spark-submit.cmd –packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0 f:\structuredstreaming-test.jar   Spark Structured Streaming supports Apache Kafka as the streaming source and sink using the external kafka-0-10-sql module. kafka-0-10-sql module is not available to Spark applications that are submitted for execution using spark-submit. The module is external and to have it available you should define it as a dependency. Unless you use kafka-0-10-sql module-specific…

spark read from kafka process and write kafka

读取kafka用spark streaming做处理 https://www.cnblogs.com/zhangXingSheng/p/6646879.html 使用spark DStream的foreachRDD时要注意哪些坑? https://www.cnblogs.com/realzjx/p/5853094.html kafka学习笔记 — Scala实现Kafka producer 和 consumer https://blog.csdn.net/u012965373/article/details/74548388 sparkStreaming集成Kafka https://blog.csdn.net/u012373815/article/details/53454669

docker update aliyun source

安装/升级你的Docker客户端 推荐安装1.10.0以上版本的Docker客户端,参考文档 docker-ce 如何配置镜像加速器 针对Docker客户端版本大于1.10.0的用户 您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器: sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-‘EOF’ { “registry-mirrors”: [“https://cl9ahkai.mirror.aliyuncs.com”] } EOF sudo systemctl daemon-reload sudo systemctl restart docker

centos release memory

Centos 内存占满 释放内存 2013年09月11日 11:44:27 阅读数:26044 一台老的PHP后台服务器,今天用 free -m 查看,发现内存跑满了。 再 top,然后按下shift+m,也就是按内存占用百分比排序,发现排在第一的进程,才占用0.9%,那是什么占用的呢?谷歌了一下,据说是centos为了提高效率,把部分使用过的文件缓存到了内存里。如果是这样的话,我又不需要这样的文件性能,那就可以释放。如下两个命令就可以: #sync #echo 3 > /proc/sys/vm/drop_caches 内存释放后,就占用很低了

yum updata aliyun source

https://blog.csdn.net/u014008779/article/details/78563730 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo CentOS 6 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo CentOS 7 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 3、之后运行yum makecache生成缓存 yum makecache

npm install命令遇到relocation error: npm: symbol SSL_set_cert_cb的报错问题

在安装elasticsearch-head的过程中npm install遇到如下报错 [root@localhost elasticsearch-head]# npm install npm: relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file libssl.so.10 with link time reference 网上找了一下相关资料,发现最直接有效的方法是升级openssl,执行yum update openssl -y命令即可。 升级之前版本信息: [root@localhost elasticsearch-head]# openssl version OpenSSL 1.0.1i 6 Aug 2014 升级之后: [root@localhost elasticsearch-head]# openssl version OpenSSL 1.0.2k-fips 26 Jan 2017 此时再次执行,报错消除