0%

平时我们使用的docker镜像都来自官方的docker index,由于国内连接docker官网速度太慢,而且有些包含自己代码的镜像也不好直接放到docker官网上,这个时候就需要考虑自己搭建一个docker index的源了。docker官方提供了docker registry这个工具,用于自建docker index,可在本地网络环境中保存和分享docker image,非常适合于公司内部进行docker的推广和使用。本文记录了安装docker registry的过程,作为一个笔记供大家参考吧。

阅读全文 »

试用了两天docker,感觉真的不错,顿时就有把自己的所有程序都容器化了的想法。现在docker火的不得了,网上的讨论非常多,但docker毕竟是个新事物,想要PK vm多年的历史经验还有很长的路。以下是一些最近使用docker时遇到的问题的总结,当一个cheat sheet放着吧。

阅读全文 »

使用gpg解密文件的常规做法是先导入自己的私钥和公钥,然后再用以下命令来解密:

gpg -o outputfile -d encryptfile

这种做法其实不很安全,当你在别人的机器上需要解密时怎么做?如果解密完成后忘记使用 gpg –delete-secret-keys 来删除密钥的话就可能会带来麻烦了。如果你习惯于在自己的U盘中或其他介质中携带自己的密钥,那么当你在其他电脑上需要解密的时候就需要用到以下的方法了: (windows下)如果你将自己的私钥secring.skr和公钥pubring.pkr放置于U盘根目录下,U盘插入电脑后盘符为F:,则可以这样来解密:

gpg --secret-keyring F:\secring.skr --keyring F:\pubring.pkr -o outputfile -d encryptfile

参数–secret-keyring和–keyring分别对应外部的私钥和公钥,这样就可以不必导入私钥和公钥就可以来解密文件了。

最近使用lftp工具通过ftps协议来传输数据,可以成功登录但传输文件时却会爆出如下的错误:

Lftp put: Access failed: 521 Data connections must be encrypted.

出现这样的问题是由于lftp需要通过配置才能用于传输ftps的数据。解决这个问题的方法很简单,在当前用户的主目录下的.lftp目录中创建rc文件,如:

/root/.lftp/rc

在该文件中写入以下配置项即可:

set ftp:ssl-protect-data true

当然也可以修改使用lftp的脚本,加上这条命令,如:

lftp -u user ftp.test.com -e “set ftp:ssl-protect-data true;put -a file;exit”

HiveServer2为客户端在远程执行hive查询提供了接口,通过Thrift RPC来实现,还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2,实现查询和取回结果的操作。

阅读全文 »

近期遇到一个问题,一台服务器的一个sdb磁盘总会被LVM接管,无法自由按照分区来挂载,且在将此磁盘进行格式化的时候会提示磁盘正在被占用,无法直接格式化磁盘。对此在网上查找了相关的资料,发现问题可能是由于该磁盘带有dmraid的残留信息才造成的。

阅读全文 »

直接使用easy_install来安装google的protobuf可能遇到以下的问题:

error: Couldn’t find a setup script in /tmp/easy_install-9uwoys/protobuf-2.5.0.zip

可以使用以下的方法来直接安装:

easy_install –allow-hosts pypi.python.org protobuf

最近安装了一次rabbitmq server,安装过程依旧顺利,但是打开web管理界面之后,却发现使用默认的用户名guest和密码guest无法登录成功。这才开始查看rabbitmq的文档,发现现在的3.3.1版中,处于安全的考虑,guest这个默认的用户只能通过localhost来登录,其他的IP无法直接使用这个账号。

阅读全文 »

使用python编程时,为了充分利用cpu资源,我们会用到multiprocessing模块来创建多个进程执行任务,当任务数量较多时,我们还可以创建一个进程池,将任务异步添加到池中。在一般情况下,我们提前知道了有多少个任务,可以在创建进程池后一次性将任务添加到进程池中。但是如果我们使用多台服务器来处理动态数量的任务,则可以定时获取进程池中正在运行的进程数量,以实现动态的管理。

阅读全文 »