knktc的杂乱空间

python,cloud,linux...


  • 首页

  • 关于

  • 归档

使用python来操作hive(通过pyhs2和HiveServer2)

发表于 2014-06-29 更新于 2019-05-26

HiveServer2为客户端在远程执行hive查询提供了接口,通过Thrift RPC来实现,还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2,实现查询和取回结果的操作。

阅读全文 »

清除dmraid残留信息

发表于 2014-06-14 更新于 2019-05-26

近期遇到一个问题,一台服务器的一个sdb磁盘总会被LVM接管,无法自由按照分区来挂载,且在将此磁盘进行格式化的时候会提示磁盘正在被占用,无法直接格式化磁盘。对此在网上查找了相关的资料,发现问题可能是由于该磁盘带有dmraid的残留信息才造成的。

阅读全文 »

使用easy_install安装google protobuf

发表于 2014-06-05 更新于 2019-05-26

直接使用easy_install来安装google的protobuf可能遇到以下的问题:

error: Couldn’t find a setup script in /tmp/easy_install-9uwoys/protobuf-2.5.0.zip

可以使用以下的方法来直接安装:

easy_install –allow-hosts pypi.python.org protobuf

The resulting partition is not properly aligned for best performance的解决方法

发表于 2014-06-03 更新于 2019-05-26

在linux下给容量大于2TB的硬盘分区,只能使用parted工具了。在使用parted工具的时候,可能会遇到一些问题,在fdisk下都是熟练地全默认设置,在parted下却不能这么做了。

阅读全文 »

解决rabbitmq的web管理界面无法使用guest用户登录的问题

发表于 2014-05-25 更新于 2019-05-26

最近安装了一次rabbitmq server,安装过程依旧顺利,但是打开web管理界面之后,却发现使用默认的用户名guest和密码guest无法登录成功。这才开始查看rabbitmq的文档,发现现在的3.3.1版中,处于安全的考虑,guest这个默认的用户只能通过localhost来登录,其他的IP无法直接使用这个账号。

阅读全文 »

python获取进程池中运行的进程数量

发表于 2014-05-24 更新于 2019-05-26

使用python编程时,为了充分利用cpu资源,我们会用到multiprocessing模块来创建多个进程执行任务,当任务数量较多时,我们还可以创建一个进程池,将任务异步添加到池中。在一般情况下,我们提前知道了有多少个任务,可以在创建进程池后一次性将任务添加到进程池中。但是如果我们使用多台服务器来处理动态数量的任务,则可以定时获取进程池中正在运行的进程数量,以实现动态的管理。

阅读全文 »

在Mapreduce streaming中使用python第三方库

发表于 2014-05-18 更新于 2019-05-26

在使用streaming模式来运行自己编写的python mapreduce程序时,如果python脚本中包含有第三方的库,则会发现mr任务会运行失败,查看日志时通常会发现错误发生在程序无法找和import这个第三方库。此时需要在执行mr任务的命令行中进行一下小的调整,才可以解决问题。

阅读全文 »

用于测试生成segmentation fault的C代码

发表于 2014-05-17 更新于 2019-05-26

我不会写C,但是得用到C写的东西。比如最近的一个测试任务中,需要使用python来调用一个so,很自然就要使用ctypes模块。但是在测试的过程中,发现不定期会出现segmentation fault的情况,此时调用so的python脚本也会退出。这种段错误,python无法使用try来捕获,一旦发生,直接就会让python程序崩溃。由于源程序的崩溃只是随机的发生,找不到什么固定的规律,为了测试该问题,我只好自己在网上找点资料来写个测试的so文件,每次都产生segmentation fault的情况,以测试好的解决方案。

阅读全文 »

insecure_pssh:支持密码列表的并行ssh

发表于 2014-05-15 更新于 2019-05-26

pssh(parallel-ssh)是linux系统管理员比较熟悉的一款并行ssh工具,很好用,但是却需要提前在各个服务器上配置好密钥认证访问。我本身不是很喜欢这种操作,对此我对这个项目进行了一些修改,让这个工具支持保存在管理机中的密码列表。

阅读全文 »

解决gpg加密无法加入到crontab中的问题

发表于 2014-05-12 更新于 2019-05-26

我最近写个每天自动加密文件的shell脚本时才发现,平时在命令行下直接可用的gpg加密语句放到脚本中,再加入到crontab中定时执行可能会失败。研究了下才发现,想在crontab中调用gpg加密还需要两个额外的参数才可以。

阅读全文 »
1…345
knktc

knktc

关注linux,云计算,python,杂乱之地...
45 日志
130 标签
GitHub Twitter
Creative Commons
© 2020 knktc
由 Hexo 强力驱动 v3.9.0
|
主题 – NexT.Pisces v7.2.0