hqiang1984 – 第21页 – 强的部落格

工作倦怠

最近没啥项目，每天就是上上网看看新闻。过得没啥意思，感觉换工作也解决不了问题。给自己一个感兴趣的目标试试。

python将字符串转化为本地datetime

from pytz import timezone
from datetime import datetime
from time import mktime
import time

t1 = ‘2016-08-04T02:58:29Z’
tt1 = time.strptime(t1, “%Y-%m-%dT%H:%M:%SZ”)
dt1 = datetime.fromtimestamp(mktime(tt1))

tzchina = timezone(‘Asia/Chongqing’)
utc = timezone(‘UTC’)

dt1.replace(tzinfo=utc).astimezone(tzchina)

hadoop namenode启动问题

环境：CentOS 6.3, hadoop 2.6

由于hadoop集群中的namenode服务器cpu故障造成集群无法使用，重启后启动namenode出现错误提示：java.lang.OutOfMemoryError: GC overhead limit exceeded

解决方法：是由于java的内存回收机制造成的，在hadoop/dfs/name/current有namenode的大量的日志文件，需要修改etc/hadoop/hadoop-env.sh中增加“-Xms30G -Xmx50G”

export HADOOP_NAMENODE_OPTS=”-Xms30G -Xmx50G -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS”

Tensorflow安装一个小问题

环境: Ubuntu 14.04

export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.9.0-cp27-none-linux_x86_64.whl

sudo pip install –upgrade $TF_BINARY_URL

python

import tensorflow

出现AttributeError: type object ‘NewBase’ has no attribute ‘is_abstract’

解决方法：

python

import six

print(six.__file__) 查看路径

重新安装

sudo pip uninstall six

sudo pip install six –upgrade –target=”/usr/lib/python2.7/dist-packages”

ubuntu 安装docker

环境： Ubuntu 14.04

sudo apt-get update

sudo apt-get -y install docker.io

sudo ln -sf /usr/bin/docker.io /usr/local/bin/docker
sudo sed -i ‘$acomplete -F _docker docker’ /etc/bash_completion.d/docker.io

sudo update-rc.d docker.io defaults

禁止redis的rdb和aof

在线关闭aof
config set appendonly no

在线关闭rdb
config set save “”

重启生效
config rewrite
离线修改设置

vi redis.conf

appendonly no
save “”

tmp目录下隐藏文件

环境: CentOS 6.2

由于/tmp目录下只有一个g的容量，但发现有600M的空间被占用。在tmp目录下du -sm却只有不到10M的文件。最后发现是运行的应用程序写日志文件被删除了，

通过命令查看 lsof /tmp | grep deleted

解决方法，关闭相应的应用程序并记住不要轻易删除tmp目录下的文件。

作者：hqiang1984