2016年10月 – 强的部落格

python打包成exe执行文件

环境：windows 7, python 2.7

写python文件格式.py的程序需要将其打包成可执行的文件形式，可以使用PyInstaller来打包。

下载PyInstaller-3.1文件，使用打包命令如下：

D:\\program\\PyInstaller-3.1>pyinstaller.py -F ../../qs123/s3test.py –upx-dir upx391w

此命令将其打包成一个可执行文件并进行压缩。

参数：

-F 指定打包后只生成一个exe格式的文件

-D –onedir 创建一个目录，包含exe文件，但会依赖很多文件（默认选项）

-c –console, –nowindowed 使用控制台，无界面(默认)

-w –windowed, –noconsole 使用窗口，无控制台

-p 添加搜索路径，让其找到对应的库。

-i 改变生成程序的icon图标

bash history历史命令查询

环境：logstash-2.4.0, elasticsearch-1.6.1, kafka 0.8

经常需要查看bash历史，而这个文件一般存储一定量的命令，有时需要查看什么时候执行过。因而使用logstash + kafka + elasticsearch来搭建bash历史命令检索系统。

配置文件如下：

logstash.conf

input {
file {
path => “/home/adadmin/.bash_history”
add_field => {“user” => “adadmin”}
}
}
filter {
ruby {
code => “event[‘updatetime’] = event.timestamp.time.localtime.strftime(‘%Y-%m-%d %H:%M:%S.%L’)”
}
}
output {
kafka {
bootstrap_servers => “10.121.93.50:9092,10.121.93.51:9092,10.121.93.53:9092”
topic_id => “bash-history”
}
}

elasticsearch:

curl -XPUT ‘xxx.xxx.xxx.53:9200/_river/kafka-river/_meta’ -d ‘
{
“type” : “kafka”,
“kafka” : {
“zookeeper.connect” : “xxx.xxx.xxx.50:2181,xxx.xxx.xxx.51:2181,xxx.xxx.xxx.53:2181”,
“zookeeper.connection.timeout.ms” : 10000,
“topic” : “bash-history”,
“message.type” : “json”
},
“index” : {
“index” : “kafka-index”,
“type” : “status”,
“bulk.size” : 3,
“concurrent.requests” : 1,
“action.type” : “index”,
“flush.interval” : “12h”
}
}’

启动logstash

bin/logstash -f logstash.conf

在terminal上执行一些命令，数据就由logstash传到kafka，再传到elasticSearch上，可以在上面直接查看历史命令。

Confluent的schema-registry的使用

git clone https://github.com/confluentinc/schema-registry.git

cd schema-registry
git checkout tags/v2.0.0
mvn clean package -DskipTests

vi config/schema-registry.properties
设置kafkastore.connection.url为zookeeper的连接地址

nohup ./bin/schema-registry-start ./config/schema-registry.properties &

查看schema-registry进程
[adadmin@s11 ~]$ jps
26995 NodeManager
74580 Kafka
61079 SchemaRegistryMain
62615 Jps
126392 Worker
26843 DataNode
118141 QuorumPeerMain

#producer 注意：输入一条数据才enter一次，退出使用ctrl + C
./bin/kafka-avro-console-producer –broker-list 10.121.93.50:9092 –topic test –property value.schema='{“type”:”record”,”name”:”myrecord”,”fields”:[{“name”:”f1″,”type”:”string”}]}’
{“f1”: “value1”}
{“f1”: “value2”}
{“f1”: “value3”}

./bin/kafka-avro-console-consumer –broker-list 10.121.93.50:9092 –topic test-avro –from-beginning

Linux history的详解

经常使用linux内置的history命令查看历史，在当前用户下面有个.bash_history文件用于保存历史命令，另外$HISTSIZE环境变量是保存最大条数。在当前shell环境中，命令放在内存中，退出时将最近$HISTSIZE条命令保存在.bash_history上，也可以使用history -a（从登录起到现在的命令)手工保存，另外history -w将当前命令保存下来。如果想命令立刻保存下来，可以在.bashrc中设置环境变量export PROMPT_COMMAND=’history -a’