Postgresql日志归档设置

环境:winXP, postgresql

当需要对postgresql数据库进行定点恢复的时候,需要设置归档日志。具体如下:

wal_level:设置信息级别至wal.

archive_mode:表示是否进行归档操作,默认值为off(关闭)。

archive_command:由管理员设置的用于归档WAL日志的命令。

archive_time:表示归档周期,在超过该参数设定的时间时强制切换WAL段,默认值为0。

将参数设置wal_level=archive, archive_mode=on, archive_command=’copy “%p” “D:/program/pgsql/archived_log/%f”‘, archive_time=3600

Postgresql的调度pgAgent

环境: winxp, postgresql 9.0 ,  pgAgent-3.0.0

pgAgent是Postgresql的一个调度程序,在之前postgresql 9.0之前一直附带在pgAdmin包下,只是默认不安装。在之后的版本就单独作为一个安装包。在http://www.pgadmin.org/download/pgagent.php可以下载pgAgent程序。将下载的程序解压放在pgAdmin III目录下,运行pgagent.sql脚本,psql -U postgres -f $pginstall\\pgAdmin III\\pgAgent\\pgagent.sql。然后安装pgagent服务,$pginstall\\pgAdmin III\\pgAgent INSTALL pgAgent -u postgres
-p secret hostaddr=127.0.0.1 dbname=postgres user=postgres password=secret

这样在windows服务界面上有PostgreSQL Scheduling Agent – pgAgent服务,启动它才可以运行设定的批处理程序或sql语句。

PostgreSQL归档日志配置

环境: windows sever 2003 , postgresql 8.4

在PostgreSQL的安装目录下找到postgresql.conf文件,将其中的archive_mode , archive_command 修改为如下:

# – Archiving –

archive_mode = on  # allows archiving to be done
# (change requires restart)

archive_command = ‘copy “%p” D:\\\\\\\\program\\\\\\\\postgresql_archivedlog\\\\\\\\”%f”‘  # command to use to archive a logfile segment

archive_timeout = 600  # force a logfile segment switch after this
# number of seconds; 0 disables

 

 

日志切换:

postgresql =# select pg_switch_xlog();

sqoop导oracle数据库的数据到hive

环境:CentOS 6.3,   hive-0.9.0-cdh4.1.2, Oracle database 11g
1. 首先将ojdbc.jar文件拷贝到/u01/cloudera/parcels/CDH/lib/sqoop/lib目录下

2. 启动命令:

sqoop export –connect jdbc:oracle:thin:@xxx:1521:biprod –username sqoop_user –password sqoop_user –table OS_ZHIXIN_CHG –export-dir /tmp/zhixin_chg/20140911/20140911charge.zhixin2.log

执行语句:sqoop import –connect jdbc:oracle:thin:@m1-ite-erp-bidev01.m1:8521:biprod –username ahmt –password haddmt –table FCT_PROX_HMT –hive-import -m 1
导数的时候出错: ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!
经排查,问题出在 –username ahmt 这个选项, 需要把用户名大写, –username AHMT, 同时注意表名也要大写