环境:Ubuntu 14.04
一直在关注DMLC 这个机器学习项目,最新的一个子项目是虫洞,提供可靠的和可扩展的机器学习工具在不平的计算平台(MPI, Yarn, Sungrid)。将大幅降低安装和部署分布式机器学习应用的门槛。对所有组件提供一致的数据流支持。还提供统一脚本来编译和运行所有组件。使得用户既可以在方便的本地集群运行深盟的任何一个分布式组件。
编译安装如下:
git clone https://github.com/dmlc/wormhole.git
cd wormhole
cp make/config.mk .
vi config.mk
注释HDFS, S3
#USE_HDFS = 1
#USE_S3 = 1
然后编译即可
make
生成两个执行文件:
kmeans.dmlc xgboost.dmlc