如何在Python上安装xgboost

如何在Python上安装xgboost

安装
首先安装XGBoost的C++版本，然后进入源文件的根目录下的 wrappers文件夹执行如下脚本安装Python模块
python setup.py install

安装完成后按照如下方式导入XGBoost的Python模块
import xgboost as xgb

=
数据接口
XGBoost可以加载libsvm格式的文本数据，加载的数据格式可以为Numpy的二维数组和XGBoost的二进制的缓存文件。加载的数据存储在对象DMatrix中。
加载libsvm格式的数据和二进制的缓存文件时可以使用如下方式
dtrain = xgb.DMatrix('train.svm.txt') dtest = xgb.DMatrix('test.svm.buffer')

加载numpy的数组到DMatrix对象时，可以用如下方式
data = np.random.rand(5,10) # 5 entities, each contains 10 features label = np.random.randint(2, size=5) # binary target dtrain = xgb.DMatrix( data, label=label)

将scipy.sparse格式的数据转化为 DMatrix格式时，可以使用如下方式
csr = scipy.sparse.csr_matrix( (dat, (row,col)) ) dtrain = xgb.DMatrix( csr )

将 DMatrix 格式的数据保存成XGBoost的二进制格式，在下次加载时可以提高加载速度，使用方式如下
dtrain = xgb.DMatrix('train.svm.txt') dtrain.save_binary("train.buffer")

可以用如下方式处理 DMatrix中的缺失值：
dtrain = xgb.DMatrix( data, label=label, missing = -999.0)

当需要给样本设置权重时，可以用如下方式
w = np.random.rand(5,1) dtrain = xgb.DMatrix( data, label=label, missing = -999.0, weight=w)

参数设置
XGBoost使用key-value格式保存参数. Eg
* Booster（基本学习器）参数
param = {'bst:max_depth':2, 'bst:eta':1, 'silent':1, 'objective':'binary:logistic' } param['nthread'] = 4 plst = param.items() plst += [('eval_metric', 'auc')] # Multiple evals can be handled in this way plst += [('eval_metric', 'ams@0')]

还可以定义验证数据集，验证算法的性能
evallist = [(dtest,'eval'), (dtrain,'train')]

=
训练模型
有了参数列表和数据就可以训练模型了
* 训练
num_round = 10 bst = xgb.train( plst, dtrain, num_round, evallist )

保存模型
在训练完成之后可以将模型保存下来，也可以查看模型内部的结构
bst.save_model('0001.model')

Dump Model and Feature Map
You can dump the model to txt and review the meaning of model
# dump model bst.dump_model('dump.raw.txt') # dump model with feature map bst.dump_model('dump.raw.txt','featmap.txt')

在kaggle等数据挖掘竞赛上的表现从未令人失望过。喜欢r的朋友可以直接在cran上下载xgboost包（install.pakages(‘xgboost’)）。 而python用户都深受安装新包的痛楚，由于xgboost作者删除了github上的windows目录，导致无法安装最新xgboost版本。