【决策树习题练习(答案)】在机器学习中，决策树是一种常用的分类与回归方法，因其结构直观、易于理解和解释而被广泛应用于数据挖掘和模式识别领域。本文将通过一系列练习题，帮助读者巩固对决策树基本原理、构建过程以及相关概念的理解，并附上详细解答。
一、选择题
1. 决策树的构建过程中，以下哪一项是用于选择最优划分属性的标准？
A. 均方误差
B. 信息增益
C. 标准差
D. 平均绝对误差
答案：B
解析：信息增益是ID3算法中用于选择最优划分属性的指标，表示特征对分类结果的贡献程度。
2. 在C4.5算法中，使用的是哪种划分标准？
A. 信息增益
B. 信息增益率
C. 基尼指数
D. 方差
答案：B
解析：C4.5算法是对ID3的改进，引入了信息增益率，以解决信息增益对多值属性偏好问题。
3. 下列哪种情况最可能导致决策树过拟合？
A. 树深度过大
B. 使用剪枝技术
C. 数据集足够大
D. 特征数量较少
答案：A
解析：树深度过大意味着模型过于复杂，容易记住训练数据中的噪声，导致过拟合。
二、填空题
1. 决策树的构建通常采用__________策略，即从根节点开始，逐步划分数据集。
答案：递归分割
2. 基尼指数越小，表示数据集的纯度越__________。
答案：高
3. 在决策树中，如果某个叶节点的所有样本都属于同一类别，则该节点的基尼指数为__________。
答案：0
三、简答题
1. 请简述决策树的基本工作原理。
答：决策树通过递归地选择最佳属性来划分数据集，形成树状结构。每个内部节点代表一个属性测试，每个分支代表一个测试结果，每个叶节点代表一个类别或预测值。在分类任务中，根据路径最终到达叶节点，得到预测结果。
2. 什么是信息增益？为什么它在决策树中很重要？
答：信息增益是衡量某个属性对分类任务帮助程度的指标，计算方式为父节点的信息熵减去子节点的加权平均信息熵。信息增益越大，说明该属性对分类的贡献越大，因此在构建决策树时，优先选择信息增益大的属性进行划分。
3. 简要说明决策树的优缺点。
答：优点包括：结构清晰、易于理解、不需要复杂的数学知识；可以处理数值型和类别型数据；能够自动进行特征选择。缺点包括：容易过拟合、对数据波动敏感、不适用于非线性关系强的数据。
四、应用题
给定如下数据集：
| 是否贷款 | 收入 | 房产 | 婚姻状况 |
|----------|------|------|-----------|
| 否 | 高 | 有 | 单身|
| 是 | 中 | 无 | 已婚|
| 是 | 高 | 有 | 已婚|
| 否 | 中 | 有 | 单身|
| 是 | 低 | 无 | 单身|
请使用ID3算法构建一棵决策树，并给出最终的划分顺序。
解题步骤：
1. 计算整个数据集的信息熵：
- 正例（是）：3个
- 负例（否）：2个
- 总数：5个
- 信息熵 = - (3/5) log₂(3/5) - (2/5) log₂(2/5) ≈ 0.971
2. 分别计算各个属性的信息增益：
- 收入：
- 高：2个（1是，1否）
- 中：2个（1是，1否）
- 低：1个（是）
- 子节点信息熵分别为：1.0, 1.0, 0
- 加权平均：(2/5)1.0 + (2/5)1.0 + (1/5)0 = 0.8
- 信息增益 = 0.971 - 0.8 = 0.171
- 房产：
- 有：3个（1是，2否）
- 无：2个（2是，0否）
- 子节点信息熵分别为：0.918, 0
- 加权平均：(3/5)0.918 + (2/5)0 = 0.551
- 信息增益 = 0.971 - 0.551 = 0.42
- 婚姻状况：
- 单身：3个（1是，2否）
- 已婚：2个（2是，0否）
- 子节点信息熵分别为：0.918, 0
- 加权平均：(3/5)0.918 + (2/5)0 = 0.551
- 信息增益 = 0.971 - 0.551 = 0.42
3. 选择信息增益最大的属性作为根节点，这里“房产”和“婚姻状况”的信息增益相同，可任选其一。假设选择“房产”作为根节点。
4. 对于“房产=有”的子集，继续计算剩余属性的信息增益，选择下一个划分属性。
五、总结
通过以上练习，我们可以看到决策树的核心思想在于利用信息增益等指标进行属性选择，从而构建出具有较好分类能力的树结构。同时，也需注意防止过拟合的问题，可以通过剪枝、设置最大深度等方式进行优化。
希望本次练习能帮助你更好地掌握决策树的相关知识！
