决策树分类算法的历史可以追溯到1980年代初,当时研究者开始探索用机器学习来解决分类问题。

在1981年,J.Ross Quinlan开发了
ID3算法,该算法使用信息增益来选择决策树的最佳划分属性。

后来,在1986年,J.Ross Quinlan提出了
C4.5算法,该算法引入了剪枝技术,以防止过拟合,该算法还引入了处理连续属性、缺失数据和多值属性等新特性。

在1998年,Jerome Friedman等人提出了
CART算法
Classification and Regression Trees),该算法采用了二叉树,使得决策树更加简洁和易于解释。