数据规约

数据维度规约

数据维度规约是指在保持数据信息完整性的前提下，减少数据的维度数量，以便简化后续的分析和建模过程。常用的特征选取方法包括以下几种：

• 特征选取法：
  • 分歧性测量法（一致性测量法）：评估每个特征在不同取值下的目标值是否一致。数据笔数越少，表示相应特征越重要。
  • 关联性测量法：通过计算每个特征在不同取值下，目标值相反情况的比例，比例越高表示关联性越强。
  • 判别测量：评估每个特征不同取值的判别能力。
  • 信息增益测量（决策树特征选取法）：通过决策树的熵来衡量变量对目标变量的区分能力，从而去除较不相关或多余的变量。

组合特征产生方法

• 逐渐向前挑选法：首先根据特征测量法选取最优特征，然后逐步添加一个数据维度，形成新的特征组合。
• 逐渐向后删减法：与逐渐向前挑选法相反，从所有特征组合开始，逐层减少一个维度。
• 混合法：结合逐渐向前挑选法和逐渐向后删减法，同时进行操作。
• 随机选取法：随机决定逐渐向前挑选法、逐渐向后删减法和随机组合特征。

特征选取策略

特征选取策略的选择取决于数据的特征维度。假设数据中有N个维度，那么所有可能的特征组合为2^N种。由于计算复杂度随着维度增加呈指数增长，通常情况下，可以通过设置一些终止条件来控制算法的执行时间，如不一致的数据笔数少于3、信息增益大于0.8、相关性大于0.95、数据特征组合大于5等。以下是两种常用的特征选取策略：

• 穷举搜索策略：采用广度优先搜索，将所有可能的特征组合列出，通过比较不同特征维度，找到最佳特征组合。这种方法耗时较长。
• 启发式搜索策略：采用深度优先搜索，从各个特征中选取N个最佳特征，然后根据所选特征生成N个维度的组合，并挑选出最佳的组合。这种方法虽然不能保证得到最佳解，但执行效率较高。
• 随机搜索策略：以所选特征为基准，通过随机添加或删除特征的方式，不断改进特征组合，直至满足设定的终止条件。

主成分分析法

主成分分析法是一种常用的降维技术，通过线性变换将原始数据投影到新的坐标系上，使得新坐标系中的前几个主成分包含大部分原始数据的变异信息，从而实现降维。

数据数值规约

数据数值规约是指通过一定的方法将大量数据简化为少量数据，以便更好地进行分析和处理。主要方法包括：

• 团圆化：将连续型数据转化为离散型数据，便于解释和处理。通过将属性值划分到不同的区间范围内，可以减少连续尺度的数据量。
• 概念层次：对于连续型数据，可以通过团圆化技术将其划分为不同的区间。而对于离散型数据，由于其本身没有大小顺序关系，需要通过概念层次的转换，将数据归一化，并用高层次的概念替换低层次的原始数据。例如，将小时映射到天、周、月等更高层次的概念，或者将液晶屏尺寸从小到大规范为“小”、“中”、“大”。概念层次的转换需要专家确认，避免不当的转换导致数据失真。