机器学习中必知必会的 8 种降维技术,最后一款超硬核!
降维是将高维数据集转换为可比较的低维空间的过程,真实的数据集通常有很多冗余特征,降维技术可用于去除这些冗余特征或将n维数据集转换为2维或3维进行可视化。
在本文中,我们将讨论8种降维技术,它们可以用于各种用例来降低数据集的维度。
1. ȱʧֵ
真实的数据集机器通常包含大量缺失记录,这可能是由于记录数据时数据损坏或保存失败造成的。我们可以尝试各种数据插补技术来填补缺失的记录,但这仅在特征缺失数量有限时有效。
如果缺失特征值的数量大于指定的阈值,则最好从训练数据中删除该特征。我们可以删除所有缺失特征记录大于阈值(学习比如50%)的特征,从而降低数据的维度。
缺失值的可视化:白线表示存在缺失值
上述缺失值解释图像是使用themissingno包为titanic数据生成的。特征“Age”和“Cabin”有大量缺失记录,最终,它们可以从训练样本中去除中必。
2.相关性滤波器
一个或多个特征的相关性较高说明其具有相似的变化趋势且可能包含相似的信息,它会破坏自变量的统计显著性,我们可以删除与其他独立特征相关的特征,还可以删除与目标类标签不相关的特征。
有多种技术可以计算独立特征之间的相关性,包括 Pearson知必、Spearman、Kendall、卡方检验等。
相关矩阵的热图
上述相关矩阵热图(针对titanic数据集)是使用df.corr()函数计算的。
3.方差滤波器
只有一个特征类别的分类特征或方差很小的数值特征变量,这些特征不会对我们会的的模型有一定的提升,可以从训练样本中删除。
函数DataFrame.var()可以计算 Pandas 数据帧的所有特征的方差。DataFrame.value_counts()函数可以计算每个特征的分布。
4.前向/后向特征选择
前向特征选择技术是一种选择最佳特征集 8的包装技术。这是一个循序渐进的过程,特征是根据上一步的推断来选择的。前向特征选择技术的步骤是:
1.使用每个特征分别训练机器学习模型,并测量每个模型的性能。
2.获取性能最佳的特征并使用其余特征重新训练单个模型。
3.重复这个过程并一次添加一个特征,产生 种性能最佳的特征被保留。
4.重复步骤 2 和 3,直到模型的性能没有明显的改善。
前向特征选择
后向特征选择技术类似于前向特征选择,但工作方式正好相反,最初选择所有特征,并在每一步中删除最冗余的特征。
5.主成分分析
主成分分析 (PCA) 是一种非降维常古老的降维技术。PCA 通过保留特征的方差将特征向量投影到低维空间,它找到最大方差的方向以获得最佳特征列表。PCA 可用于将非常高维的数据投影到所需的维度。PCA算法的步骤是:
标准化数据集 计算标准化数据集的协方差矩阵 计算协方差矩阵的特征值和特征向量 取特技术征向量与具有高特征值的特征向量的点积。 6.t-SNE
t-SNE(t-分布式随机邻域嵌入)是一种降维技术,主要用于数据可视化。t-SNE将高维的数据集转换为可以进一步可视化的二维或三维向量。
t-SNE 的性能优于 PCA,因为它保留了数据的局部结构,并通,最过保留邻域局部结构将每个数据点从较高维度嵌入到较低维度空间。
更多内容可以查看:https://distill.pub/2016/misread-tsne/
7.UMAP
UMAP(Uniform Manifold Approximation)是一种新的降维技术,后一它是一种非常有效的可视化和可伸缩降维算法,其工作方式与 t-SNE 类似,但是它保留了更多全局结构、具有优越的运行性能、更好的可扩展性。
更多详情:https://umap-learn.readthedocs.io/en/latest/basic_usag款超e.html
8.自动编码器(Auto Encoder )
自动编码器(Auto Encoder )是一种基于单层感知器的降维方法。它有两个组成部分:压缩(编码器)和扩展(解码器)。输入层和输出层的节点数量相同,而中间层的神经元数量少于输入层和输出层。
数据集被硬核传递到自动编码器神经网络模型,并被编码到较低维度的隐藏层。然后它尝试从简化的编码中生成尽可能接近其原始输入的表示。中间层是减少到可比较的较低维度的向量。
总结
在本文中,我们讨论了基于特征选择的降维方法、基于组件的降维技术、基于投影的方法,最后是基于神经网络的自机器动编码器。ISOMAP 是另一种基于投影的降维方法,其工作方式类似于 UMAP 和 t-SNE。SVD 和 ISO 是其他一些基于组件的降维技术。
相关文章
据凤凰网科技报道,字节跳动旗下AI产品“豆包”近日因其内置的“相关视频”推荐功能引发广泛争议。多位家长反映,该功能在用户提问时自动附带抖音短视频链接且无法关闭,导致“AI学习”场景被娱乐内容侵占,使用2026-11-17
自动驾驶的测试是一个非常复杂的系统,我们用一篇文章,由小到大的逐个展开来和大家一起梳理下。 在梳理之前我们先抛出一个问题:自动驾驶的测试需要达到什么量级? 根据国际一般标准统计,人类司机驾驶一小时的死2026-11-17
9月2日消息,2022世界人工智能大会(以下简称WAIC)于9月1日在上海正式开幕,京东云在WAIC上全景式展示京东“产业AI”布局,发布言犀人工智能应用平台,并呈现了京东在产业元宇宙领域的最新成果。2026-11-17
前馈网络+线性交互层=残差MLP,Facebook纯MLP图像分类架构入场
最近一段时间,多层感知机(MLP)成为 CV 领域的重点研究对象,谷歌、清华大学等机构的研究者先后提出了纯 MLP 构建的视觉架构和新的注意力机制,这些研究将 CV 的研究重心重新指向 MLP。近日,2026-11-17
云梦级11月12日云梦级消息,巨星传奇公司今日发布自愿公告成立合资公司。 公告显示,巨星传奇集团旗下星创艺与宇树科技子公司灵翌科技于 2025 年 11 月 11 日签署合作协议,双方各持 50% 股2026-11-17
云梦级11月4日云梦级消息,中国道路运输协会发布公告,在中国道路运输协会组织下,满帮集团、货拉拉、滴滴送货、快狗打车于 2025 年 7 月 8 日联合签署并公开发布《网络货运信息交易撮合平台保障货车2026-11-17

最新评论