在EDA（探索性数据分析）过程中，筛选数据是一个关键步骤，它可以帮助我们更好地理解数据集的特征和结构。以下是一些常用的方法和工具，用于在EDA过程中筛选数据：
选择子集
根据分析任务选择重要的特征，隐藏不相关的特征。例如，在分析用户购买商品的信息时，可以选择用户ID、商品ID、购买数量等特征，而将商品属性等不直接相关的特征隐藏起来。
删除重复值
使用用户ID和物品编号等特征来筛选是否有重复的数据。例如，在表一中没有重复数据，一共有29972条数据；表二可以用用户ID字段来筛选出重复值，一共954条数据，没有重复数据。
缺失值处理
统计每个特征的缺失值情况，并根据需要进行处理。例如，表一除了商品属性这个特征其他特征没有缺失值，暂且不用处理。
异常值处理
使用统计方法如箱线图、z-score或IQR（四分位间距）法来识别和处理异常值。例如，在分析孩子商品交易数据时，可以通过年龄来筛选异常值。
使用Excel进行初步筛选
利用Excel的各种函数和图表工具进行数据的筛选、排序、汇总和可视化，便于进行初步的EDA。
使用编程语言和工具
掌握Python、MATLAB、Tableau等编程语言和工具，通过编写脚本或使用内置函数进行数据筛选和分析。例如，使用Python的Pandas库可以方便地进行数据筛选和预处理。
使用SweetViz和ydata-profiling
SweetViz是一个开源的Python库，可以通过两行代码生成美观且高密度的可视化图表，帮助快速进行探索性数据分析。ydata-profiling是一个用于数据探查和分析的Python库，可以帮助用户快速了解和分析数据集的内容。
使用EDA软件
一些EDA软件允许用户选择已有的或创建新的结果文件，并根据需要自动对数据段进行分析。例如，某些软件可以在control窗口的current segment中切换查看各个不同数据段的结果，并进行统计分析和数据可视化。
通过上述方法和工具，可以有效地在EDA过程中筛选数据，从而为进一步的数据分析和建模打下坚实的基础。选择合适的方法和工具取决于具体的数据类型、分析需求和个人的技术背景。
