Kaggle与数据科学：实战技巧与最佳实践

09/15/25 on

在Kaggle竞赛和数据科学实践中，我总结了一些实用的技巧，涵盖数据清洗、可视化、时间序列处理等多个方面。这些经验来自于实际项目，希望能对大家有所帮助。

1. 数据清洗技巧

1.1 时间戳标准化

在处理时间序列数据时，时间戳格式混乱是常见问题。以下是一个标准化时间戳的通用方法：

import pandas as pd

# 加载和标准化时间戳
df = pd.read_csv("data.csv")
df["time"] = pd.to_datetime(df["time"], utc=True)  # 统一使用UTC
df.set_index("time", inplace=True)  # 设为索引
df = df.sort_index()  # 按时间排序，这对时间序列至关重要

1.2 处理非标准数值格式

数据中常常包含非标准格式的数值，如”15k”、”20000 yuan”等，需要统一处理：

def clean_numeric_values(value):
    """清理包含单位或字母的数值"""
    if pd.isna(value):
        return None
    
    # 处理带k的格式，如"15k"
    if isinstance(value, str) and 'k' in value.lower():
        return float(value.lower().replace('k', '')) * 1000
    
    # 处理带货币符号的格式
    if isinstance(value, str):
        # 移除货币符号和空格
        cleaned = ''.join(c for c in value if c.isdigit() or c == '.')
        return float(cleaned) if cleaned else None
    
    return float(value)

# 应用清理函数
df['cleaned_column'] = df['messy_column'].apply(clean_numeric_values)

1.3 处理缺失值和重复值

# 检查数据基本情况
print(df.info())
print(df.describe())

# 处理缺失值
df.fillna(method='ffill', inplace=True)  # 前向填充
# 或者使用特定值填充
df.fillna({'column1': 0, 'column2': df['column2'].median()}, inplace=True)

# 删除重复值
df.drop_duplicates(inplace=True)

2. 数据可视化技巧

2.1 有效可视化的原则

在Kaggle竞赛中，我发现优秀的可视化不仅仅是美观，更重要的是能够清晰地传达数据故事。首先需要明确可视化的目标，避免”为了图表而图表”。

常用工具包括：

matplotlib：提供精细控制
seaborn：提供美观的默认样式
plotly：提供交互式图表

2.2 实用的可视化代码模板

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import plotly.express as px

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 分组柱状图示例
fig, ax = plt.subplots(figsize=(12, 6))
sns.barplot(data=df, x='category', y='value', hue='region', ax=ax)
ax.set_title('各地区分类别表现对比')
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

# 交互式散点图
fig = px.scatter(df, x='feature1', y='feature2', color='category',
                 title='特征间关系可视化')
fig.show()

3. 时间序列特征工程

3.1 核心思想

跳过复杂的时间序列模型，从时间数据中提取时间特征，然后使用标准机器学习模型（如随机森林、XGBoost）进行预测——这种方法既实用又容易实现。

3.2 时间索引特征

提取周期性模式（小时、工作日）和长期趋势：

import pandas as pd
import numpy as np

def extract_time_features(df, time_col='timestamp'):
    """从时间列提取有用的时间特征"""
    df = df.copy()
    df[time_col] = pd.to_datetime(df[time_col])
    
    # 基础时间特征
    df['year'] = df[time_col].dt.year
    df['month'] = df[time_col].dt.month
    df['day'] = df[time_col].dt.day
    df['hour'] = df[time_col].dt.hour
    df['weekday'] = df[time_col].dt.weekday
    df['quarter'] = df[time_col].dt.quarter
    
    # 循环特征（使用sin/cos编码处理周期性）
    df['hour_sin'] = np.sin(2 * np.pi * df['hour'] / 24)
    df['hour_cos'] = np.cos(2 * np.pi * df['hour'] / 24)
    df['day_sin'] = np.sin(2 * np.pi * df['day'] / 31)
    df['day_cos'] = np.cos(2 * np.pi * df['day'] / 31)
    df['month_sin'] = np.sin(2 * np.pi * df['month'] / 12)
    df['month_cos'] = np.cos(2 * np.pi * df['month'] / 12)
    
    return df

# 使用示例
df_with_features = extract_time_features(df)

3.3 滑动窗口特征

def add_rolling_features(df, target_col, windows=[3, 7, 14]):
    """添加滑动窗口统计特征"""
    for window in windows:
        df[f'{target_col}_mean_{window}'] = df[target_col].rolling(window=window).mean()
        df[f'{target_col}_std_{window}'] = df[target_col].rolling(window=window).std()
        df[f'{target_col}_min_{window}'] = df[target_col].rolling(window=window).min()
        df[f'{target_col}_max_{window}'] = df[target_col].rolling(window=window).max()
    
    return df

# 使用示例
df_with_rolling = add_rolling_features(df_with_features, 'target_value')

4. 日期格式处理

在日常数据处理中，日期格式混乱是常遇到的问题。Python的datetime模块提供了完善的日期时间处理能力。

4.1 字符串转日期对象

这是所有转化的基础，因为只有把字符串变成datetime对象，才能自由调整格式。

from datetime import datetime

# 处理不同格式的日期字符串
date_str1 = "2025-12-02 15:30:00"
date_obj1 = datetime.strptime(date_str1, "%Y-%m-%d %H:%M:%S")

date_str2 = "2025/12/2"
date_obj2 = datetime.strptime(date_str2, "%Y/%m/%d")

# 常用格式化指令对照表：
# %Y - 4位年份
# %m - 2位月份
# %d - 2位日期
# %H - 24小时制小时
# %M - 分钟
# %S - 秒

4.2 Pandas日期处理

import pandas as pd

# 读取CSV时直接解析日期
df = pd.read_csv('data.csv', parse_dates=['date_column'])

# 或者之后转换
df['date_column'] = pd.to_datetime(df['date_column'])

# 格式化输出
df['formatted_date'] = df['date_column'].dt.strftime('%Y年%m月%d日')

5. 高级数据清洗技巧

5.1 处理缺失值策略

处理缺失值的策略取决于数据的性质和缺失的原因：

删除：如果只有少数行有缺失值，删除它们可能是可接受的
填充：用常数（0、均值、中位数）填充，或使用更复杂的模型填充方法
分析：有时，值缺失这一事实本身就是一条可以作为特征使用的信息

# 删除缺失值较少的行
df_clean = df.dropna(thresh=len(df.columns)-2)  # 保留至少有这么多非NA值的行

# 使用均值填充数值列
df['numeric_col'].fillna(df['numeric_col'].mean(), inplace=True)

# 使用众数填充分类列
mode_value = df['categorical_col'].mode()[0] if not df['categorical_col'].mode().empty else 'Unknown'
df['categorical_col'].fillna(mode_value, inplace=True)

# 创建指示器特征表示缺失值
df['missing_indicator'] = df['some_col'].isna().astype(int)

5.2 数据类型校正

确保每列都有正确的数据类型（例如，数值、日期时间、分类）。错误的数据类型会导致分析和建模中的错误和意外行为。

# 将'date'列转换为datetime对象
df['date'] = pd.to_datetime(df['date'])

# 将'zip_code'转换为分类类型
df['zip_code'] = df['zip_code'].astype('category')

# 将数值列转换为适当的数据类型以节省内存
df['integer_col'] = pd.to_numeric(df['integer_col'], downcast='integer')
df['float_col'] = pd.to_numeric(df['float_col'], downcast='float')

5.3 处理不一致数据

不一致的数据可能源于输入错误、格式不同或不同的测量单位。正则表达式和字符串操作是清理不一致文本数据的强大工具。

# 标准化街道名称
df['street'] = df['street'].str.replace('St.', 'Street').str.replace('Rd.', 'Road')
df['street'] = df['street'].str.title()  # 首字母大写

# 处理不一致的分类值
df['category'] = df['category'].str.lower().str.strip()  # 转小写并去除空格
df['category'] = df['category'].replace({'male': 'Male', 'female': 'Female', 'f': 'Female', 'm': 'Male'})

5.4 识别和处理异常值

异常值是与其他观测值显著不同的数据点。它们可能由测量错误引起，也可能是合法但极端的值。

可视化：箱线图和散点图有助于直观识别异常值
统计方法：使用统计检验或经验法则（例如，距离均值超过3个标准差的值）来程序化识别异常值
处理：根据原因，您可能需要删除、限制或转换异常值

import numpy as np

# 使用IQR方法识别异常值
Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 标识异常值
outliers = df[(df['value'] < lower_bound) | (df['value'] > upper_bound)]

# 限制异常值（不删除，而是将其限制在合理范围内）
df['value_capped'] = df['value'].clip(lower=lower_bound, upper=upper_bound)

# 或使用Z-score方法
from scipy import stats
z_scores = np.abs(stats.zscore(df['value']))
df_no_outliers = df[z_scores < 3]  # 保留Z-score小于3的值

5.5 删除重复值

重复行可能会扭曲您的分析，一般应予以删除。

# 删除重复行
df_unique = df.drop_duplicates()

# 基于特定列删除重复项
df_unique = df.drop_duplicates(subset=['col1', 'col2'])

# 保留最后一个重复项而不是第一个
df_unique = df.drop_duplicates(keep='last')

6. 特征工程与机器学习

6.1 处理缺失值

现实世界的数据库很少是完整的。简单地删除有缺失值的行可能导致大量数据丢失。更好的方法是使用插补法。

简单插补：

from sklearn.impute import SimpleImputer

# 数值列插补
num_imputer = SimpleImputer(strategy='median')
df[['col1', 'col2']] = num_imputer.fit_transform(df[['col1', 'col2']])

# 分类列插补
cat_imputer = SimpleImputer(strategy='most_frequent')
df[['cat_col1', 'cat_col2']] = cat_imputer.fit_transform(df[['cat_col1', 'cat_col2']])

高级插补：

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

# 使用迭代插补，考虑列之间的关系
imp = IterativeImputer(random_state=0)
df_imputed = imp.fit_transform(df)

6.2 特征工程核心理念

数据中的特征最终决定了模型的成功。特征工程是从现有数据中创建新特征的艺术和科学，以便更好地向机器学习模型表示潜在问题。

互信息：互信息（MI）是衡量两个变量之间关系的一种方法。它可以用来识别对目标变量最有预测潜力的特征。较高的MI分数表示较强的关系。

from sklearn.feature_selection import mutual_info_regression
import pandas as pd
import numpy as np

def make_mi_scores(X, y, discrete_features):
    """计算互信息分数"""
    mi_scores = mutual_info_regression(X, y, discrete_features=discrete_features)
    mi_scores = pd.Series(mi_scores, name="MI Scores", index=X.columns)
    mi_scores = mi_scores.sort_values(ascending=False)
    return mi_scores

# 使用示例
# mi_scores = make_mi_scores(X, y, discrete_features)
# print(mi_scores)

6.3 常用特征工程技术

# 1. 计数编码 - 替换类别值为其出现次数
counts = X_train[col].value_counts()
X_train.loc[:, col + '_count'] = X_train[col].map(counts)

# 2. 目标编码 - 用训练集中的目标统计替换类别值
encoding = X_train.groupby(col)['target'].mean()
X_train.loc[:, col + '_target'] = X_train[col].map(encoding)

# 3. 分桶 - 将连续特征转换为离散特征
X['feature_binned'] = pd.cut(X['continuous_feature'], bins=5, labels=False)

# 4. 交互特征 - 创建两个或多个特征的组合
X['interaction'] = X['feature1'] * X['feature2']

# 5. 聚合特征 - 从分组数据中创建特征
agg_features = df.groupby('category').agg({
    'value': ['mean', 'std', 'count'],
}).reset_index()
agg_features.columns = ['category', 'value_mean', 'value_std', 'value_count']

7. 实践心得

明确目标：每次数据处理前先明确目标，避免不必要的复杂操作
逐步验证：每一步操作后都要验证结果是否符合预期
保持数据完整性：在清洗过程中注意不要丢失重要信息
文档化过程：记录每一步操作，便于复现和调试
利用Pandas优势：充分利用Pandas的向量化操作，提高效率
数据清洗迭代性：数据清洗通常是迭代且耗时的过程
系统性方法：系统的数据清洗方法对于构建可靠的模型至关重要
可重现性：始终记录清洗步骤以确保可重现性
策略依情境而定：最佳清洗策略取决于数据的具体情境和项目目标
特征决定成败：特征工程往往比模型选择更能决定最终效果
避免数据泄露：在特征工程中要注意防止数据泄露

这些技巧都是我在Kaggle竞赛和实际项目中总结出来的，希望能够帮助大家更高效地处理数据科学任务。记住，数据科学的核心是解决实际问题，工具和技巧只是手段，关键是要理解数据背后的故事。