Polars数据分析常见操作

Polars 是一个基于 Apache Arrow 的高性能 DataFrame 库，以 Rust 为核心、Python 为接口，融合了 SQL 的声明式风格 与 函数式编程的表达力，专为现代数据分析与 ETL 场景设计。

一、架构与核心哲学

核心组件

设计理念

“像写 SQL 一样声明，像写函数一样组合。”

(
    pl.scan_csv("data.csv")
    .filter(pl.col("amount") > 0)
    .group_by("region")
    .agg(pl.sum("amount"))
    .sort("amount", descending=True)
    .collect()
)

✅ 优势：

• 自动优化执行计划（如谓词下推、列裁剪）
• 零拷贝 Arrow 内存模型
• 多线程并行执行（Rust 原生支持）

二、延迟执行（LazyFrame）深度解析

1. 构建延迟管道

q = (
    pl.scan_parquet("sales.parquet")
    .filter(pl.col("year") == 2024)
    .group_by("category")
    .agg(pl.sum("revenue").alias("total_rev"))
)

2. 执行与调试

3. 自动优化策略

三、聚合与分组策略

1. 基础聚合

df.group_by("region").agg([
    pl.count(),
    pl.mean("sales").alias("avg_sales"),
    pl.max("sales")
])

2. 多键分组

df.group_by(["region", "year"]).agg(pl.sum("sales"))

3. 时间序列动态分组

df.group_by_dynamic("timestamp", every="1h").agg(pl.sum("value"))

4. 滚动与累积计算

df.select(pl.col("value").rolling_mean(window_size=7))
df.select(pl.col("value").cum_sum())

四、表达式魔法：内建函数族速览

五、窗口函数（Window / Over）

模拟 SQL 的 OVER 子句：

df.select([
    pl.col("region"),
    pl.col("sales"),
    pl.mean("sales").over("region").alias("avg_by_region"),
    pl.rank("sales").over("region").alias("rank_in_region")
])

✅ 支持：

• 分区：.over("key")
• 排序：.over(sort_by="date")
• 累积函数：cum_sum(), cum_max(), cum_count()

六、UDF 使用建议

尽量避免 UDF！优先使用表达式。

安全用法（逐元素）

df.with_columns(
    pl.col("text").map_elements(lambda s: s[::-1]).alias("reversed")
)

危险用法（逐行，性能极差）

df.apply(lambda row: ...)  # ❌ 退化为 Python 循环，单线程

建议：仅用于调试或极小数据集。

七、高级 I/O 支持

✅ 延迟读取：pl.scan_*() + .collect() 是最佳实践。

八、数据类型与内存控制

Polars 完全兼容 Arrow 类型系统：

类型转换：

df.with_columns(pl.col("col").cast(pl.Int32))

九、性能调优指南

十、Polars vs Pandas vs PySpark

十一、常见陷阱与高级技巧

十二、生态扩展

十三、性能对比（Polars vs Pandas vs Dask）

测试环境：i7-12700H, 32GB RAM, Ubuntu 22.04, 1000 万行日志数据

✅ 结论：

• Polars 在所有任务中最快，尤其在表达式计算和 Join 上优势显著
• Dask 适合 超内存数据，但小数据有调度开销
• Pandas 适合 交互式小数据探索

✨ Polars：为速度而生，为简洁而写。

用更少的代码，跑更快的数据。

📉 可视化图表（文字描述，可转为 Matplotlib/Plotly）

性能对比（对数刻度，时间越低越好）

任务5: 排序
Pandas  ████████████████████ 6.8s
Dask    ████████████ 4.0s
Polars  ██████ 2.0s

任务3: 分组聚合
Pandas  ████████████████████████████████████ 4.5s
Dask    ████████████████████████ 3.0s
Polars  ████████████ 1.1s

任务2: 筛选+计算
Pandas  ████████████████████████████████████████████ 1.8s
Dask    ████████████████████████ 1.2s
Polars  ████ 0.3s

✅ 结论：

• Polars 在所有任务中最快，尤其在表达式计算和 join 上优势显著
• Dask 适合 超大内存数据（> RAM），但小数据有调度开销
• Pandas 适合 交互式小数据探索，但性能瓶颈明显

附录一 速查手册

1、基础 & 环境

2、核心表达式 & 列操作

Polars 的强大在于表达式（Expressions）：你构建表达式，系统会优化执行。

3、筛选 / 过滤 / 子集

4、排序 / 排列 / 采样

5、聚合 / 分组 / 统计

6、连接 / 合并 / 拼接 / 重塑

7、日期 / 时间 / 时间序列

8、字符串 / 文本操作

9、空值 / 缺失 / NaN 处理

10、性能 / 优化建议

附录二

1. 基础操作

import polars as pl
df = pl.DataFrame({"a": [1,2,3], "b": ["x","y","z"]})
lazy = pl.scan_parquet("*.parquet")

2. 表达式核心

pl.col("x") + 1
pl.when(pl.col("score") > 90).then("A").otherwise("B")
pl.col("^feat_.*$")  # 正则选列

3. 连接与重塑

df1.join(df2, on="id", how="left")
pl.concat([df1, df2], how="vertical")
df.melt(id_vars="id", value_vars=["v1", "v2"])

4. 时间处理

pl.col("ts").dt.hour()
pl.col("ts") + pl.duration(days=7)
df.group_by_dynamic("ts", every="1d").agg(pl.sum("value"))

5. 性能建议

• 优先使用 scan_*() + collect()
• 用 .select() 早裁剪列
• 用 .explain() 查看优化计划
• 大数据启用 streaming=True