Below：来自Meta的“时间旅行”Linux系统监控利器

### Below：来自Meta的“时间旅行”Linux系统监控利器

`below` 是由 Meta (前Facebook) 资源控制团队开发并开源的一款针对现代Linux系统的高级性能监控工具。它不仅能提供实时的系统资源快照，更强大的在于其能够记录历史数据并允许用户“穿越”回过去的时间点，对系统当时的状态进行详细分析，这在诊断和复盘偶发性、瞬时性的性能问题时尤其有效。

**项目地址**: [github.com/facebookincubator/below](https://github.com/facebookincubator/below)

---

#### **核心理念与定位**

`below` 的诞生源于 Meta 在大规模服务器集群运维中对传统工具（如`top`、`htop`）和`atop`的不足所进行的思考。 虽然`atop`支持历史数据记录，但在cgroup支持、数据存储可靠性和用户体验方面存在短板。 `below` 的设计目标正是为了解决这些痛点，成为下一代的基础设施可见性和调试工具。

其核心定位是：
*   **时间旅行调试器 (Time Traveling Debugger)**：能够记录系统在过去每一秒的状态，让开发者和运维工程师可以随时回溯，查看问题发生时的完整上下文。
*   **现代容器化环境的原生支持者**：深度集成对 **cgroup v2** 的支持，可以清晰地展示容器和服务的资源消耗层级结构，这对于分析复杂的微服务架构至关重要。 （注意：不支持cgroup v1）。
*   **可靠且高效的数据记录器**：采用 Zstandard (zstd) 对每个数据点进行独立压缩存储，避免了`atop`因增量压缩在系统高压时可能导致大范围数据丢失的问题。

---

#### **主要功能与特色**

1.  **全面的数据视图**：
    *   **系统概览**：提供主机级别的CPU、内存、I/O、网络等核心指标的概览。
    *   **Cgroup视图**：以树状结构清晰展示cgroup的层级关系及其资源占用情况，是分析容器性能的利器。
    *   **进程视图**：详细列出各个进程的资源使用情况，并能关联到其所属的cgroup。
    *   **PSI（Pressure Stall Information）**：支持展示压力延迟信息，帮助精确判断系统资源瓶颈（CPU、内存、I/O）。

2.  **多种工作模式**：
    *   **Live Mode（实时模式）**：像 `htop` 一样实时显示当前系统状态，但提供了更丰富的cgroup信息。
    *   **Record Mode（记录模式）**：以后台守护进程的方式运行，持续收集系统数据并存储到磁盘中，以备后续分析。
    *   **Replay Mode（回放模式）**：核心的“时间旅行”功能，可以加载历史数据，并通过交互式TUI界面在不同的时间点之间跳转和分析。

3.  **强大的交互式界面 (TUI)**：
    *   提供了类似`htop`的友好终端交互界面，支持排序、过滤、折叠/展开cgroup树等操作。
    *   通过简单的按键（如 `t` 和 `T`）即可在不同的时间快照之间前后移动。

4.  **脚本友好与集成**：
    *   提供`dump`子命令，可以将历史数据以 **JSON, CSV, OpenMetrics** 等多种格式导出，方便进行自动化分析或与监控系统（如Prometheus/Grafana）集成。
    *   `snapshot`子命令可以将一段历史数据打包成单个文件，便于离线分享和分析。

5.  **先进的技术实现**：
    *   使用 **Rust** 语言编写，保证了性能和内存安全。
    *   利用 **eBPF** 技术来追踪短生命周期的进程，确保了数据的完整性和准确性。

---

#### **典型应用场景**

*   **事后故障分析**：当服务出现CPU飙升、内存泄漏或I/O抖动等问题后，运维人员可以利用`below`回放到故障时间点，精确查看是哪个容器或进程导致的资源异常。
*   **性能瓶颈定位**：通过分析历史数据趋势，识别系统或特定服务的资源瓶颈，为容量规划和性能优化提供依据。
*   **容器资源“吵闹邻居”问题排查**：在多租户环境中，可以清晰地看到是哪个cgroup（容器）占用了过多的共享资源，影响了其他服务的正常运行。
*   **性能回归测试**：在应用发布前后，分别记录系统快照，通过对比分析来验证新版本是否存在性能回退。

总而言之，`below` 是一个为现代Linux运维而生的强大工具，它将实时监控与历史回溯能力无缝结合，并原生支持cgroup，极大地提升了在复杂和动态的容器化环境中诊断问题的效率。