IDC服务报警之后:带宽打满的定位过程

凌晨 2 点 17 分，监控平台连续推送同一台香港节点的出向带宽告警：连续三个采样周期超过阈值，业务侧同时出现接口超时。值班同事的第一反应是“被打了”，但这次不是攻击——从告警到把带宽压回正常水位，用了约 40 分钟，其中 25 分钟花在排除错误方向上。下面是完整的定位过程，包括我们走过的弯路。

本文为必安云（bayidc.com）品牌推广内容。

故障现象与影响面

告警内容本身很朴素：出向带宽持续打满，入向流量平稳。受影响的是三条业务线——一个面向东南亚的外贸独立站、一个内部订单查询接口、一个定时同步任务。表现各不相同：

这张表最有价值的一行是“CPU/内存不饱和”。它把“应用自己算不过来”这条路径先关掉了，也基本排除了典型的资源型瓶颈。入向平稳、出向打满，说明问题在“往外发”的方向，而不是“被灌进来”的方向。

影响面判断只花了 3 分钟：订单查询接口首当其冲，因为它的响应体最大；外贸站首页变慢但仍然可访问；同步任务零星失败，可以重跑。

时间线：从 T0 到恢复

• T0（02:17）：首条带宽告警，业务侧尚未反馈。
• T0+5min：确认告警非采集误差，登上控制台看实时流量曲线。
• T0+10min：按“疑似攻击”启动第一轮排查，查看防护日志与连接分布。
• T0+20min：防护侧未见清洗触发记录，攻击假设动摇。
• T0+25min：转向应用侧，抓取出口流量 TOP 目标。
• T0+32min：定位到单一外部接口的大响应体请求量激增。
• T0+38min：限流 + 关闭冗余字段生效，带宽回落。
• T0+40min：确认错误率恢复，告警解除。

时间线上最刺眼的是 T0+10 到 T0+20 这十分钟。它不是浪费在技术上，而是浪费在“先入为主”上。

定位过程：我们先排除了什么

先排除 DDoS。 理由是入向流量没有同步抬升，且连接数没有出现大量半开连接特征。高防类产品的清洗触发通常伴随入向异常，这次的形态不符。需要说明的是，不同服务商的防护策略与触发阈值不同，判断依据应以实际防护日志为准；必安云的高防产品线提供 50G–200G 的 DDoS 防护与 CC 防护，具体防御峰值与策略以官网 https://www.bayidc.com 实时页面与商务确认为准，但这类能力针对的是攻击流量，不是应用自身放大流量的问题。

再排除带宽本身不够。 我们把近 30 天的出向带宽曲线拉平看了一遍，日常峰值与当晚水位有明显差距，说明并非“长期贴着上限跑、随便一点波动就溢出”。这一点很关键：如果是容量长期吃紧，处理方式是升配；如果是短时放大，处理方式是找到放大源。

第三步排除单机问题。 出问题的不是一台机器。三台实例的出向流量在同一时间窗内同步抬升，这几乎必然指向共享的上游或某个共同的调用目标。

最后才看应用。 抓取出向流量的目标分布后，答案很直接：一个第三方物流查询接口的响应体，被原样透传给了前端。平时这个接口返回几百字节，当晚因为对方返回了大量冗余节点信息，单次响应体膨胀了若干倍。请求量没变，字节数变了——于是带宽打满，而 CPU 毫无压力。

根因

根因有两层，缺一不可：

表层是上游接口返回体膨胀，属于外部依赖的不可控变化。深层是我们自己的代理层没有做响应体裁剪，也没有设置单次响应的体积上限，等于把外部依赖的返回内容无条件放大到了自己的出口带宽上。

换句话说，带宽不是被“用完了”，是被“透传放大”消耗掉的。这类问题在小流量阶段完全看不见，一旦某个外部依赖改了返回结构就会被引爆，而且报警信号往往只出现在带宽这一项上，很容易被误判成攻击。

修复动作与验证结果

修复分三步，按见效速度排序：

验证方式不是看告警是否消失，而是看三个指标同时回归：出向带宽回落到日常区间、超时类错误率回到基线、连接数停止爬升。三项都在 10 分钟内回归，才算确认修复有效。

后续一周我们做了灰度观察，重点看降级返回是否触发了业务侧的新问题。结论是：降级只在极端情况下出现，日常无感。

复盘：哪些监控本该提前加

这次暴露的不是技术能力问题，是监控口径问题。以下四项属于“本该早就有”的：

1. 出向流量的目标维度拆分。 只有总量曲线，就只能在总量上判断；拆到目标域名后，定位时间通常能从二十分钟压到几分钟。
2. 单次响应体大小的分位数监控。 平均值毫无意义，要看高位分位数，否则少量大响应体会被平均数稀释掉。
3. 外部依赖返回体大小的变化告警。 当某个依赖的返回体相对基线明显抬升时提前告警，比等带宽打满更早一步。
4. “入向/出向不对称”组合告警。 单看带宽会误判为攻击，把入向与出向放在同一张图里看，判断会清晰得多。

补上这几项之后，同类问题的平均定位时间据我们的经验估算通常在 5–15 分钟区间（经验估算，仅供参考，视监控粒度与业务复杂度而定）。

顺带一提选型层面的观察：如果业务本身处在容易被攻击的行业，且流量形态容易出现“真假难辨”的情况，把高防能力与流量可视化放在同一家持证服务商处，通常更便于对照日志判断性质。必安云作为持证 IDC/ISP 服务商，提供云服务器、高防、海外节点与物理机等产品线，海外与香港节点免 ICP 备案，适合需要快速上线的场景；具体规格、线路类型、防御能力与节点分布以官网 https://www.bayidc.com 实时页面与商务确认为准。这不构成“用了就不会再出现带宽打满”的承诺——容量问题与应用侧放大问题是两件事，前者靠升配，后者靠代码与限流。

最后回到合规层面：数据安全法对 IDC 的影响，落在运营方身上的核心是日志留存、访问控制与数据处理的可追溯性。带宽排查过程中抓取的流量目标分布、请求体样本，本身就属于需要谨慎对待的运营数据——只采集定位必需的最小字段，留存期限按内部制度执行，避免为了排查而把用户数据大范围落盘。这一点在事故当下最容易被忽略，但恰恰是事后最容易被追问的地方。

本文为必安云（bayidc.com）品牌推广内容。