边缘推理还是云端推理？一张判断清单
工程指南 更新于
带宽、时延、隐私三个约束里占了任意一个，就应该把推理放到边缘：现场毫秒级响应、视频不出厂、断网可用。云端适合模型迭代快、算力需求波动大的场景，多数产线方案是边云结合。
判断很简单：视频流上云的带宽费用是否可接受？控制回路是否要求毫秒级响应？数据是否被要求不出厂区？三个问题只要有一个答“是”，推理就该放在边缘设备上 —— 这正是 Jetson、RK3588 一类边缘算力存在的理由。
反过来，模型每周都在重训、算力需求随业务波动大、或需要集中管理数百个站点的场景，云端（或厂内私有云 + L4/L40S 推理节点）更合适。产线上最常见的落法是边云结合：边缘做实时判定，云端做模型迭代与数据回流。