一个常见的项目节点:设备入网了,解码也配好了,平台上能看到实时数值。然后客户问了一句——「能导出过去三个月的温度曲线吗?」项目就此卡住。
数据进了平台,不等于数据能用。这一篇讲的就是那之后的路:数据怎么出站、落到哪个库、怎么变成一张能看的板子。上一期 FUOTA 讲的是「升级设备的固件」,这一期讲「别浪费设备上报的数据」。
先划清边界。从设备到看板,数据要走三段:
| 段 | 发生什么 | 承担者 |
|---|---|---|
| 出站 | 平台把结构化数据推给外部 | MQTT 转发器 / API |
| 入库 | 数据按时间序列落盘 | 时序数据库 |
| 看板 | 数据变成曲线、报表、告警视图 | Grafana 或自建前端 |
第 25 期讲的是出站这一段的配置细节(forwardScript 怎么写、Topic 怎么订阅);本篇把三段连起来讲,重点在后面两段——它们不写代码的人常常不知道,一写就踩坑。
ThinkLink 的数据出口有三条路,对应三种用法。
第一条:平台内置历史数据。 平台的历史数据存储基于 TimescaleDB,设备遥测按时间序列落库,页面上可以直接查单设备的历史曲线。这里有两个容易被忽略的口径:其一,查询范围与数据库保留策略是两个独立的条件——把查询的起始时间调早,并不能找回已经按策略清理掉的数据;其二,历史数据查的是遥测(不含 PARA 的业务采集值),参数回显(含 PARA 的配置字段)长期不变是正常的,别当成数据断了。
第二条:API 拉取。 适合低频对账场景——定时脚本每小时拉一次增量,写进你自己的系统。量小时够用,量大时轮询效率低。
第三条:MQTT 转发器。 这是数据量大时的正路。ThinkLink 支持把解析后的遥测推送到第三方 MQTT Broker,订阅 Topic 有三个,各对应一种数据形态:解析后的物模型遥测、解密后的 LoRaWAN 上行原始数据、多网关汇聚后的完整上行消息。Topic 里的组织账号占位符必须替换成实际账号,这是新项目里最常见的第一处报错来源。
转发器有两条必须写进项目文档的纪律:
这两条合起来意味着:出站口就是责任转移点。消息一旦离开平台,落地、缓存、重试的责任全在你这一侧的管道上。很多项目的丢数事故,根因是默认「平台会帮我缓存」,而实际上从来没人负责这一段。
顺带说明为什么这条路是「正路」:ThinkLink 自 2.00.066 起移除了内置的第三方平台集成,外部消费数据的架构就是 Broker 加转发器,没有第三条捷径。
数据出了站,往哪落?通用关系库能扛住几十万行之前的规模,但设备数据的访问模式是「按时间范围扫、按设备筛、几乎不更新」,这正是时序库优化的形状。选型之前,先算一个数——基数:
基数(Cardinality)= 设备数 × 每台设备的指标数 × 标签组合数
100 台设备、每台 5 个指标、3 个标签维度(产线、区域、类型),基数就是 1500。这个数决定你未来两年的写入和查询体验,而且是指数级地决定:每个时间序列都要维护独立的元数据,基数翻倍,索引和内存开销跟着翻倍。
按三问选型:
问一:写入吞吐。 LoRaWAN 设备的上报频率不高(典型几分钟一条),但要注意入库侧不是逐条写——转发器推来的消息会在你的管道里被批量聚合。社区经验值(因硬件与配置差异极大,仅作量级参考):InfluxDB 单机约每秒 10–30 万点,TimescaleDB 约 10–20 万行,TDengine 约 50–100 万点。对绝大多数 LoRaWAN 项目来说,三家都远超需求——你的瓶颈几乎不会出现在数据库写入上。
问二:基数耐受。 这是三家真正的分水岭。InfluxDB 1.x/2.x 的时间序列索引在高基数下是已知的短板:百万级序列时写入降速、内存吃紧,官方口径的总上限在 3000 万序列附近,而且序列键全量常驻——哪怕某些设备早已停用,它们的键还在占着索引。InfluxDB 3.0 换了 Parquet 底座,情况改善,但生态(Flux 脚本、Grafana 插件)仍在迁移期。TimescaleDB 走 PostgreSQL 的 B-tree,高基数反而是强项,还能用 SQL 直接把传感数据跟业务表 JOIN。TDengine 用「超级表+子表」的模型,一设备一子表,天然贴合物联网形态,压缩比也高。
问三:团队与生态。 团队熟 SQL、项目里已经有 PostgreSQL——TimescaleDB 几乎零迁移成本。要国产化、要极致压缩——TDengine。只要监控曲线——InfluxDB 也行,但把设备数压在心里,超过几千台就要认真评估基数。
数据模型里最贵的一个错误:把会变的值放进 tag(标签)。正确的设计原则只有一句——用来筛选过滤的维度进 tag(设备编号、区域、产线),随时间变化的测量值进 field(温度、电量、RSSI)。有人图省事把温湿度也塞进 tag,几千台设备跑三个月,序列数爆到百万级,查询越来越慢,最后只能重建库。tag 是索引键,field 是数据本身,塞反了就是自己给自己造基数炸弹。
两件必配的运维件:批量写入(batch 设到 5000 量级、超时 200 毫秒、开 gzip,单条逐个写是最常见的自伤)和保留策略加降采样(原始数据留 90 天,之后的按小时聚合成均值最值,旧数据的体积从「每分钟一条」降到「每小时一条」,存储成本降一个数量级——不做降采样的时序库,三个月后的查询延迟和磁盘账单都会教你做人)。
入库之后,看板层有三种做法,成本递增:
平台自带页面。 单设备的历史曲线、实时数值、告警状态,平台已经做了。调试设备、给运维看单点状态,这是最快的路径,不要重复造。
Grafana。 三家时序库都有成熟的数据源插件,连上就能画。适合「跨设备的业务视图」——一条产线的平均温度、一个园区的电池电量分布、一组水表的日用水量趋势。Grafana 的价值在变量模板(dropdown 切设备)和告警面板,不在单设备曲线。
自建前端。 只有当看板要交给最终业主的运营人员、且要嵌进他们的业务系统时才值得。工时预算按「一个熟练前端两个月」起步,很多项目的真实需求 Grafana 一周就能覆盖。
一个常被漏掉的分工问题:平台告警和看板告警不要重复建设。平台侧的触发规则(第 22 期讲过)负责「设备级的实时告警」——超阈值就推企微邮件;Grafana 告警留给「业务级的趋势告警」——「3 号产线周均温度连续两周在爬升」这类需要聚合查询的判断。两边都做超阈值告警,运维会收到双份通知然后学会忽略它们。
把三段连起来看,丢数的缝隙有三处:
缝隙一:设备侧。 上报失败设备自己会重试(LoRaWAN 的确认上行),这一段协议管了。但 Class A 设备没有下行机会时,重传机制受限于窗口,弱信号设备的丢包要在第 28 期讲的排障流程里看。
缝隙二:出站口。 前面说了,转发器不缓冲。缓解办法是在出站管道上放一个有持久会话的 Broker(如 EMQX 开持久会话、QoS 1),入库端离线时消息先落在 Broker 里等它回来。
缝隙三:入库端。 写入失败重试要有上限和死信处理——一个坏数据格式让消费者反复崩溃,比丢几条数据伤害大得多。
规模很小(几十台设备、看板只给内部运维看)的项目,可以整条链路极简:转发器直推 InfluxDB 单机、Grafana 一块板、不做缓冲不做双写,一小时的活。但只要数据要给客户对账、或者看板是交付物的一部分,缝隙二和缝隙三就必须补——那两处丢的数,客户是会拿合同来问的。
该自建管道(出站→时序库→看板)的情况:数据要给客户或业主直接查看;要做跨设备聚合分析;有合规或审计要求,数据必须落到自己的域里;平台页面的视图满足不了业务口径。
平台页面够用的情况:单设备调试与运维;设备量小、没有外部交付要求;团队没有人手维护数据库——时序库自建不是免费的,备份、升级、磁盘监控都是长期成本。
三条反向清单:不要把变化的值放 tag;不要逐条写入;不要在平台和看板重复建同类告警。
最后回到开篇那个问题:「能导出过去三个月的温度曲线吗?」——答案取决于保留策略当时怎么配的,而不是取决于事后用什么工具去捞。数据管道是第一天就要设计的东西,事后补,补回来的只有教训。
本文是 LoRaWAN 系列第 35 期。出站配置的操作细节见第 25 期(MQTT 转发器),平台告警机制见第 22 期,数据质量排障见第 28 期。第三方数据库的性能数字来自社区实测与厂商文档,量级仅供选型参考,上生产前请在自己的数据形态下做 POC。文中不涉及美元金额,未涉及汇率换算。