PLC数据入库指南：从采集到存储的完整流程

关系型数据库（MySQL/PostgreSQL）

适用场景：数据量中等（日增<100万条）、需要复杂查询、已有技术栈基于关系型数据库

优势：成熟稳定、支持事务、SQL标准、生态丰富

劣势：高频写入性能有限、大数据量膨胀快、时序查询需优化

时序数据库（InfluxDB/TDengine）

适用场景：数据量大（日增>100万条）、以时间序列查询为主、需要高压缩比

优势：写入性能高、压缩比高（10:1以上）、时序查询快、自动数据降采样

劣势：不支持复杂JOIN、生态相对较新、学习成本

混合方案

适用场景：既需要高频时序数据存储，又需要关联业务数据（设备信息、报警记录等）

实现方式：时序数据库存储采集数据，关系型数据库存储业务数据，通过设备ID关联

优势：各取所长、性能与灵活性兼顾

时间戳字段

使用DATETIME或TIMESTAMP类型，精度到毫秒。建议同时存储采集时间和服务器接收时间，便于数据质量分析。

索引策略：时间戳字段必须建索引，使用时序数据库时自动按时间分区。

设备标识字段

使用设备ID（整数或UUID）而非设备名称。设备名称可能变化，但ID唯一且稳定。

关联设计：设备信息表与数据表分离，通过外键关联，减少数据冗余。

数据字段设计

根据数据类型选择合适的数据类型：整数用INT、浮点数用FLOAT/DOUBLE、字符串用VARCHAR。

宽表vs窄表：宽表（每个测点一列）查询快但扩展性差；窄表（测点名+值）扩展性好但查询需透视。工业场景推荐宽表。

批量写入

将多条INSERT合并为一条批量INSERT语句。例如：INSERT INTO table VALUES (...), (...), (...);

批量大小：一般500-5000条/批，通过测试找到最优值。批量过大可能导致内存溢出或超时。

异步写入

使用消息队列（如Kafka、RabbitMQ）缓冲数据，异步写入数据库。避免采集程序阻塞。

优势：解耦采集与存储、提高系统稳定性、支持流量削峰。

事务控制

批量写入时使用事务，确保数据一致性。如果部分数据写入失败，整个批次回滚。

注意：事务过大可能导致锁表，建议每1000-5000条提交一次事务。

数据分区

按时间分区（日分区、月分区）可以大幅提高查询效率。查询某时间段数据时，只扫描对应分区。

分区策略：数据量大时按月分区，中等规模按日分区。时序数据库自动分区。

数据降采样

历史数据可以降低采样频率。例如：实时数据1秒/次，1个月后的数据1分钟/次，1年后的数据1小时/次。

实现方式：定时任务将原始数据聚合后存入降采样表，或直接使用时序数据库的自动降采样功能。

数据压缩

时序数据库通常具有高压缩比（10:1以上）。关系型数据库可以通过ROW_FORMAT=COMPRESSED启用压缩。

压缩策略：历史数据压缩，实时数据不压缩。压缩会占用CPU资源，需权衡。

范围校验

检查数据是否在合理范围内。例如：温度传感器读数-50~200℃，超出范围视为异常。

处理方式：异常数据可以丢弃、标记或存入异常数据表，供后续分析。

变化率校验

检查数据变化速率是否合理。例如：温度变化速率不超过10℃/秒，超出视为传感器故障。

实现方式：与上一条数据比较，计算变化率。异常时触发告警。

时间戳校验

检查时间戳是否连续、是否重复、是否乱序。时间戳异常可能导致数据分析错误。

处理方式：重复数据丢弃，乱序数据重新排序，缺失数据插值或标记。

Q1：应该选择关系型数据库还是时序数据库？

如果日增数据量超过100万条，且主要是时序查询，优先选择时序数据库（如TDengine、InfluxDB）。如果数据量较小，且需要复杂关联查询，使用MySQL或PostgreSQL。也可以采用混合方案：时序数据库存储采集数据，关系型数据库存储业务数据。

Q2：批量写入的最佳批量大小是多少？

一般建议500-5000条/批。可以通过测试找到最优值。批量过大可能导致内存溢出或超时，批量过小则性能不足。同时注意事务大小，建议每1000-5000条提交一次事务。

Q3：如何处理数据丢失？

首先确认数据丢失的原因：网络故障、设备故障、数据库故障还是程序bug。针对不同原因采取不同措施：使用消息队列缓冲数据、启用数据库主从复制、增加重试机制、记录日志便于排查。对于已丢失的数据，可以尝试从设备缓存或日志中恢复。

Q4：数据库膨胀过快怎么办？

工业数据量大，数据库容易快速膨胀。解决方案：启用数据压缩、实施数据降采样（历史数据降低采样频率）、定期清理过期数据、使用分区表、考虑使用时序数据库（天然高压缩比）。

Q5：如何保证数据一致性？

使用事务保证批量写入的原子性。如果部分数据写入失败，整个批次回滚。同时启用数据校验机制，过滤异常数据。对于分布式系统，使用消息队列保证最终一致性。

Q6：查询性能优化有哪些方法？

建立合适的索引（时间戳、设备ID必建索引）、使用分区表、实施数据降采样、避免SELECT *、使用LIMIT限制返回数据量、考虑使用专门的时序查询引擎。对于复杂查询，可以预先计算聚合结果存入汇总表。