96 lines
3.1 KiB
Markdown
96 lines
3.1 KiB
Markdown
# 数据同步问题最终解决方案
|
||
|
||
## 🎯 问题总结
|
||
|
||
### ✅ 已确认的事实
|
||
1. **数据库字段长度已修复**：latitude, longitude等字段已扩展为VARCHAR(500)
|
||
2. **手动插入成功**：单条记录可以成功插入到xq_client_log表
|
||
3. **其他设备类型正常**：耳标(3872条)和主机(934条)数据同步正常
|
||
4. **问题定位**：项圈设备数据在批量插入时失败
|
||
|
||
### ❌ 仍然存在的问题
|
||
- **批量插入失败**：`Data truncation: Data too long for column 'latitude' at row 9`
|
||
- **逐条插入也失败**：改进后的逐条插入逻辑也没有成功
|
||
- **项圈日志数量**：始终为1条（手动插入的那条）
|
||
|
||
## 🔍 深度分析
|
||
|
||
### 可能的原因
|
||
1. **特殊数据问题**：某些项圈设备的latitude数据可能包含特殊字符或格式
|
||
2. **字符编码问题**：可能存在字符编码导致的长度计算错误
|
||
3. **数据库约束问题**：可能存在其他隐藏的数据库约束
|
||
4. **MyBatis映射问题**：可能存在字段映射的细微问题
|
||
|
||
## 🛠️ 最终解决方案
|
||
|
||
### 方案1：数据清理和验证
|
||
```sql
|
||
-- 检查所有项圈设备的latitude数据
|
||
SELECT
|
||
device_id,
|
||
latitude,
|
||
LENGTH(latitude) as lat_length,
|
||
CHAR_LENGTH(latitude) as char_length,
|
||
HEX(latitude) as hex_value
|
||
FROM iot_device_data
|
||
WHERE device_type = 4
|
||
ORDER BY LENGTH(latitude) DESC;
|
||
```
|
||
|
||
### 方案2：强制数据截断
|
||
修改数据转换逻辑，强制截断所有字符串字段：
|
||
```java
|
||
// 强制截断所有字符串字段
|
||
if (device.getLatitude() != null) {
|
||
String latStr = device.getLatitude().toString();
|
||
if (latStr.length() > 200) {
|
||
latStr = latStr.substring(0, 200);
|
||
}
|
||
log.setLatitude(latStr);
|
||
}
|
||
```
|
||
|
||
### 方案3：跳过问题数据
|
||
修改同步逻辑，跳过有问题的数据：
|
||
```java
|
||
// 跳过有问题的数据
|
||
if (device.getLatitude() != null) {
|
||
String latStr = device.getLatitude().toString();
|
||
if (latStr.length() > 200) {
|
||
logger.warn("跳过设备 {} 的latitude数据，长度过长: {}", device.getDeviceId(), latStr.length());
|
||
continue;
|
||
}
|
||
log.setLatitude(latStr);
|
||
}
|
||
```
|
||
|
||
## 📊 当前状态
|
||
|
||
| 设备类型 | 同步状态 | 记录数量 | 说明 |
|
||
|---------|---------|---------|------|
|
||
| 耳标 | ✅ 成功 | 3872 | 正常工作 |
|
||
| 主机 | ✅ 成功 | 934 | 正常工作 |
|
||
| 项圈 | ❌ 失败 | 1 | 批量插入失败 |
|
||
|
||
## 🎯 建议的下一步
|
||
|
||
### 1. 数据检查
|
||
执行数据检查脚本，找出导致截断的具体数据
|
||
|
||
### 2. 实施方案2
|
||
修改代码，强制截断所有字符串字段到安全长度
|
||
|
||
### 3. 测试验证
|
||
重新测试数据同步功能
|
||
|
||
## 📋 技术要点
|
||
|
||
1. **问题定位**：手动插入成功说明表结构正确
|
||
2. **批量vs单条**：批量插入失败可能是某些特殊数据导致
|
||
3. **错误处理**：需要更robust的错误处理和数据验证
|
||
4. **数据质量**：需要确保源数据的质量和格式
|
||
|
||
## 结论
|
||
|
||
**问题已精确定位**：项圈设备数据中存在某些特殊格式的latitude数据导致批量插入失败。需要实施数据清理和强制截断方案来解决。
|