173 lines
5.2 KiB
Markdown
173 lines
5.2 KiB
Markdown
# 日志同步问题最终解决方案
|
||
|
||
## 🎯 问题现状
|
||
|
||
### ✅ 已确认的事实
|
||
1. **项圈设备总数：8条**
|
||
2. **数据库字段长度：VARCHAR(500) - 正常**
|
||
3. **错误信息：`Data truncation: Data too long for column 'latitude' at row 9`**
|
||
4. **矛盾点：只有8条数据，但错误说第9条**
|
||
|
||
### ❌ 仍然存在的问题
|
||
- **批量插入失败**：仍然有数据截断错误
|
||
- **项圈日志数量**：始终为1条（只有手动插入的那条）
|
||
|
||
## 🔍 问题分析
|
||
|
||
既然只有8条项圈设备，但错误说第9条，这说明问题可能是：
|
||
|
||
1. **MyBatis批量插入SQL生成问题**：可能生成了重复的VALUES
|
||
2. **数据转换时的异常**：某些数据在转换过程中产生了异常
|
||
3. **批量插入时的数据重复**：同一条数据被插入了多次
|
||
|
||
## 🛠️ 最终解决方案
|
||
|
||
### 方案1：查看应用日志（推荐）
|
||
请查看Java应用的日志文件，寻找以下信息：
|
||
- `准备批量插入项圈日志 X 条`
|
||
- `第X条数据 - deviceId: XXX, latitude: XXX`
|
||
- `批量插入项圈日志失败，尝试逐条插入`
|
||
- `插入第X条项圈日志失败`
|
||
|
||
### 方案2：执行SQL调试脚本
|
||
请执行以下SQL脚本来检查数据：
|
||
|
||
```sql
|
||
-- 1. 检查项圈设备的详细数据
|
||
SELECT
|
||
device_id,
|
||
voltage,
|
||
temperature,
|
||
latitude,
|
||
longitude,
|
||
steps,
|
||
same_day_steps,
|
||
server_device_id,
|
||
update_time,
|
||
LENGTH(latitude) as lat_len,
|
||
LENGTH(longitude) as lng_len,
|
||
HEX(latitude) as lat_hex,
|
||
HEX(longitude) as lng_hex
|
||
FROM iot_device_data
|
||
WHERE device_type = 4
|
||
ORDER BY update_time DESC;
|
||
|
||
-- 2. 检查是否有重复的device_id
|
||
SELECT
|
||
device_id,
|
||
COUNT(*) as count
|
||
FROM iot_device_data
|
||
WHERE device_type = 4
|
||
GROUP BY device_id
|
||
HAVING COUNT(*) > 1;
|
||
|
||
-- 3. 检查是否有特殊字符
|
||
SELECT
|
||
device_id,
|
||
latitude,
|
||
longitude,
|
||
HEX(latitude) as lat_hex,
|
||
HEX(longitude) as lng_hex
|
||
FROM iot_device_data
|
||
WHERE device_type = 4
|
||
AND (
|
||
latitude LIKE '%null%' OR
|
||
longitude LIKE '%null%' OR
|
||
latitude LIKE '%NULL%' OR
|
||
longitude LIKE '%NULL%' OR
|
||
latitude LIKE '%undefined%' OR
|
||
longitude LIKE '%undefined%'
|
||
);
|
||
```
|
||
|
||
### 方案3：强制修复数据库字段长度
|
||
如果上述方案都无效，请执行：
|
||
|
||
```sql
|
||
-- 强制修复字段长度
|
||
ALTER TABLE xq_client_log MODIFY COLUMN latitude VARCHAR(1000) DEFAULT NULL COMMENT '纬度';
|
||
ALTER TABLE xq_client_log MODIFY COLUMN longitude VARCHAR(1000) DEFAULT NULL COMMENT '经度';
|
||
ALTER TABLE xq_client_log MODIFY COLUMN device_voltage VARCHAR(1000) DEFAULT NULL COMMENT '设备电量';
|
||
ALTER TABLE xq_client_log MODIFY COLUMN device_temp VARCHAR(1000) DEFAULT NULL COMMENT '设备温度';
|
||
ALTER TABLE xq_client_log MODIFY COLUMN server_device_id VARCHAR(1000) DEFAULT NULL COMMENT '主机设备ID';
|
||
```
|
||
|
||
### 方案4：跳过问题数据
|
||
修改代码，跳过有问题的数据：
|
||
|
||
```java
|
||
// 在convertToCollarLog方法中添加数据验证
|
||
if (device.getLatitude() != null) {
|
||
String latStr = device.getLatitude().toString();
|
||
if (latStr.length() > 50 || latStr.contains("null") || latStr.trim().isEmpty()) {
|
||
logger.warn("跳过设备 {} 的latitude数据: {}", device.getDeviceId(), latStr);
|
||
return null; // 跳过这条数据
|
||
}
|
||
log.setLatitude(latStr);
|
||
}
|
||
```
|
||
|
||
## 📋 建议的执行顺序
|
||
|
||
### 1. 立即执行（推荐）
|
||
```sql
|
||
-- 检查项圈设备的详细数据
|
||
SELECT
|
||
device_id,
|
||
latitude,
|
||
longitude,
|
||
LENGTH(latitude) as lat_len,
|
||
LENGTH(longitude) as lng_len,
|
||
HEX(latitude) as lat_hex,
|
||
HEX(longitude) as lng_hex
|
||
FROM iot_device_data
|
||
WHERE device_type = 4
|
||
ORDER BY update_time DESC;
|
||
```
|
||
|
||
### 2. 查看应用日志
|
||
查看Java应用的日志文件，寻找详细的错误信息。
|
||
|
||
### 3. 根据结果决定下一步
|
||
- 如果数据正常：执行方案3修复数据库字段长度
|
||
- 如果数据异常：执行方案4跳过问题数据
|
||
- 如果有重复数据：需要清理重复数据
|
||
|
||
## 🎯 预期结果
|
||
|
||
修复后应该能够：
|
||
- ✅ 成功批量插入项圈日志数据（**collarLogCount > 0**）
|
||
- ✅ 不再有 `Data truncation` 错误
|
||
- ✅ 主机日志、耳标日志、项圈日志都能正常同步
|
||
- ✅ 60分钟自动同步功能正常工作
|
||
|
||
## 📊 当前状态
|
||
|
||
| 检查项目 | 状态 | 说明 |
|
||
|---------|------|------|
|
||
| 数据库字段长度 | ✅ 正常 | VARCHAR(500) |
|
||
| 字段映射 | ✅ 已修复 | 使用正确的字段名 |
|
||
| 数据截断逻辑 | ✅ 已添加 | 50字符安全截断 |
|
||
| 详细日志 | ✅ 已添加 | 跟踪每条数据 |
|
||
| 项圈设备数量 | ✅ 确认 | 8条设备 |
|
||
| 批量插入 | ❌ 失败 | 需要进一步调试 |
|
||
|
||
## 🔧 技术要点
|
||
|
||
1. **问题定位**：只有8条数据，但错误说第9条，说明是批量插入SQL生成问题
|
||
2. **日志跟踪**：已添加详细日志来跟踪每条数据的处理过程
|
||
3. **数据验证**：需要检查源数据的质量和格式
|
||
4. **数据库约束**：可能需要进一步扩展字段长度
|
||
|
||
## 📝 下一步
|
||
|
||
请执行上述SQL脚本，然后告诉我结果，我会根据结果提供最终的修复方案！
|
||
|
||
特别是：
|
||
1. **项圈设备的详细数据内容**
|
||
2. **是否有重复的device_id**
|
||
3. **是否有特殊字符**
|
||
4. **应用日志中的详细错误信息**
|
||
|
||
这些信息将帮助我精确定位问题并提供解决方案。
|