xuqiuyun/cattleTransportation

Fork 0

Files

xuqiuyun a40ce28318 完善小细节

2025-10-24 17:32:42 +08:00

5.2 KiB

Raw Blame History

日志同步问题最终解决方案

🎯 问题现状

✅ 已确认的事实

项圈设备总数：8条
数据库字段长度：VARCHAR(500) - 正常
错误信息：Data truncation: Data too long for column 'latitude' at row 9
矛盾点：只有8条数据，但错误说第9条

❌ 仍然存在的问题

批量插入失败：仍然有数据截断错误
项圈日志数量：始终为1条（只有手动插入的那条）

🔍 问题分析

既然只有8条项圈设备，但错误说第9条，这说明问题可能是：

MyBatis批量插入SQL生成问题：可能生成了重复的VALUES
数据转换时的异常：某些数据在转换过程中产生了异常
批量插入时的数据重复：同一条数据被插入了多次

🛠️ 最终解决方案

方案1：查看应用日志（推荐）

请查看Java应用的日志文件，寻找以下信息：

准备批量插入项圈日志 X 条
第X条数据 - deviceId: XXX, latitude: XXX
批量插入项圈日志失败，尝试逐条插入
插入第X条项圈日志失败

方案2：执行SQL调试脚本

请执行以下SQL脚本来检查数据：

-- 1. 检查项圈设备的详细数据
SELECT 
    device_id,
    voltage,
    temperature,
    latitude,
    longitude,
    steps,
    same_day_steps,
    server_device_id,
    update_time,
    LENGTH(latitude) as lat_len,
    LENGTH(longitude) as lng_len,
    HEX(latitude) as lat_hex,
    HEX(longitude) as lng_hex
FROM iot_device_data 
WHERE device_type = 4 
ORDER BY update_time DESC;

-- 2. 检查是否有重复的device_id
SELECT 
    device_id,
    COUNT(*) as count
FROM iot_device_data 
WHERE device_type = 4 
GROUP BY device_id
HAVING COUNT(*) > 1;

-- 3. 检查是否有特殊字符
SELECT 
    device_id,
    latitude,
    longitude,
    HEX(latitude) as lat_hex,
    HEX(longitude) as lng_hex
FROM iot_device_data 
WHERE device_type = 4 
AND (
    latitude LIKE '%null%' OR
    longitude LIKE '%null%' OR
    latitude LIKE '%NULL%' OR
    longitude LIKE '%NULL%' OR
    latitude LIKE '%undefined%' OR
    longitude LIKE '%undefined%'
);

方案3：强制修复数据库字段长度

如果上述方案都无效，请执行：

-- 强制修复字段长度
ALTER TABLE xq_client_log MODIFY COLUMN latitude VARCHAR(1000) DEFAULT NULL COMMENT '纬度';
ALTER TABLE xq_client_log MODIFY COLUMN longitude VARCHAR(1000) DEFAULT NULL COMMENT '经度';
ALTER TABLE xq_client_log MODIFY COLUMN device_voltage VARCHAR(1000) DEFAULT NULL COMMENT '设备电量';
ALTER TABLE xq_client_log MODIFY COLUMN device_temp VARCHAR(1000) DEFAULT NULL COMMENT '设备温度';
ALTER TABLE xq_client_log MODIFY COLUMN server_device_id VARCHAR(1000) DEFAULT NULL COMMENT '主机设备ID';

方案4：跳过问题数据

修改代码，跳过有问题的数据：

// 在convertToCollarLog方法中添加数据验证
if (device.getLatitude() != null) {
    String latStr = device.getLatitude().toString();
    if (latStr.length() > 50 || latStr.contains("null") || latStr.trim().isEmpty()) {
        logger.warn("跳过设备 {} 的latitude数据: {}", device.getDeviceId(), latStr);
        return null; // 跳过这条数据
    }
    log.setLatitude(latStr);
}

📋 建议的执行顺序

1. 立即执行（推荐）

-- 检查项圈设备的详细数据
SELECT 
    device_id,
    latitude,
    longitude,
    LENGTH(latitude) as lat_len,
    LENGTH(longitude) as lng_len,
    HEX(latitude) as lat_hex,
    HEX(longitude) as lng_hex
FROM iot_device_data 
WHERE device_type = 4 
ORDER BY update_time DESC;

2. 查看应用日志

查看Java应用的日志文件，寻找详细的错误信息。

3. 根据结果决定下一步

如果数据正常：执行方案3修复数据库字段长度
如果数据异常：执行方案4跳过问题数据
如果有重复数据：需要清理重复数据

🎯 预期结果

修复后应该能够：

✅ 成功批量插入项圈日志数据（collarLogCount > 0）
✅ 不再有 Data truncation 错误
✅ 主机日志、耳标日志、项圈日志都能正常同步
✅ 60分钟自动同步功能正常工作

📊 当前状态

检查项目	状态	说明
数据库字段长度	✅ 正常	VARCHAR(500)
字段映射	✅ 已修复	使用正确的字段名
数据截断逻辑	✅ 已添加	50字符安全截断
详细日志	✅ 已添加	跟踪每条数据
项圈设备数量	✅ 确认	8条设备
批量插入	❌ 失败	需要进一步调试

🔧 技术要点

问题定位：只有8条数据，但错误说第9条，说明是批量插入SQL生成问题
日志跟踪：已添加详细日志来跟踪每条数据的处理过程
数据验证：需要检查源数据的质量和格式
数据库约束：可能需要进一步扩展字段长度

📝 下一步

请执行上述SQL脚本，然后告诉我结果，我会根据结果提供最终的修复方案！

特别是：

项圈设备的详细数据内容
是否有重复的device_id
是否有特殊字符
应用日志中的详细错误信息

这些信息将帮助我精确定位问题并提供解决方案。

5.2 KiB Raw Blame History Unescape Escape