你的需求应该是间歇性推送数据，而不是到点就推送

取了先删除，再执行

我公司用的xxjob框架的定时任务是上一条定时结束之后才执行。建议一条条用索引更新 会比较快

使用redis 做缓存标记 ,执行更新的使用 队列 加载更新 , 下一次任务来的时候判断队列是否执行完,如果没有就跳过等下一次的循环,但是如果连续跳过几次 , 就要考虑数据堆积或者更新方法太慢 考虑优化

一个线程去做定时推送任务就好了，设置fixdelay

这就是并发写魔怔了串行的任务也给写并行了。
不过同步两回没错的，管它第一次是丢了失败了还是没执行完，未返回成功的再次执行你也知道，次数多了你就backoff几秒几分钟的防止把它搞炸了就行

同步两次会死？

这玩意按照id建立一个唯一索引不就好了？这样当数据库感知到这个id有了，自然会失败不管了。

定时框架有这个逻辑啊，只有上一次任务执行完毕，新的定时任务才开始运行，第一次数据没跑完，第二次时间到了，会等待第一次才运行

总结一下。1、加同步标识。2、一次只运行一个定时任务，未结束不允许下次运行。3、再另一个系统写一个定时任务负责删除重复数据。

空闲才去做操作呀，如果不空闲的话就不操作。

加个同步锁。简单的说就是定时任务开启，第一步查询redis里面有没有锁，没有就在redis里面塞一个锁，跑代码，代码跑完把redis里面的锁删掉。这样就能保证只有一个定时任务在跑

redis里缓存一把锁就行了。

➕锁

canal