[SERVER-8313] Why slave always crash due to duplicated key? Created: 24/Jan/13 Updated: 10/Dec/14 Resolved: 28/Oct/13 |
|
| Status: | Closed |
| Project: | Core Server |
| Component/s: | None |
| Affects Version/s: | 2.2.2 |
| Fix Version/s: | None |
| Type: | Question | Priority: | Major - P3 |
| Reporter: | Dong Wei | Assignee: | Unassigned |
| Resolution: | Incomplete | Votes: | 0 |
| Labels: | None | ||
| Remaining Estimate: | Not Specified | ||
| Time Spent: | Not Specified | ||
| Original Estimate: | Not Specified | ||
| Environment: |
CentOS 6.3 |
||
| Participants: |
| Description |
|
We have several shardings, each sharding has 3 nodes(1 primary, 1 slave, 1 arbiter). On one of those shardings, slave crashes for many times due to the same reason: ======================================================================================================================== Mon Jan 14 20:17:16 [rsBackgroundSync] replSet syncing to: test-mongodb-online01.company.internal:27018 } ***aborting after fassert() failure ======================================================================================================================== The following shows the indexes of our collection, user_id is our shard key: test1:PRIMARY> use test , , , We have examined the oplog regarding the specific key, and we don't find any clues that we break the idempotency. Could anyone give me some advices? Thanks. test1:PRIMARY> use local ) } test1:PRIMARY> db.oplog.rs.find( { "op" : "u", "o2._id" : "2013-01-14_40b2d10559dd731750839a20b78ac075_331282" }) , "o" : { "$set" : { "col4" : 1358165857 }, "$set" : { "col4" : 1358165857 }, "$set" : { "col4" : 1358165857 }, "$set" : { "col4" : 1358165857 }, "$set" : { "col4" : 1358165857 } } } , "o" : { "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 } } } , "o" : { "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 } } } , "o" : { "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 }, "$set" : { "col4" : 1358165860 } } } , "o" : { "$set" : { "col4" : 1358165862 }, "$set" : { "col4" : 1358165862 }, "$set" : { "col4" : 1358165862 }, "$set" : { "col4" : 1358165862 }, "$set" : { "col4" : 1358165862 } } } , "o" : { "$set" : { "col4" : 1358165847 }, "$set" : { "col4" : 1358165847 }, "$set" : { "col4" : 1358165847 }, "$set" : { "col4" : 1358165847 }, "$set" : { "col4" : 1358165847 } } } , "o" : { "$set" : { "col4" : 1358165868 }, "$set" : { "col4" : 1358165868 }, "$set" : { "col4" : 1358165868 }, "$set" : { "col4" : 1358165868 }, "$set" : { "col4" : 1358165868 } } } , "o" : { "$set" : { "col4" : 1358165831 }, "$set" : { "col4" : 1358165831 }, "$set" : { "col4" : 1358165831 }, "$set" : { "col4" : 1358165831 }, "$set" : { "col4" : 1358165831 } } } , "o" : { "$set" : { "col4" : 1358165858 }, "$set" : { "col4" : 1358165858 }, "$set" : { "col4" : 1358165858 }, "$set" : { "col4" : 1358165858 }, "$set" : { "col4" : 1358165858 } } } , "o" : { "$set" : { "col4" : 1358165814 }, "$set" : { "col4" : 1358165814 }, "$set" : { "col4" : 1358165814 }, "$set" : { "col4" : 1358165814 }, "$set" : { "col4" : 1358165814 } } } , "o" : { "$set" : { "col4" : 1358165861 }, "$set" : { "col4" : 1358165861 }, "$set" : { "col4" : 1358165861 }, "$set" : { "col4" : 1358165861 }, "$set" : { "col4" : 1358165861 } } } , "o" : { "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 } } } , "o" : { "$set" : { "col4" : 1358165841 }, "$set" : { "col4" : 1358165841 }, "$set" : { "col4" : 1358165841 }, "$set" : { "col4" : 1358165841 }, "$set" : { "col4" : 1358165841 } } } , "o" : { "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 } } } , "o" : { "$set" : { "col4" : 1358165892 }, "$set" : { "col4" : 1358165892 }, "$set" : { "col4" : 1358165892 }, "$set" : { "col4" : 1358165892 }, "$set" : { "col4" : 1358165892 } } } , "o" : { "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 } } } , "o" : { "$set" : { "col4" : 1358165913 }, "$set" : { "col4" : 1358165913 }, "$set" : { "col4" : 1358165913 }, "$set" : { "col4" : 1358165913 }, "$set" : { "col4" : 1358165913 } } } , "o" : { "$set" : { "col4" : 1358165888 }, "$set" : { "col4" : 1358165888 }, "$set" : { "col4" : 1358165888 }, "$set" : { "col4" : 1358165888 }, "$set" : { "col4" : 1358165888 } } } , "o" : { "$set" : { "col4" : 1358165873 }, "$set" : { "col4" : 1358165873 }, "$set" : { "col4" : 1358165873 }, "$set" : { "col4" : 1358165873 }, "$set" : { "col4" : 1358165873 } } } , "o" : { "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 }, "$set" : { "col4" : 1358165883 } } } , "o" : { "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 } } } , "o" : { "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 }, "$set" : { "col4" : 1358165882 } } } , "o" : { "$set" : { "col4" : 1358165918 }, "$set" : { "col4" : 1358165918 }, "$set" : { "col4" : 1358165918 }, "$set" : { "col4" : 1358165918 }, "$set" : { "col4" : 1358165918 } } } , "o" : { "$set" : { "col4" : 1358165935 }, "$set" : { "col4" : 1358165935 }, "$set" : { "col4" : 1358165935 }, "$set" : { "col4" : 1358165935 }, "$set" : { "col4" : 1358165935 } } } , "o" : { "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 } } } , "o" : { "$set" : { "col4" : 1358165880 }, "$set" : { "col4" : 1358165880 }, "$set" : { "col4" : 1358165880 }, "$set" : { "col4" : 1358165880 }, "$set" : { "col4" : 1358165880 } } } , "o" : { "$set" : { "col4" : 1358165986 }, "$set" : { "col4" : 1358165986 }, "$set" : { "col4" : 1358165986 }, "$set" : { "col4" : 1358165986 }, "$set" : { "col4" : 1358165986 } } } , "o" : { "$set" : { "col4" : 1358165985 }, "$set" : { "col4" : 1358165985 }, "$set" : { "col4" : 1358165985 }, "$set" : { "col4" : 1358165985 }, "$set" : { "col4" : 1358165985 } } } , "o" : { "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 }, "$set" : { "col4" : 1358165981 } } } , "o" : { "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 } } } , "o" : { "$set" : { "col4" : 1358166056 }, "$set" : { "col4" : 1358166056 }, "$set" : { "col4" : 1358166056 }, "$set" : { "col4" : 1358166056 }, "$set" : { "col4" : 1358166056 } } } , "o" : { "$set" : { "col4" : 1358166049 }, "$set" : { "col4" : 1358166049 }, "$set" : { "col4" : 1358166049 }, "$set" : { "col4" : 1358166049 }, "$set" : { "col4" : 1358166049 } } } , "o" : { "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 }, "$set" : { "col4" : 1358165996 } } } , "o" : { "$set" : { "col4" : 1358166073 }, "$set" : { "col4" : 1358166073 }, "$set" : { "col4" : 1358166073 }, "$set" : { "col4" : 1358166073 }, "$set" : { "col4" : 1358166073 } } } , "o" : { "$set" : { "col4" : 1358166059 }, "$set" : { "col4" : 1358166059 }, "$set" : { "col4" : 1358166059 }, "$set" : { "col4" : 1358166059 }, "$set" : { "col4" : 1358166059 } } } , "o" : { "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 }, "$set" : { "col4" : 1358165899 } } } , "o" : { "$set" : { "col4" : 1358166046 }, "$set" : { "col4" : 1358166046 }, "$set" : { "col4" : 1358166046 }, "$set" : { "col4" : 1358166046 }, "$set" : { "col4" : 1358166046 } } } , "o" : { "$set" : { "col4" : 1358166100 }, "$set" : { "col4" : 1358166100 }, "$set" : { "col4" : 1358166100 }, "$set" : { "col4" : 1358166100 }, "$set" : { "col4" : 1358166100 } } } , "o" : { "$set" : { "col4" : 1358166058 }, "$set" : { "col4" : 1358166058 }, "$set" : { "col4" : 1358166058 }, "$set" : { "col4" : 1358166058 }, "$set" : { "col4" : 1358166058 } } } , "o" : { "$set" : { "col4" : 1358165987 }, "$set" : { "col4" : 1358165987 }, "$set" : { "col4" : 1358165987 }, "$set" : { "col4" : 1358165987 }, "$set" : { "col4" : 1358165987 } } } , "o" : { "$set" : { "col4" : 1358166167 }, "$set" : { "col4" : 1358166167 }, "$set" : { "col4" : 1358166167 }, "$set" : { "col4" : 1358166167 }, "$set" : { "col4" : 1358166167 } } } , "o" : { "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 } } } , "o" : { "$set" : { "col4" : 1358166108 }, "$set" : { "col4" : 1358166108 }, "$set" : { "col4" : 1358166108 }, "$set" : { "col4" : 1358166108 }, "$set" : { "col4" : 1358166108 } } } , "o" : { "$set" : { "col4" : 1358166178 }, "$set" : { "col4" : 1358166178 }, "$set" : { "col4" : 1358166178 }, "$set" : { "col4" : 1358166178 }, "$set" : { "col4" : 1358166178 } } } , "o" : { "$set" : { "col4" : 1358165806 }, "$set" : { "col4" : 1358165806 }, "$set" : { "col4" : 1358165806 }, "$set" : { "col4" : 1358165806 }, "$set" : { "col4" : 1358165806 } } } , "o" : { "$set" : { "col4" : 1358165803 }, "$set" : { "col4" : 1358165803 }, "$set" : { "col4" : 1358165803 }, "$set" : { "col4" : 1358165803 }, "$set" : { "col4" : 1358165803 } } } , "o" : { "$set" : { "col4" : 1358166170 }, "$set" : { "col4" : 1358166170 }, "$set" : { "col4" : 1358166170 }, "$set" : { "col4" : 1358166170 }, "$set" : { "col4" : 1358166170 } } } , "o" : { "$set" : { "col4" : 1358166102 }, "$set" : { "col4" : 1358166102 }, "$set" : { "col4" : 1358166102 }, "$set" : { "col4" : 1358166102 }, "$set" : { "col4" : 1358166102 } } } , "o" : { "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 }, "$set" : { "col4" : 1358166096 } } } , "o" : { "$set" : { "col4" : 1358166117 }, "$set" : { "col4" : 1358166117 }, "$set" : { "col4" : 1358166117 }, "$set" : { "col4" : 1358166117 }, "$set" : { "col4" : 1358166117 }} } |
| Comments |
| Comment by Nic Cottrell (Personal) [ 26/Mar/14 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Oh, and journalling is enabled on this secondary - pretty much all settings are default. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Nic Cottrell (Personal) [ 26/Mar/14 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Forgot to mention that the hard drive on this node become full so I suspect something went wrong with the replication from the primary and it thinks it hasn't created this document here yet, and went it does it fails. I'm going to wipe the data on this secondary and let it resync. That has worked before when I had a similar problem. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Nic Cottrell (Personal) [ 26/Mar/14 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
I just got something very similar running on 2.4.9:
Prior to this, we see hundreds of
which looks like failed connections from another server with a mongos and another secondary for this RS. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Stennie Steneker (Inactive) [ 28/Oct/13 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hi, I'm closing this issue due to inactivity. If you are still seeing this issue (particularly with a newer version of MongoDB, such as 2.4.x) please feel free to open a new issue or comment on this one with the relevant details. Thanks, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Randolph Tan [ 28/Jan/13 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
This looks very similar to | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Dong Wei [ 28/Jan/13 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
no reply? |