[SERVER-17487] cloner dropDups removes _id entries belonging to other records Created: 06/Mar/15 Updated: 19/Sep/15 Resolved: 09/Mar/15 |
|
| Status: | Closed |
| Project: | Core Server |
| Component/s: | Replication, WiredTiger |
| Affects Version/s: | 3.0.0 |
| Fix Version/s: | 3.0.1, 3.1.0 |
| Type: | Bug | Priority: | Critical - P2 |
| Reporter: | Rui Zhang (Inactive) | Assignee: | Mathias Stearn |
| Resolution: | Done | Votes: | 0 |
| Labels: | ET | ||
| Remaining Estimate: | Not Specified | ||
| Time Spent: | Not Specified | ||
| Original Estimate: | Not Specified | ||
| Attachments: |
|
| Backwards Compatibility: | Fully Compatible |
| Operating System: | ALL |
| Backport Completed: | |
| Steps To Reproduce: | -replica set
|
| Participants: |
| Description |
|
after re-sync is done, the _id index count, secondary index count and data table count could be different.
and log file show (with Dan's patch for more printout)
|
| Comments |
| Comment by Githook User [ 10/Apr/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: (cherry picked from commit 5f64a1c4c3eb6698dfa2e721972a158202229bb0) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Apr/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: (cherry picked from commit 06f4ea80a51ccea8da275e095cc5061707263957) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Apr/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: (cherry picked from commit 4c7eb08931a607e9879aaf088998d3bff3720e92) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 09/Apr/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 30/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 16/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 13/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'monkey101', u'name': u'Dan Pasette', u'email': u'dan@10gen.com'}Message: (cherry picked from commit a52d13a43e40f6ff7e486cee943fe7feda87d59e) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'monkey101', u'name': u'Dan Pasette', u'email': u'dan@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'monkey101', u'name': u'Dan Pasette', u'email': u'dan@10gen.com'}Message: (cherry picked from commit aed0e430605ea07f39ed1648c056f31351fb09f2) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 10/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'monkey101', u'name': u'Dan Pasette', u'email': u'dan@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 09/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: (cherry picked from commit 378f8dd985cb3c8d03b384d9671abff92693c7f5) | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Githook User [ 09/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'username': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: | |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Rui Zhang (Inactive) [ 06/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
this is done with sysbench, after further investigation, I found that this is due to following sequence of operations. In order to properly run remove operation without creation holes in the collection _id space, it runs
tested with mmapv1, we also show remove dups, but it makes sure index table and data table in sync, WT doesn't which is the issue here. simple repro steps
| |||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Daniel Pasette (Inactive) [ 06/Mar/15 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||
|
rui.zhang, what's the workload generator you're using and how are you invoking it? |