[SERVER-4367] segfault in mongos Created: 24/Nov/11 Updated: 06/Apr/23 Resolved: 15/Feb/12 |
|
| Status: | Closed |
| Project: | Core Server |
| Component/s: | Sharding |
| Affects Version/s: | 2.0.1 |
| Fix Version/s: | 2.1.1 |
| Type: | Bug | Priority: | Major - P3 |
| Reporter: | Zac Witte | Assignee: | Mathias Stearn |
| Resolution: | Done | Votes: | 0 |
| Labels: | None | ||
| Remaining Estimate: | Not Specified | ||
| Time Spent: | Not Specified | ||
| Original Estimate: | Not Specified | ||
| Environment: |
Ubuntu 11.04 on Amazon EC2 |
||
| Operating System: | Linux |
| Participants: |
| Description |
|
Quit mongos with Ctrl+C and received the following stack trace. Wed Nov 23 23:58:34 [mongosMain] dbexit: received signal 2 rc:0 received signal 2
|
| Comments |
| Comment by Zac Witte [ 12/Jun/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
I would also really like this to be backported. I get the segfault nearly every time I try to stop mongos. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Adam Flynn [ 04/Jun/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Any chance of a backport on this one? I get it frequently when I try to restart mongos (I'm running ~75 of them). Makes automated config changes incredibly difficult since I have to manually kill -9 a bunch of them (and causes app-level problems when I end up with mongos in a busted state or have to sigkill it). | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 15/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
There are two separate causes of segfaults in this ticket, both have been patched in master. Please open a new ticket if you find another cause. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 14/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
That last commit (max macro) was actually for | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by auto [ 14/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'login': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: prevent windows from treating max as a macro | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by auto [ 13/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'login': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: Use Task API correctly in mongos | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by auto [ 09/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'login': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: Don't destroy _hostNameCached | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Zac Witte [ 08/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Only when hitting ctrl+c. When it happens it never actually shuts down, though. I have to kill it with kill -9. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 08/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Are you seeing this while running or only when you try to shutdown with ctrl-c? | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Zac Witte [ 07/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Got it again. This time there were no problems with any shards, but it's possible that balancing as in progress. Tue Feb 7 06:11:40 [Balancer] ChunkManager: time to load chunks for pb3.hourly_stats: 28ms sequenceNumber: 95 version: 212|1
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 06/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Ok, I think I see one possible issue here. Will have a fix soon | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Zac Witte [ 05/Feb/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Ran into it again. This happened when one of the shards stopped responding. I then tried to shut down the cluster and this exception occurred when I sent the kill signal with Ctrl+c on mongos. Sun Feb 5 04:25:26 [conn1915] CMD fsync: sync:1 lock:0
^CLogstream::get called in uninitialized state | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 31/Jan/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Do either of you have a full log showing this error? | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Mathias Stearn [ 18/Jan/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
My bad, that commit was meant for | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Christian Tonhäuser [ 13/Jan/12 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
We also see this error happening very frequently on our DEV environments since upgrading to 2.0.2 Since that fix has been in the GIT repository for quite a while now, when do you expect it to be integrated in a release? Here's a backtrace of such a crash on our env:
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by auto [ 28/Nov/11 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Author: {u'login': u'RedBeard0531', u'name': u'Mathias Stearn', u'email': u'mathias@10gen.com'}Message: Explicitly don't allow appending unsigned ints to BSONObjBuilder |