[SERVER-38331] checkpoint-server: checkpoint server error: No space left on device Created: 30/Nov/18 Updated: 05/Dec/18 Resolved: 05/Dec/18 |
|
| Status: | Closed |
| Project: | Core Server |
| Component/s: | None |
| Affects Version/s: | 3.2.11 |
| Fix Version/s: | None |
| Type: | Question | Priority: | Critical - P2 |
| Reporter: | Jorge Campos | Assignee: | Danny Hatcher (Inactive) |
| Resolution: | Done | Votes: | 0 |
| Labels: | needs_info | ||
| Remaining Estimate: | Not Specified | ||
| Time Spent: | Not Specified | ||
| Original Estimate: | Not Specified | ||
| Environment: |
Linux debian 9 as environment. mongodb version v3.2.11 installed on linux debian.. |
||
| Participants: |
| Description |
|
Hello, We have mongodb version v3.2.11 installed on linux debian 9, everyday the mongodb service fails and it stopped. We got the next message in to the log :
It is stranger because we have space on our particions
How can we solve this issue? Because I need to find the fix about it because our operations are criticals
Regards...
|
| Comments |
| Comment by Jorge Campos [ 05/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Daniel Thank you very much for your help. we will follow your advice. Regards... | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Danny Hatcher (Inactive) [ 05/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Jorge, The message you are receiving is related to the available hard drive capacity. In the two outputs of df that you have posted on this case, we can see the usage of /var rise from 92% to 94% so there is clearly some growth in your data. It is possible that whatever processes you are running at the same time is filling up the rest of the drives. We recommend staying outside of the 90s in disk usage as severe problems can occur if the disk does fill up. Also, I would like to note that your version of MongoDB is fairly old and has reached end-of-life status. Thus, no more bug fixes will be released for 3.2. I recommend upgrading to 3.4, 3.6, or 4.0 at your earliest convenience. Thank you, Danny | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Jorge Campos [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Daniel, Thanks for you help , but I have the last question. The mongodb process run about the 4:00 am with the others process a the same time and this services is stopped by this reason we need to restart de mongodb service and we run de process manually about the 10: 00 am . in this time the process run alone and perfecly. so my questions is.is ther something about the memory or is only hard drive space? we can't understant why this if we consider the hard drive space. That is strange
Regards... | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Danny Hatcher (Inactive) [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Jorge, Please note that we strongly recommend using a replica set for any Production database. If an initial sync is not a possibility, we recommend using the compact command as it has the ability to release disk space for Wired Tiger systems. However, it does require some free space in order to run and you may not have enough. Would it be possible to try running compact against your biggest databases? Please note that while the command runs it will block every operation on the specified database until it finishes. If the compact command is not an option, I recommend you allocate a larger disk to the database as your data has reached the limits of what the current disk can hold. Thank you, Danny | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Jorge Campos [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
sysadmin@COMPASSCRI-DBS01:/var/lib/mongodb/journal$ ls -lh | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Jorge Campos [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Also today we got this message into the log
sysadmin@COMPASSCRI-DBS01:/var/log/mongodb$ cat mongodb.log | grep "error" | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Jorge Campos [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Daniel,
How are you? That is my mongo configuration. On another hand we don't use any replica as you can see into the mongod.conf.
Moreover I show you the path where is locate the mongo
Can you help us please ? we will appreciate your help
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Danny Hatcher (Inactive) [ 03/Dec/18 ] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Hello Jorge, Can you confirm where your $dbpath and journal files are located? If they are both on /var, then the drive is full enough that the df output may not be entirely accurate. If you initial sync the node from another member of a replica set, it may free up some space on the disk. Would that be possible to try? Thank you, Danny |