<!-- 
RSS generated by JIRA (9.7.1#970001-sha1:2222b88b221c4928ef0de3161136cc90c8356a66) at Thu Feb 08 03:13:25 UTC 2024

It is possible to restrict the fields that are returned in this document by specifying the 'field' parameter in your request.
For example, to request only the issue key and summary append 'field=key&field=summary' to the URL of your request.
-->
<rss version="0.92" >
<channel>
    <title>MongoDB Jira</title>
    <link>https://jira.mongodb.org</link>
    <description>This file is an XML representation of an issue</description>
    <language>en-us</language>    <build-info>
        <version>9.7.1</version>
        <build-number>970001</build-number>
        <build-date>13-04-2023</build-date>
    </build-info>


<item>
            <title>[SERVER-7021] One Shard a Secondary Node can&apos;t be restart</title>
                <link>https://jira.mongodb.org/browse/SERVER-7021</link>
                <project id="10000" key="SERVER">Core Server</project>
                    <description>&lt;p&gt;in this Shard ,one Secondary Node can&apos;t be restart, check the exception log&lt;/p&gt;

&lt;p&gt;I have Test it on the 2.2.0 and 2.0.6, both not workable.&lt;br/&gt;
&lt;span class=&quot;error&quot;&gt;&amp;#91;log&amp;#93;&lt;/span&gt;&lt;/p&gt;

&lt;p&gt;Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; MongoDB starting : pid=31578 port=27018 dbpath=/root/mongodata/db 64-bit host=wdsq1wco0010&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; db version v2.2.0, pdfile version 4.5&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; git version: f5e83eae9cfbec7fb7a071321928f00d1b0c5207&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; build info: Linux ip-10-2-29-40 2.6.21.7-2.ec2.v1.2.fc8xen #1 SMP Fri Nov 20 17:48:28 EST 2009 x86_64 BOOST_LIB_VERSION=1_49&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; options: &lt;/p&gt;
{ dbpath: &quot;/root/mongodata/db&quot;, journalCommitInterval: 50, logpath: &quot;/root/mongo_log&quot;, maxConns: 1000, oplogSize: 8000, replSet: &quot;webex11_shard1&quot;, rest: true, shardsvr: true, syncdelay: 60.0 }
&lt;p&gt;Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; journal dir=/root/mongodata/db/journal&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover begin&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover lsn: 1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover /root/mongodata/db/journal/j._0&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:0 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:506986899 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:518847260 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:525615615 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:527173035 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:587074688 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:588212486 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:607192888 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section seq:607252714 &amp;lt; lsn:1127815404&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover skipping application of section more...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover /root/mongodata/db/journal/j._1&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; dbexception during recovery: 15923 couldn&apos;t get file length when opening mapping /root/mongodata/db/performance.ns boost::filesystem::file_size: No such file or directory: &quot;/root/mongodata/db/performance.ns&quot;&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; exception in initAndListen: 15923 couldn&apos;t get file length when opening mapping /root/mongodata/db/performance.ns boost::filesystem::file_size: No such file or directory: &quot;/root/mongodata/db/performance.ns&quot;, terminating&lt;br/&gt;
Wed Sep 12 07:34:09 dbexit:&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to close listening sockets...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to flush diaglog...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to close sockets...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: waiting for fs preallocator...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: lock for final commit...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: final commit...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: closing all files...&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; closeAllFiles() finished&lt;br/&gt;
Wed Sep 12 07:34:09 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: removing fs lock...&lt;br/&gt;
Wed Sep 12 07:34:09 dbexit: really exiting now&lt;/p&gt;

&lt;p&gt;&lt;span class=&quot;error&quot;&gt;&amp;#91;analysis&amp;#93;&lt;/span&gt; we find the secondary lost the performance.ns, but check the another PriNode it also no eixt collection,but it still can restart&lt;/p&gt;

&lt;p&gt;Check attachment Pri_data&lt;br/&gt;
Check attachment Test on V2.0.6&lt;/p&gt;

&lt;p&gt;Info about the set&lt;br/&gt;
PRIMARY&amp;gt; rs.status()&lt;br/&gt;
{&lt;br/&gt;
        &quot;set&quot; : &quot;webex11_shard1&quot;,&lt;br/&gt;
        &quot;date&quot; : ISODate(&quot;2012-09-12T09:06:12Z&quot;),&lt;br/&gt;
        &quot;myState&quot; : 1,&lt;br/&gt;
        &quot;members&quot; : [&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 0,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.109:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 1,&lt;br/&gt;
                        &quot;state&quot; : 1,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;PRIMARY&quot;,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 1347417601000,
                                &quot;i&quot; : 2184
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;2012-09-12T02:40:01Z&quot;),&lt;br/&gt;
                        &quot;self&quot; : true&lt;br/&gt;
                },&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 1,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.110:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 1,&lt;br/&gt;
                        &quot;state&quot; : 2,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;SECONDARY&quot;,&lt;br/&gt;
                        &quot;uptime&quot; : 23238,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 1347417601000,
                                &quot;i&quot; : 2184
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;2012-09-12T02:40:01Z&quot;),&lt;br/&gt;
                        &quot;lastHeartbeat&quot; : ISODate(&quot;2012-09-12T09:06:11Z&quot;),&lt;br/&gt;
                        &quot;pingMs&quot; : 0&lt;br/&gt;
                },&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 2,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.160:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 1,&lt;br/&gt;
                        &quot;state&quot; : 2,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;SECONDARY&quot;,&lt;br/&gt;
                        &quot;uptime&quot; : 23228,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 1347343168000,
                                &quot;i&quot; : 1
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;2012-09-11T05:59:28Z&quot;),&lt;br/&gt;
                        &quot;lastHeartbeat&quot; : ISODate(&quot;2012-09-12T09:06:11Z&quot;),&lt;br/&gt;
                        &quot;pingMs&quot; : 0,&lt;br/&gt;
                        &quot;errmsg&quot; : &quot;syncThread: 14031 Can&apos;t take a write lock while out of disk space&quot;&lt;br/&gt;
                },&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 3,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.161:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 1,&lt;br/&gt;
                        &quot;state&quot; : 2,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;SECONDARY&quot;,&lt;br/&gt;
                        &quot;uptime&quot; : 23218,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 1347343168000,
                                &quot;i&quot; : 1
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;2012-09-11T05:59:28Z&quot;),&lt;br/&gt;
                        &quot;lastHeartbeat&quot; : ISODate(&quot;2012-09-12T09:06:11Z&quot;),&lt;br/&gt;
                        &quot;pingMs&quot; : 0,&lt;br/&gt;
                        &quot;errmsg&quot; : &quot;syncThread: 14031 Can&apos;t take a write lock while out of disk space&quot;&lt;br/&gt;
                },&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 4,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.163:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 0,&lt;br/&gt;
                        &quot;state&quot; : 8,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;(not reachable/healthy)&quot;,&lt;br/&gt;
                        &quot;uptime&quot; : 0,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 0,
                                &quot;i&quot; : 0
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;1970-01-01T00:00:00Z&quot;),&lt;br/&gt;
                        &quot;lastHeartbeat&quot; : ISODate(&quot;1970-01-01T00:00:00Z&quot;),&lt;br/&gt;
                        &quot;pingMs&quot; : 0,&lt;br/&gt;
                        &quot;errmsg&quot; : &quot;socket exception&quot;&lt;br/&gt;
                }&lt;br/&gt;
        ],&lt;br/&gt;
        &quot;ok&quot; : 1&lt;br/&gt;
}&lt;/p&gt;</description>
                <environment>PRIMARY&amp;gt; rs.status()&lt;br/&gt;
{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;set&amp;quot; : &amp;quot;webex11_shard1&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;date&amp;quot; : ISODate(&amp;quot;2012-09-12T09:06:12Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;myState&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;members&amp;quot; : [&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;_id&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;name&amp;quot; : &amp;quot;10.224.88.109:27018&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;health&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;state&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;stateStr&amp;quot; : &amp;quot;PRIMARY&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optime&amp;quot; : {&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;t&amp;quot; : 1347417601000,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;i&amp;quot; : 2184&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optimeDate&amp;quot; : ISODate(&amp;quot;2012-09-12T02:40:01Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;self&amp;quot; : true&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;_id&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;name&amp;quot; : &amp;quot;10.224.88.110:27018&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;health&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;state&amp;quot; : 2,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;stateStr&amp;quot; : &amp;quot;SECONDARY&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;uptime&amp;quot; : 23238,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optime&amp;quot; : {&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;t&amp;quot; : 1347417601000,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;i&amp;quot; : 2184&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optimeDate&amp;quot; : ISODate(&amp;quot;2012-09-12T02:40:01Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;lastHeartbeat&amp;quot; : ISODate(&amp;quot;2012-09-12T09:06:11Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;pingMs&amp;quot; : 0&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;_id&amp;quot; : 2,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;name&amp;quot; : &amp;quot;10.224.88.160:27018&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;health&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;state&amp;quot; : 2,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;stateStr&amp;quot; : &amp;quot;SECONDARY&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;uptime&amp;quot; : 23228,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optime&amp;quot; : {&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;t&amp;quot; : 1347343168000,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;i&amp;quot; : 1&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optimeDate&amp;quot; : ISODate(&amp;quot;2012-09-11T05:59:28Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;lastHeartbeat&amp;quot; : ISODate(&amp;quot;2012-09-12T09:06:11Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;pingMs&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;errmsg&amp;quot; : &amp;quot;syncThread: 14031 Can&amp;#39;t take a write lock while out of disk space&amp;quot;&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;_id&amp;quot; : 3,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;name&amp;quot; : &amp;quot;10.224.88.161:27018&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;health&amp;quot; : 1,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;state&amp;quot; : 2,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;stateStr&amp;quot; : &amp;quot;SECONDARY&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;uptime&amp;quot; : 23218,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optime&amp;quot; : {&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;t&amp;quot; : 1347343168000,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;i&amp;quot; : 1&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optimeDate&amp;quot; : ISODate(&amp;quot;2012-09-11T05:59:28Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;lastHeartbeat&amp;quot; : ISODate(&amp;quot;2012-09-12T09:06:11Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;pingMs&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;errmsg&amp;quot; : &amp;quot;syncThread: 14031 Can&amp;#39;t take a write lock while out of disk space&amp;quot;&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;{&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;_id&amp;quot; : 4,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;name&amp;quot; : &amp;quot;10.224.88.163:27018&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;health&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;state&amp;quot; : 8,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;stateStr&amp;quot; : &amp;quot;(not reachable/healthy)&amp;quot;,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;uptime&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optime&amp;quot; : {&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;t&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;i&amp;quot; : 0&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;},&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;optimeDate&amp;quot; : ISODate(&amp;quot;1970-01-01T00:00:00Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;lastHeartbeat&amp;quot; : ISODate(&amp;quot;1970-01-01T00:00:00Z&amp;quot;),&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;pingMs&amp;quot; : 0,&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;errmsg&amp;quot; : &amp;quot;socket exception&amp;quot;&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;}&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;],&lt;br/&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;quot;ok&amp;quot; : 1&lt;br/&gt;
}</environment>
        <key id="50309">SERVER-7021</key>
            <summary>One Shard a Secondary Node can&apos;t be restart</summary>
                <type id="1" iconUrl="https://jira.mongodb.org/secure/viewavatar?size=xsmall&amp;avatarId=14703&amp;avatarType=issuetype">Bug</type>
                                            <priority id="3" iconUrl="https://jira.mongodb.org/images/icons/priorities/major.svg">Major - P3</priority>
                        <status id="6" iconUrl="https://jira.mongodb.org/images/icons/statuses/closed.png" description="The issue is considered finished, the resolution is correct. Issues which are closed can be reopened.">Closed</status>
                    <statusCategory id="3" key="done" colorName="success"/>
                                    <resolution id="4">Incomplete</resolution>
                                        <assignee username="-1">Unassigned</assignee>
                                    <reporter username="xzhan@cisco.com">Xuguang zhan</reporter>
                        <labels>
                            <label>replicaset</label>
                    </labels>
                <created>Wed, 12 Sep 2012 09:12:04 +0000</created>
                <updated>Fri, 8 Mar 2013 15:56:12 +0000</updated>
                            <resolved>Wed, 2 Jan 2013 03:31:54 +0000</resolved>
                                    <version>2.0.6</version>
                    <version>2.2.0</version>
                                                    <component>Stability</component>
                    <component>Storage</component>
                                        <votes>0</votes>
                                    <watches>5</watches>
                                                                                                                <comments>
                            <comment id="164320" author="xzhan@cisco.com" created="Fri, 14 Sep 2012 02:32:20 +0000"  >&lt;p&gt;when i used repair:it cause the server can&apos;t be restart&lt;/p&gt;

&lt;p&gt;Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; MongoDB starting : pid=2499 port=27018 dbpath=/root/mongodata/db 64-bit host=wdsq1wco0010&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; db version v2.0.6, pdfile version 4.5&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; git version: e1c0cbc25863f6356aa4e31375add7bb49fb05bc&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; build info: Linux ip-10-110-9-236 2.6.21.7-2.ec2.v1.2.fc8xen #1 SMP Fri Nov 20 17:48:28 EST 2009 x86_64 BOOST_LIB_VERSION=1_41&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; options: &lt;/p&gt;
{ dbpath: &quot;/root/mongodata/db&quot;, journalCommitInterval: 50, logpath: &quot;/root/mongo_log&quot;, maxConns: 1000, oplogSize: 8000, repair: true, replSet: &quot;webex11_shard1&quot;, rest: true, shardsvr: true, syncdelay: 10.0 }
&lt;p&gt;Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; journal dir=/root/mongodata/db/journal&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; recover : no journal files present, no recovery needed&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; ****&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; ****&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; need to upgrade database performance with pdfile version 4.5, new version: 4.5&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt;      starting upgrade&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt;  performance repairDatabase performance&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; removeJournalFiles&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; allocating new datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.ns, filling with zeroes...&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; creating directory /root/mongodata/db/$tmp_repairDatabase_0/_tmp&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; done allocating datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.ns, size: 16MB,  took 0.072 secs&lt;br/&gt;
Fri Sep 14 02:28:18 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; allocating new datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.0, filling with zeroes...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; done allocating datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.0, size: 64MB,  took 0.188 secs&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; build index performance.small &lt;/p&gt;
{ _id: 1 }
&lt;p&gt;Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; allocating new datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.1, filling with zeroes...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; build index done 0 records 0 secs&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt;  performance.system.indexes Assertion failure isOk() db/pdfile.h 300&lt;br/&gt;
0x57a8a6 0x5853eb 0x8a728c 0x8a7636 0x8cda4e 0x94c610 0x8cc55a 0x8cc973 0x8cce7c 0x8d9d1e 0x8dd66e 0x8df083 0x8e0357 0x943295 0x889107 0x88dcd9 0x88f5e1 0x5e396d 0x5b731c 0x85081e&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12sayDbContextEPKc+0x96) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x57a8a6&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo8assertedEPKcS1_j+0xfb) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x5853eb&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo11DataFileMgr7findAllEPKcRKNS_7DiskLocE+0x5fc) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8a728c&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo13findTableScanEPKcRKNS_7BSONObjERKNS_7DiskLocE+0xe6) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8a7636&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZNK5mongo9QueryPlan9newCursorERKNS_7DiskLocEi+0x29e) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8cda4e&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo11UserQueryOp5_initEv+0x780) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x94c610&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo7QueryOp4initEv+0x11a) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8cc55a&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12QueryPlanSet6Runner6initOpERNS_7QueryOpE+0x23) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8cc973&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12QueryPlanSet6Runner4initEv+0x2ec) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8cce7c&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12QueryPlanSet6Runner22runUntilFirstCompletesEv+0x1e) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8d9d1e&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12QueryPlanSet5runOpERNS_7QueryOpE+0x11e) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8dd66e&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo16MultiPlanScanner9runOpOnceERNS_7QueryOpE+0x523) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8df083&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo16MultiPlanScanner5runOpERNS_7QueryOpE+0x17) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x8e0357&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(&lt;em&gt;ZN5mongo8runQueryERNS_7MessageERNS_12QueryMessageERNS_5CurOpES1&lt;/em&gt;+0xfa5) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x943295&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod &lt;span class=&quot;error&quot;&gt;&amp;#91;0x889107&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo16assembleResponseERNS_7MessageERNS_10DbResponseERKNS_11HostAndPortE+0x559) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x88dcd9&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo14DBDirectClient4callERNS_7MessageES2_bPSs+0x81) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x88f5e1&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo14DBClientCursor4initEv+0xad) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x5e396d&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo12DBClientBase5queryERKSsNS_5QueryEiiPKNS_7BSONObjEii+0x3ac) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x5b731c&amp;#93;&lt;/span&gt;&lt;br/&gt;
 /root/mongodb-linux-x86_64-2.0.6/bin/mongod(_ZN5mongo6Cloner4copyEPKcS2_bbbbbbNS_5QueryE+0x6de) &lt;span class=&quot;error&quot;&gt;&amp;#91;0x85081e&amp;#93;&lt;/span&gt;&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; assertion 0 assertion db/pdfile.h:300 ns:performance.system.indexes query:{ name: &lt;/p&gt;
{ $ne: &quot;_id_&quot; }
&lt;p&gt; }&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; exception in initAndListen: 13106 nextSafe(): &lt;/p&gt;
{ $err: &quot;assertion db/pdfile.h:300&quot; }
&lt;p&gt;, terminating&lt;br/&gt;
Fri Sep 14 02:28:19 dbexit:&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to close listening sockets...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to flush diaglog...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: going to close sockets...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: waiting for fs preallocator...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;FileAllocator&amp;#93;&lt;/span&gt; done allocating datafile /root/mongodata/db/$tmp_repairDatabase_0/performance.1, size: 128MB,  took 0.388 secs&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: lock for final commit...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: final commit...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: closing all files...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; closeAllFiles() finished&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; journalCleanup...&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; removeJournalFiles&lt;br/&gt;
Fri Sep 14 02:28:19 &lt;span class=&quot;error&quot;&gt;&amp;#91;initandlisten&amp;#93;&lt;/span&gt; shutdown: removing fs lock...&lt;br/&gt;
Fri Sep 14 02:28:19 dbexit: really exiting now&lt;/p&gt;
</comment>
                            <comment id="163805" author="matulef" created="Thu, 13 Sep 2012 06:36:47 +0000"  >&lt;p&gt;The node didn&apos;t start before, but now it does?  Can you try restarting it with the --repair option? &lt;/p&gt;</comment>
                            <comment id="163800" author="xzhan@cisco.com" created="Thu, 13 Sep 2012 05:39:19 +0000"  >&lt;p&gt;yes, the Disk have been used up.&lt;/p&gt;

&lt;p&gt;check the new error on the restart node&lt;br/&gt;
                {&lt;br/&gt;
                        &quot;_id&quot; : 4,&lt;br/&gt;
                        &quot;name&quot; : &quot;10.224.88.163:27018&quot;,&lt;br/&gt;
                        &quot;health&quot; : 1,&lt;br/&gt;
                        &quot;state&quot; : 2,&lt;br/&gt;
                        &quot;stateStr&quot; : &quot;SECONDARY&quot;,&lt;br/&gt;
                        &quot;uptime&quot; : 129,&lt;br/&gt;
                        &quot;optime&quot; : &lt;/p&gt;
{
                                &quot;t&quot; : 1346658635000,
                                &quot;i&quot; : 1403
                        }
&lt;p&gt;,&lt;br/&gt;
                        &quot;optimeDate&quot; : ISODate(&quot;2012-09-03T07:50:35Z&quot;),&lt;br/&gt;
                        &quot;lastHeartbeat&quot; : ISODate(&quot;2012-09-13T05:38:16Z&quot;),&lt;br/&gt;
                        &quot;pingMs&quot; : 0,&lt;br/&gt;
                        &quot;errmsg&quot; : &quot;syncTail: 13440 bad offset:0 accessing file: /root/mongodata/db/performance.0 - consider repairing database, syncing: { ts: Timestamp 1346658635000|1404, h: -6209838952630485647, op: \&quot;i\&quot;, ns: \&quot;performance.small\&quot;, o: &lt;/p&gt;
{ _id: ObjectId(&apos;504460ecc9636070c52b11&quot;
                }
&lt;p&gt;        ],&lt;br/&gt;
        &quot;ok&quot; : 1&lt;br/&gt;
}&lt;/p&gt;

&lt;p&gt;any idea?&lt;/p&gt;</comment>
                            <comment id="163799" author="matulef" created="Thu, 13 Sep 2012 05:32:00 +0000"  >&lt;p&gt;Sorry, my screen cut off the development environment stuff (usually people just post OS version + mongoDB version there).  I cut and pasted the rs.status() info in the description.&lt;/p&gt;

&lt;p&gt;A couple of your other secondaries have error messages &quot;Can&apos;t take a write lock while out of disk space.&quot;  Are these machines simply out of space? &lt;/p&gt;</comment>
                            <comment id="163794" author="xzhan@cisco.com" created="Thu, 13 Sep 2012 05:21:40 +0000"  >&lt;p&gt;Pls check my envirement ,it have show we have another secondary nodes also,  I have checked another bug ,you have mentioned have fixed in 2.1.2 ,so I try this version ,it is not working .pls help to check.&lt;/p&gt;

&lt;p&gt;same question on this ,why the .ns file diappeared in the PRI node and the bad secondary Node ?. i check another secondary node  it have exist &lt;br/&gt;
  16404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   16777216 Aug 28 08:07 performance.ns&lt;br/&gt;
  65604 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   67108864 Aug 28 08:07 performance.0&lt;br/&gt;
 131204 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  134217728 Aug 28 08:07 performance.1&lt;br/&gt;
 262404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  268435456 Sep  7 01:52 performance.2&lt;/p&gt;

&lt;p&gt;Copy:&lt;br/&gt;
 65604 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   67108864 Sep 13 05:19 performance.0&lt;br/&gt;
 131204 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  134217728 Sep 13 05:19 performance.1&lt;br/&gt;
 262404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  268435456 Sep 13 05:19 performance.2&lt;br/&gt;
  16404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   16777216 Sep 13 05:19 performance.ns&lt;/p&gt;

&lt;p&gt;then i copy the data to the secondary Node ,it can be restart. but we can&apos;t get the performance data in PRI node&lt;br/&gt;
  16404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   16777216 Aug 20 08:51 admin.ns&lt;br/&gt;
  65604 &lt;del&gt;rw&lt;/del&gt;------ 1 root root   67108864 Aug 20 08:51 admin.0&lt;br/&gt;
 131204 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  134217728 Aug 20 08:51 admin.1&lt;br/&gt;
 262404 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  268435456 Sep  3 07:54 performance.2&lt;br/&gt;
 131204 &lt;del&gt;rw&lt;/del&gt;------ 1 root root  134217728 Sep  3 07:54 performance.1&lt;/p&gt;


&lt;p&gt;how to explain this? may be data lost? i think we should check &lt;/p&gt;</comment>
                            <comment id="163788" author="matulef" created="Thu, 13 Sep 2012 04:57:06 +0000"  >&lt;p&gt;Did this machine experience a hard shutdown?  It looks like it&apos;s failing when it tries to replay the journal files.  &lt;/p&gt;

&lt;p&gt;I presume the &quot;performance&quot; database is no longer visible on the primary?  Odd that the .ns file should just disappear.  Did any events lead up to this?  &lt;/p&gt;

&lt;p&gt;Do you have any other secondary nodes in this set? The safest way to recover here would be to copy the datafiles from a working secondary.  &lt;/p&gt;</comment>
                    </comments>
                <issuelinks>
                            <issuelinktype id="10012">
                    <name>Related</name>
                                            <outwardlinks description="related to">
                                                        </outwardlinks>
                                                        </issuelinktype>
                    </issuelinks>
                <attachments>
                            <attachment id="19917" name="Pri_data.PNG" size="20968" author="xzhan@cisco.com" created="Wed, 12 Sep 2012 09:12:04 +0000"/>
                            <attachment id="19918" name="restart-failure-2.0.6.PNG" size="56311" author="xzhan@cisco.com" created="Wed, 12 Sep 2012 09:12:04 +0000"/>
                    </attachments>
                <subtasks>
                    </subtasks>
                <customfields>
                                                <customfield id="customfield_10050" key="com.atlassian.jira.toolkit:comments">
                        <customfieldname># Replies</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>6.0</customfieldvalue>
                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                <customfield id="customfield_10055" key="com.atlassian.jira.ext.charting:firstresponsedate">
                        <customfieldname>Date of 1st Reply</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>Thu, 13 Sep 2012 04:57:06 +0000</customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_10052" key="com.atlassian.jira.toolkit:dayslastcommented">
                        <customfieldname>Days since reply</customfieldname>
                        <customfieldvalues>
                                        11 years, 22 weeks, 6 days ago
    
                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_18254" key="com.onresolve.jira.groovy.groovyrunner:scripted-field">
                        <customfieldname>Dependencies</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue><![CDATA[]]></customfieldvalue>


                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_15850" key="com.atlassian.jira.plugins.jira-development-integration-plugin:devsummary">
                        <customfieldname>Development</customfieldname>
                        <customfieldvalues>
                            
                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    <customfield id="customfield_10057" key="com.atlassian.jira.toolkit:lastusercommented">
                        <customfieldname>Last comment by Customer</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>true</customfieldvalue>
                        </customfieldvalues>
                    </customfield>
                                                                                            <customfield id="customfield_10056" key="com.atlassian.jira.toolkit:lastupdaterorcommenter">
                        <customfieldname>Last commenter</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>ian@mongodb.com</customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_11151" key="com.atlassian.jira.toolkit:LastCommentDate">
                        <customfieldname>Last public comment date</customfieldname>
                        <customfieldvalues>
                            11 years, 22 weeks, 6 days ago
                        </customfieldvalues>
                    </customfield>
                                                                                                                        <customfield id="customfield_10000" key="com.atlassian.jira.plugin.system.customfieldtypes:radiobuttons">
                        <customfieldname>Old_Backport</customfieldname>
                        <customfieldvalues>
                                <customfieldvalue key="10000"><![CDATA[No]]></customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_10032" key="com.atlassian.jira.plugin.system.customfieldtypes:select">
                        <customfieldname>Operating System</customfieldname>
                        <customfieldvalues>
                                <customfieldvalue key="10020"><![CDATA[Linux]]></customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                <customfield id="customfield_10051" key="com.atlassian.jira.toolkit:participants">
                        <customfieldname>Participants</customfieldname>
                        <customfieldvalues>
                                        <customfieldvalue>matulef</customfieldvalue>
            <customfieldvalue>xzhan@cisco.com</customfieldvalue>
    
                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                        <customfield id="customfield_14254" key="com.pyxis.greenhopper.jira:gh-lexo-rank">
                        <customfieldname>Product Rank</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>1|hrnoy7:</customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                <customfield id="customfield_12550" key="com.pyxis.greenhopper.jira:gh-lexo-rank">
                        <customfieldname>Rank</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>2|hrhm1z:</customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                                                <customfield id="customfield_10558" key="com.pyxis.greenhopper.jira:gh-global-rank">
                        <customfieldname>Rank (Obsolete)</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>16382</customfieldvalue>
                        </customfieldvalues>
                    </customfield>
                                                                                            <customfield id="customfield_23361" key="com.onresolve.jira.groovy.groovyrunner:scripted-field">
                        <customfieldname>Requested By</customfieldname>
                        <customfieldvalues>
                                

                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            <customfield id="customfield_10053" key="com.atlassian.jira.ext.charting:timeinstatus">
                        <customfieldname>Time In Status</customfieldname>
                        <customfieldvalues>
                            
                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                                                                                                                                                                                                                                                        <customfield id="customfield_22870" key="com.onresolve.jira.groovy.groovyrunner:scripted-field">
                        <customfieldname>Triagers</customfieldname>
                        <customfieldvalues>
                                

                        </customfieldvalues>
                    </customfield>
                                                                                                                                                                                                                                                                                                                                                                                    <customfield id="customfield_14350" key="com.pyxis.greenhopper.jira:gh-lexo-rank">
                        <customfieldname>serverRank</customfieldname>
                        <customfieldvalues>
                            <customfieldvalue>1|hrpwhj:</customfieldvalue>

                        </customfieldvalues>
                    </customfield>
                                    </customfields>
    </item>
</channel>
</rss>