Uploaded image for project: 'WiredTiger'
  1. WiredTiger
  2. WT-11297

backup:query_id can return wrong IDs after crash, causing failure or corruption of next incremental backup

    spinlock-pthread-adaptive-test on amazon2-arm64

    Host: i-0e2aa547e54652e2f
    Project: wiredtiger
    Commit: 90645ed3

    Task Logs:

    spinlock-pthread-adaptive-test task_log

    Logs:

     86/110 Test  #67: test_timestamp_abort .............................***Failed  428.77 sec
    

    logs

    spinlock-pthread-adaptive-test task_log

    Logs:

    [1689047072:653945][12833:0xffffb30e1110], file:collection.wt, WT_SESSION.open_cursor: [WT_VERB_DEFAULT][ERROR]: __wt_block_read_off, 240: collection.wt: potential hardware corruption, read checksum error for 4096B block at offset 655360: block header checksum of 0x934ac3b5 doesn't match expected checksum of 0x3007e773
    [1689047072:654085][12833:0xffffb30e1110], file:collection.wt, WT_SESSION.open_cursor: [WT_VERB_DEFAULT][ERROR]: __wt_bm_corrupt_dump, 82: {0: 655360, 4096, 0x3007e773}: (chunk 1 of 4): 00 00 00 00 00 00 00 00 73 01 00 00 00 00 00 00 4d 0e 00 00 f2 00 00 00 06 20 00 01 00 10 00 00 b5 c3 4a 93 01 00 00 00 05 00 38 00 87 80 87 e4 57 5e 96 aa 35 31 30 30 30 30 30 30 30 30 30 30 34 39 38 00 87 87 87 e4 f8 f2 3e ac 35 31 30 30 30 30 30 30 30 30 30 31 30 33 38 00 88 c0 10 87 e4 5d c8 e9 cf 35 31 30 30 30 30 30 30 30 30 30 31 35 36 38 00 88 c0 17 87 e4 f1 2f 56 5e 35 31 30 30 30 30 30 30 30 30 30 32 30 36 38 00 88 c1 11 87 e4 52 76 a3 b6 35 31 30 30 30 30 30 30 30 30 30 32 36 32 38 00 88 c1 18 87 e4 bb 9e 8a 45 31 31 30 30 30 30 30 30 30 30 30 33 32 38 00 88 c1 1f 87 e4 ca d4 61 6d 35 31 30 30 30 30 30 30 30 30 30 33 37 34 38 00 88 c1 26 87 e4 41 e9 6f 9b 35 31 30 30 30 30 30 30 30 30 30 34 32 35 38 00 88 c1 2d 87 e4 71 62 90 5c 35 31 30 30 30 30 30 30 30 30 30 34 37 34 38 00 88 c0 5b 84 e4 19 65 21 c4 31 31 30 30 30 30 30 30 30 30 30 35 31 38 00 88 c1 d0 87 e4 89 71 8c 5c 35 31 30 30 30 30 30 30 30 30 30 35 36 35 38 00 88 c1 d7 87 e4 bd d2 bd 82 35 31 30 30 30 30 30 30 30 30 30 36 32 31 38 00 88 c1 de 87 e4 32 d7 7a 22 35 31 30 30 30 30 30 30 30 30 30 36 37 36 38 00 88 c1 e5 87 e4 54 d6 bd 06 35 31 30 30 30 30 30 30 30 30 30 37 33 32 38 00 88 c2 86 87 e4 c2 0c ab 6e 35 31 30 30 30 30 30 30 30 30 30 37 38 33 38 00 88 c2 8d 87 e4 8d 20 f1 ba 35 31 30 30 30 30 30 30 30 30 30 38 33 36 38 00 88 c2 0f 87 e4 93 77 40 b8 35 31 30 30 30 30 30 30 30 30 30 38 38 36 38 00 88 c2 d9 87 e4 d9 e6 32 4a 35 31 30 30 30 30 30 30 30 30 30 39 34 32 38 00 88 c2 e0 84 e4 8b 77 67 59 35 31 30 30 30 30 30 30 30 30 30 39 37 31 38 00 88 c3 97 87 e4 19 cb 9f e7 35 31 30 30 30 30 30 30 30 30 31 30 32 36 38 00 88 c3 9e 87 e4 2f 52 04 fc 35 31 30 30 30 30 30 30 30 30 31 30 38 37 38 00 88 c3 a5 87 e4 4d c0 d4 e9 35 31 30 30 30 30 30 30 30 30 31 31 34 36 38 00 88 c4 2c 87 e4 e7 8a 17 e6 2d 31 30 30 30 30 30 30 30 30 31 32 38 00 88 c4 33 87 e4 23 66 ec a3 35 31 30 30 30 30 30 30 30 30 31 32 35 33 38 00 88 c4 3a 87 e4 d0 0d 55 ab 35 31 30 30 30 30 30 30 30 30 31 33 30 33 38 00 88 c4 4f 87 e4 a2 4a 1e 59 35 31 30 30 30 30 30 30 30 30 31 33 35 39 38 00 88 c2 fe 84 e4 2b 4b 8b 4f 35 31 30 30 30 30 30 30 30 30 31 33 38 38 38 00 88 c3 50 87 e4 16 5b 61 96 35 31 30 30 30 30 30 30 30 30 31 34 34 32 38 00 88 c4 9c 87 e4 90 34 3f f7 35 31 30 30 30 30 30 30 30 30 31 34 39 32 38 00 88 c4 a3 87 e4 8f 25 1b 7a 35 31 30 30 30 30 30 30 30 30 31 35 33 39 38 00 88 c4 0a 84 e4 d8 27 2b 4a 35 31 30 30 30 30 30 30 30 30 31 35 37 31 38 00 88 c5 c3 87 e4 f1 7e 0b 6d 35 31 30 30 30 30 30 30 30 30 31 36 32 35 38 00 88 c5 ca 87 e4 ff 2f 51 ba 35 31 30 30 30 30 30 30 30 30 31 36 36 37 38 00 88 c5 d1 87 e4 1a aa 36 47 35 31 30 30 30 30 30 30 30 30 31 37 31 33 38 00 88 c6 49 87 e4 65 d7 54 04 35 31 30 30 30 30 30 30 30 30 31 37 37 31 38 00 88 c6 50 87 e4 37 30 44 0c 35 31 30 30 30 30 30 30 30 30 31 38 32 34 38 00 88 c6 57 87 e4 54 3e 79 e5 35 31 30 30 30 30 30 30 30 30 31 38 37 35 38 00 88 c4 65 84 e4 c6 62 55 97 35 31 30 30 30 30 30 30 30 30 31 39 30 33 38 00 88 c6 d6 87 e4 fb 50 46 ad 35 31 30 30 30 30 30 30 30 30 31 39 34 39 38 00 88 c6 dd 87 e4 19 4a 7f 77 35 31
    [1689047072:654201][12833:0xffffb30e1110], file:collection.wt, WT_SESSION.open_cursor: [WT_VERB_DEFAULT][ERROR]: __wt_bm_corrupt_dump, 82: {0: 655360, 4096, 0x3007e773}: (chunk 2 of 4): 30 30 30 30 30 30 30 30 32 30 30 31 38 00 88 c6 e4 84 e4 5e ca 8c ba 35 31 30 30 30 30 30 30 30 30 32 30 32 38 38 00 88 c7 30 87 e4 c4 6d 00 46 35 31 30 30 30 30 30 30 30 30 32 30 37 32 38 22 e2 57 db e4 3b 9b 26 45 88 c7 37 87 e4 7c 24 d8 e2 35 31 30 30 30 30 30 30 30 30 32 31 32 36 38 2a e4 3b 9b 26 54 e2 5a 96 c2 9f 88 c7 3e 87 e4 a5 17 b4 f6 35 31 30 30 30 30 30 30 30 30 32 31 37 36 38 2a e4 3b 9b 29 42 e2 5d 59 c2 ae 88 c7 45 87 e4 cc 75 48 1f 35 31 30 30 30 30 30 30 30 30 32 32 32 37 38 22 e2 5f 88 e4 3b 9b 2e 88 88 c7 4c 86 e4 09 c0 19 f3 35 31 30 30 31 30 30 30 30 30 30 30 30 31 38 00 88 c0 25 85 e4 38 ba 3d 86 35 31 30 30 31 30 30 30 30 30 30 30 33 35 38 00 87 95 87 e4 ad 61 2b 3d 35 31 30 30 31 30 30 30 30 30 30 30 39 35 38 22 c4 a8 e4 3b 9a b2 34 87 9c 87 e4 3e 83 fa 89 35 31 30 30 31 30 30 30 30 30 30 31 34 35 38 00 88 c0 60 87 e4 e1 5a 7c f7 35 31 30 30 31 30 30 30 30 30 30 31 39 39 38 00 88 c0 67 87 e4 29 74 3e ca 35 31 30 30 31 30 30 30 30 30 30 32 35 34 38 22 cb f8 e4 3b 9a bb c1 88 c0 6e 87 e4 a0 fe f7 30 35 31 30 30 31 30 30 30 30 30 30 33 30 38 38 00 88 c0 c1 87 e4 87 48 32 a1 35 31 30 30 31 30 30 30 30 30 30 33 36 34 38 00 88 c0 c8 87 e4 bf 62 7f 3e 31 31 30 30 31 30 30 30 30 30 30 34 31 38 22 d1 a1 e4 3b 9a c4 d6 88 c0 cf 87 e4 4c f4 11 b4 35 31 30 30 31 30 30 30 30 30 30 34 36 33 38 2a e4 3b 9a c4 e5 d3 a7 c3 26 88 c0 d6 87 e4 32 22 27 79 35 31 30 30 31 30 30 30 30 30 30 35 32 32 38 2a e4 3b 9a c8 5a d5 62 c2 bd 88 c0 dd 87 e4 72 66 1f 3c 35 31 30 30 31 30 30 30 30 30 30 35 37 34 38 2a e4 3b 9a cb 66 d7 1b c2 cc 88 c0 e4 87 e4 a5 3f e0 fe 35 31 30 30 31 30 30 30 30 30 30 36 32 37 38 2a e4 3b 9a ce 81 d9 47 c3 35 88 c0 1e 87 e4 e8 52 3a 67 35 31 30 30 31 30 30 30 30 30 30 36 38 37 38 2a e4 3b 9a d2 05 db cb c3 17 88 c1 34 87 e4 4a bf 11 10 35 31 30 30 31 30 30 30 30 30 30 37 34 35 38 2a e4 3b 9a d5 6b dd 90 c2 ae 88 c1 3b 87 e4 55 0b f2 5e 35 31 30 30 31 30 30 30 30 30 30 37 39 36 38 2a e4 3b 9a d8 68 df 7a c2 54 88 c1 ad 87 e4 d4 47 6c 86 35 31 30 30 31 30 30 30 30 30 30 38 34 31 38 2a e4 3b 9a db 0b e2 01 b4 c2 ae 88 c1 b4 87 e4 73 51 39 24 35 31 30 30 31 30 30 30 30 30 30 38 39 32 38 2a e4 3b 9a de 08 e2 03 6d c2 81 88 c1 bb 87 e4 a0 66 41 68 31 31 30 30 31 30 30 30 30 30 30 39 34 38 2a e4 3b 9a e0 d8 e2 05 5f c2 db 88 c1 c2 87 e4 7e dd ec 52 35 31 30 30 31 30 30 30 30 30 30 39 39 34 38 2a e4 3b 9a e4 02 e2 07 85 c3 26 88 c1 c9 87 e4 8b 98 eb 3b 35 31 30 30 31 30 30 30 30 30 31 30 35 33 38 2a e4 3b 9a e7 77 e2 08 c1 c1 73 88 c0 3c 84 e4 28 65 31 0d 35 31 30 30 31 30 30 30 30 30 31 30 38 33 38 2a e4 3b 9a e9 39 e2 0a 95 c2 81 88 c2 6a 87 e4 54 39 b4 92 35 31 30 30 31 30 30 30 30 30 31 31 33 31 38 2a e4 3b 9a ec 09 e2 0c b8 c2 f9 88 c2 71 87 e4 7b df f9 12 35 31 30 30 31 30 30 30 30 30 31 31 38 37 38 2a e4 3b 9a ef 51 e2 0e c5 c2 ea 88 c2 78 87 e4 e2 01 0e 63 35 31 30 30 31 30 30 30 30 30 31 32 34 32 38 2a e4 3b 9a f2 8a e2 11 06 c3 53 88 c2 7f 87 e4 88 ab 00 00 35 31 30 30 31 30 30 30 30 30 31 33 30 34 38 2a e4 3b 9a f6 2c e2 12 cf c2 db 88 c3 58 87 e4 ff 43 f3 1d 35 31 30 30 31 30 30 30 30 30
    [1689047072:654313][12833:0xffffb30e1110], file:collection.wt, WT_SESSION.open_cursor: [WT_VERB_DEFAULT][ERROR]: __wt_bm_corrupt_dump, 82: {0: 655360, 4096, 0x3007e773}: (chunk 3 of 4): 31 33 35 38 38 2a e4 3b 9a f9 56 e2 14 ea c3 35 88 c3 5f 87 e4 36 b4 48 e3 35 31 30 30 31 30 30 30 30 30 31 34 31 38 38 2a e4 3b 9a fc da e2 16 d7 c2 cc 88 c3 66 87 e4 bc 1c 41 df 35 31 30 30 31 30 30 30 30 30 31 34 37 31 38 2a e4 3b 9a ff f5 e2 18 e5 c3 35 88 c3 6d 87 e4 0a 9e aa 83 35 31 30 30 31 30 30 30 30 30 31 35 33 31 38 2a e4 3b 9b 03 79 e2 1a 6f c2 72 88 c3 74 87 e4 cb 61 2a ee 35 31 30 30 31 30 30 30 30 30 31 35 37 38 38 2a e4 3b 9b 06 3a e2 1c 48 c2 ae 88 c3 7b 87 e4 a2 3c 55 6e 35 31 30 30 31 30 30 30 30 30 31 36 32 39 38 2a e4 3b 9b 09 37 e2 1e 90 c3 35 88 c3 82 87 e4 9f 4f a8 76 35 31 30 30 31 30 30 30 30 30 31 36 38 39 38 2a e4 3b 9b 0c bb e2 20 46 c3 26 88 c3 89 87 e4 46 39 71 e6 35 31 30 30 31 30 30 30 30 30 31 37 34 38 38 2a e4 3b 9b 10 30 e2 22 1f c2 ae 88 c3 90 87 e4 44 01 eb bd 35 31 30 30 31 30 30 30 30 30 31 37 39 39 38 2a e4 3b 9b 13 2d e2 23 c5 c2 9f 88 c4 56 87 e4 85 fe 72 3d 35 31 30 30 31 30 30 30 30 30 31 38 34 39 38 2a e4 3b 9b 16 1b e2 25 ad c2 72 88 c4 6b 87 e4 2a 7b 2b d3 35 31 30 30 31 30 30 30 30 30 31 38 39 36 38 2a e4 3b 9b 18 dc e2 27 ac c2 81 88 c4 72 87 e4 a5 cc 50 8a 35 31 30 30 31 30 30 30 30 30 31 39 34 34 38 2a e4 3b 9b 1b ac e2 29 bb c2 cc 88 c4 79 87 e4 37 f3 3c f9 35 31 30 30 31 30 30 30 30 30 31 39 39 37 38 2a e4 3b 9b 1e c7 e2 2b b7 c2 cc 88 c4 80 87 e4 f5 83 5d ed 31 31 30 30 31 30 30 30 30 30 32 30 35 38 2a e4 3b 9b 21 e2 e2 2c 93 c2 72 88 c4 87 87 e4 77 9e 3f 2f 35 31 30 30 31 30 30 30 30 30 32 30 39 37 38 2a e4 3b 9b 24 a3 e2 2e 1c c2 81 88 c4 8e 87 e4 ef ef 03 f2 35 31 30 30 31 30 30 30 30 30 32 31 34 35 38 2a e4 3b 9b 27 73 e2 30 70 c3 26 88 c4 95 87 e4 5d ee 24 21 35 31 30 30 31 30 30 30 30 30 32 32 30 34 38 2a e4 3b 9b 2a e8 e2 32 78 c2 90 88 c5 05 87 e4 46 f3 3e 37 35 31 30 30 31 30 30 30 30 30 32 32 35 33 38 2a e4 3b 9b 2d c7 e2 34 be c2 f9 88 c5 37 87 e4 2f 08 23 40 35 31 30 30 31 30 30 30 30 30 32 33 30 39 38 2a e4 3b 9b 31 0f e2 36 d7 c2 cc 88 c5 3e 87 e4 97 2d 71 79 35 31 30 30 31 30 30 30 30 30 32 33 36 32 38 2a e4 3b 9b 34 2a e2 38 d6 c2 90 88 c5 45 87 e4 99 37 e3 6d 35 31 30 30 31 30 30 30 30 30 32 34 31 31 38 2a e4 3b 9b 37 09 e2 3a da c2 9f 88 c5 4c 87 e4 e7 9f 6c 89 35 31 30 30 31 30 30 30 30 30 32 34 36 31 38 2a e4 3b 9b 39 f7 e2 3c 1d c1 91 88 c3 c8 84 e4 bc 25 31 6b 35 31 30 30 31 30 30 30 30 30 32 34 39 33 38 2a e4 3b 9b 3b d7 e2 3e 04 c2 72 88 c5 30 87 e4 8d f3 c5 28 31 31 30 30 31 30 30 30 30 30 32 35 34 38 2a e4 3b 9b 3e 98 e2 40 1e c2 bd 88 c5 60 87 e4 48 02 48 64 35 31 30 30 31 30 30 30 30 30 32 35 39 32 38 2a e4 3b 9b 41 a4 e2 42 6b c3 17 88 c5 67 87 e4 6f 3f 18 b4 31 31 30 30 31 30 30 30 30 30 32 36 35 38 2a e4 3b 9b 45 0a e2 44 98 c2 cc 88 c6 89 87 e4 cf 7a 66 4c 35 31 30 30 31 30 30 30 30 30 32 37 30 33 38 2a e4 3b 9b 48 25 e2 46 cd c2 ea 88 c6 90 87 e4 cb aa 02 6b 35 31 30 30 31 30 30 30 30 30 32 37 35 38 38 2a e4 3b 9b 4b 5e e2 48 eb c2 cc 88 c6 97 87 e4 e6 0b d3 e9 35 31 30 30 31 30 30 30 30 30 32 38 31 31 38 2a e4 3b 9b 4e 79 e2 4a ee c2 9
    

    logs

    spinlock-pthread-adaptive-test task_log

    Logs:

    test_timestamp_abort: FAILED: Child process 12833 abnormally exited: Invalid argument
    
    

    logs

    spinlock-pthread-adaptive-test task_log

    Logs:

    test_timestamp_abort: process aborting
    WiredTiger Error: __wt_abort, 28: aborting WiredTiger library
    

    logs

    spinlock-pthread-adaptive-test task_log

    Logs:

    The following tests FAILED:
    
    

    logs

    spinlock-pthread-adaptive-test task_log

    Logs:

    #3  0x0000ffffbc30c328 in __wt_panic_func (session=session@entry=0x2a820c00, error=error@entry=-31802, func=func@entry=0xffffbc343028 <__PRETTY_FUNCTION__.0> "__wt_block_read_off", line=line@entry=253, category=category@entry=WT_VERB_DEFAULT, fmt=fmt@entry=0xffffbc342fd8 "%s: fatal read error") at /data/mci/0e78b213c9d8eef64ffd040d000a87ee/wiredtiger/src/support/err.c:570
    
    

    logs

          Assignee:
          peter.macko@mongodb.com Peter Macko
          Reporter:
          Xgen-BuildBaron-User xgen-buildbaron-user
          Votes:
          0 Vote for this issue
          Watchers:
          15 Start watching this issue

            Created:
            Updated:
            Resolved: