[SERVER-79706] Output of listStreamProcessors command does not include default param values. Created: 04/Aug/23  Updated: 06/Feb/24

Status: Needs Scheduling
Project: Core Server
Component/s: None
Affects Version/s: None
Fix Version/s: None

Type: Task Priority: Major - P3
Reporter: Sandeep Dhoot Assignee: Unassigned
Resolution: Unresolved Votes: 0
Labels: init-337-ga
Remaining Estimate: Not Specified
Time Spent: Not Specified
Original Estimate: Not Specified

Assigned Teams:
Atlas Streams
Participants:

 Description   

e.g. we should include default values for params like `allowedLateness` in the below output.

```

MongoDB Enterprise rs0:PRIMARY> db.runCommand(listCmd);                                                                                                                                       

{                                                                                                                                                                                             

        "streamProcessors" : [                                                                                                                                                                

                {                                                                                                                                                                             

                        "ns" : "",                                                                                                                                                            

                        "name" : "mergeTest",                                                                                                                                                 

                        "startedAt" : ISODate("2023-08-04T04:44:26.908Z"),                                                                                                                    

                        "status" : "running",                                                                                                                                                 

                        "pipeline" : [                                                                                                                                                        

                                {                                                                                                                                                             

                                        "$source" : {                                                                                                                                         

                                                "connectionName" : "db1",                                                                                                                     

                                                "db" : "test",                                                                                                                                

                                                "coll" : "input_coll",                                                                                                                        

                                                "timeField" : {                                                                                                                               

                                                        "$toDate" :

{                                                                                                                                                                                          "$multiply" : [                                                                                                                                                                                        "$fullDocument.ts",                                                                                                                                                                            1000                                                                                                                                                                                   ]                                                                                                                                                                                      }

                                                                                                                                     

                                                }                                                                                                                                             

                                        }                                                                                                                                                     

                                },

...

```



 Comments   
Comment by Aadesh Patel (Inactive) [ 25/Aug/23 ]

ah got it, makes sense with dynamic config. Ah yeah was just curious for this task because i guess having defaults in IDL schema is bit easier since we don't need to worry about reserializing after programmatic defaults are applied, but seems like we'll want that anyways still with the dynamic config changes you mentioned. Okay sweet, makes sense

Comment by Sandeep Dhoot [ 25/Aug/23 ]

I am hoping we would soon have a way to push dynamic config changes to our stream processors and that config can then be used to override some of these defaults. So IDL based defaults are fine, but we also need to pave the way for programmatic overriding.

But does that matter for this task?

Comment by Aadesh Patel (Inactive) [ 25/Aug/23 ]

sandeep.dhoot@mongodb.com would be nice if we can have defaults only defined in the IDL schema, any reason you see to have programmatic defaults embedded in the engine code itself? I guess it can be nice for unit tests?

Generated at Thu Feb 08 06:41:41 UTC 2024 using Jira 9.7.1#970001-sha1:2222b88b221c4928ef0de3161136cc90c8356a66.