{ "MemoryThreshold": 6, "GCIntervalMilliseconds": -1, "UnsafeVariable": true, "DryRun": true, // 试运行,仅输入每张表的前100000条数据 "Logging": { "LogLevel": { "Default": "Trace" } }, "Input":{ "InputDir": "D:\\Data\\DatabaseDump\\Prod_Mock_CSV_2024-12-31", // Csv数据输入目录 "UseMock": false, // 使用模拟数据进行测试 "MockCountMultiplier": 1, // 模拟数据量级的乘数 // "TableOrder": ["order_item"], // 按顺序输入的表 "TableIgnoreList": [] // 忽略输入的表 }, "Transform":{ "StrictMode": true, // 设为true时如果数据转换发生错误,立刻停止程序 "EnableFilter": true, // 启用数据过滤 "EnableReplacer": true, // 启用数据修改 "EnableReBuilder": true, // 启用数据重建 "CleanDate": "202401" // 当数据过滤开启时,删除这个时间之前的数据 }, "Output":{ "ConnectionString": "Server=127.0.0.1;Port=3306;UserId=root;Password=123456;", // 要分库,不用加'Database='了 "MaxAllowedPacket": 67108864, "FlushCount": 10000, // 每次提交记录条数 "MaxDatabaseOutputTask" : 4, // 每个数据库最大提交任务数 "TreatJsonAsHex": false, // 使Json列输出时带上"0x"前缀 "NoOutput": [], // 不输出的表 "ForUpdate": { } }, "RecordQueue":{ "ProducerQueueLength": 20000, // 输入队列最大长度 "ConsumerQueueLength": 20000, // 每个输出队列最大长度 "MaxByteCount": 3221225472 // 队列最大字节数 }, "RedisCache": { "Configuration": "192.168.1.246:6380", "InstanceName" : "mes-etl:" }, "TenantDb": // 分库配置 { "TenantKey" : "CompanyID", "UseDbGroup": "prod", "DbGroups": { "test": { "cferp_test_1": 1000, "cferp_test_2": 2000, "cferp_test_3": 2147483647 }, "prod":{ "mesdb_1": 5000, "mesdb_2": 7500, "mesdb_3": 10000, "mesdb_4": 15000, "mesdb_5": 20000, "mesdb_6": 2147483647 }, "mock_void":{ "mesdb_1_void": 5000, "mesdb_2_void": 10000, "mesdb_3_void": 15000, "mesdb_4_void": 20000, "mesdb_5_void": 2147483647 } } } }