73 lines
2.2 KiB
JSON
73 lines
2.2 KiB
JSON
{
|
||
"MemoryThreshold": 6,
|
||
"GCIntervalMilliseconds": -1,
|
||
"UnsafeVariable": true,
|
||
"DryRun": true, // 试运行，仅输入每张表的前100000条数据
|
||
"Logging": {
|
||
"LogLevel": {
|
||
"Default": "Trace"
|
||
}
|
||
},
|
||
"Input":{
|
||
"InputDir": "D:\\Data\\DatabaseDump\\Prod_Mock_CSV_2024-12-31", // Csv数据输入目录
|
||
"UseMock": false, // 使用模拟数据进行测试
|
||
"MockCountMultiplier": 1, // 模拟数据量级的乘数
|
||
// "TableOrder": ["order_item"], // 按顺序输入的表
|
||
"TableIgnoreList": [] // 忽略输入的表
|
||
},
|
||
"Transform":{
|
||
"StrictMode": true, // 设为true时如果数据转换发生错误，立刻停止程序
|
||
"EnableFilter": true, // 启用数据过滤
|
||
"EnableReplacer": true, // 启用数据修改
|
||
"EnableReBuilder": true, // 启用数据重建
|
||
"CleanDate": "202401" // 当数据过滤开启时，删除这个时间之前的数据
|
||
},
|
||
"Output":{
|
||
"ConnectionString": "Server=127.0.0.1;Port=3306;UserId=root;Password=123456;", // 要分库，不用加'Database='了
|
||
"MaxAllowedPacket": 67108864,
|
||
"FlushCount": 10000, // 每次提交记录条数
|
||
"MaxDatabaseOutputTask" : 4, // 每个数据库最大提交任务数
|
||
"TreatJsonAsHex": false, // 使Json列输出时带上"0x"前缀
|
||
"NoOutput": [], // 不输出的表
|
||
"ForUpdate":
|
||
{
|
||
}
|
||
},
|
||
"RecordQueue":{
|
||
"ProducerQueueLength": 20000, // 输入队列最大长度
|
||
"ConsumerQueueLength": 20000, // 每个输出队列最大长度
|
||
"MaxByteCount": 3221225472 // 队列最大字节数
|
||
},
|
||
"RedisCache": {
|
||
"Configuration": "192.168.1.246:6380",
|
||
"InstanceName" : "mes-etl:"
|
||
},
|
||
"TenantDb": // 分库配置
|
||
{
|
||
"TenantKey" : "CompanyID",
|
||
"UseDbGroup": "prod",
|
||
"DbGroups": {
|
||
"test": {
|
||
"cferp_test_1": 1000,
|
||
"cferp_test_2": 2000,
|
||
"cferp_test_3": 2147483647
|
||
},
|
||
"prod":{
|
||
"mesdb_1": 5000,
|
||
"mesdb_2": 7500,
|
||
"mesdb_3": 10000,
|
||
"mesdb_4": 15000,
|
||
"mesdb_5": 20000,
|
||
"mesdb_6": 2147483647
|
||
},
|
||
"mock_void":{
|
||
"mesdb_1_void": 5000,
|
||
"mesdb_2_void": 10000,
|
||
"mesdb_3_void": 15000,
|
||
"mesdb_4_void": 20000,
|
||
"mesdb_5_void": 2147483647
|
||
}
|
||
}
|
||
}
|
||
}
|