MES-ETL/MesETL.App/appsettings.json

{
  "MemoryThreshold": 6,
  "GCIntervalMilliseconds": -1,
  "UnsafeVariable": true,
  "DryRun": true, // 试运行，仅输入每张表的前100000条数据
  "Logging": {
    "LogLevel": {
      "Default": "Trace"
    }
  },
  "Input":{
    "InputDir": "D:\\Data\\DatabaseDump\\Prod_Mock_CSV_2024-12-31", // Csv数据输入目录
    "UseMock": false, // 使用模拟数据进行测试
    "MockCountMultiplier": 1, // 模拟数据量级的乘数
//    "TableOrder": ["order_item"], // 按顺序输入的表
    "TableIgnoreList": [] // 忽略输入的表
  },
  "Transform":{
    "StrictMode": true, // 设为true时如果数据转换发生错误，立刻停止程序
    "EnableFilter": true, // 启用数据过滤
    "EnableReplacer": true, // 启用数据修改
    "EnableReBuilder": true, // 启用数据重建
    "CleanDate": "202401" // 当数据过滤开启时，删除这个时间之前的数据
  },
  "Output":{
    "ConnectionString": "Server=127.0.0.1;Port=3306;UserId=root;Password=123456;", // 要分库，不用加'Database='了
    "MaxAllowedPacket": 67108864, 
    "FlushCount": 10000, // 每次提交记录条数
    "MaxDatabaseOutputTask" : 4, // 每个数据库最大提交任务数
    "TreatJsonAsHex": false, // 使Json列输出时带上"0x"前缀
    "NoOutput": [], // 不输出的表
    "ForUpdate":
    {
    }
  },  
  "RecordQueue":{
    "ProducerQueueLength": 20000, // 输入队列最大长度
    "ConsumerQueueLength": 20000, // 每个输出队列最大长度
    "MaxByteCount": 3221225472 // 队列最大字节数
  },
  "RedisCache": {
    "Configuration": "192.168.1.246:6380",
    "InstanceName" : "mes-etl:" 
  },
  "TenantDb": // 分库配置
  {
    "TenantKey" : "CompanyID",
    "UseDbGroup": "prod",
    "DbGroups": {
      "test": {
        "cferp_test_1": 1000,
        "cferp_test_2": 2000,
        "cferp_test_3": 2147483647
      },
      "prod":{
        "mesdb_1": 5000,
        "mesdb_2": 7500,
        "mesdb_3": 10000,
        "mesdb_4": 15000,
        "mesdb_5": 20000,
        "mesdb_6": 2147483647
      },
      "mock_void":{
        "mesdb_1_void": 5000,
        "mesdb_2_void": 10000,
        "mesdb_3_void": 15000,
        "mesdb_4_void": 20000,
        "mesdb_5_void": 2147483647
      }
    }
  }
}