mz_kettle_job/clq/demand_level5.ktr

<?xml version="1.0" encoding="UTF-8"?>
<transformation>
  <info>
    <name>demand_level5</name>
    <description/>
    <extended_description/>
    <trans_version/>
    <trans_type>Normal</trans_type>
    <trans_status>0</trans_status>
    <directory>/</directory>
    <parameters>
      <parameter>
        <name>input_db_ip</name>
        <default_value>172.17.0.1</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>input_db_port</name>
        <default_value>27017</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>out_db_ip</name>
        <default_value>172.17.0.1</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>out_db_name</name>
        <default_value>ry</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>out_db_port</name>
        <default_value>3306</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>out_db_pwd</name>
        <default_value>sckjadmin</default_value>
        <description/>
      </parameter>
      <parameter>
        <name>out_db_username</name>
        <default_value>root</default_value>
        <description/>
      </parameter>
    </parameters>
    <log>
      <trans-log-table>
        <connection/>
        <schema/>
        <table/>
        <size_limit_lines/>
        <interval/>
        <timeout_days/>
        <field>
          <id>ID_BATCH</id>
          <enabled>Y</enabled>
          <name>ID_BATCH</name>
        </field>
        <field>
          <id>CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>CHANNEL_ID</name>
        </field>
        <field>
          <id>TRANSNAME</id>
          <enabled>Y</enabled>
          <name>TRANSNAME</name>
        </field>
        <field>
          <id>STATUS</id>
          <enabled>Y</enabled>
          <name>STATUS</name>
        </field>
        <field>
          <id>LINES_READ</id>
          <enabled>Y</enabled>
          <name>LINES_READ</name>
          <subject/>
        </field>
        <field>
          <id>LINES_WRITTEN</id>
          <enabled>Y</enabled>
          <name>LINES_WRITTEN</name>
          <subject/>
        </field>
        <field>
          <id>LINES_UPDATED</id>
          <enabled>Y</enabled>
          <name>LINES_UPDATED</name>
          <subject/>
        </field>
        <field>
          <id>LINES_INPUT</id>
          <enabled>Y</enabled>
          <name>LINES_INPUT</name>
          <subject/>
        </field>
        <field>
          <id>LINES_OUTPUT</id>
          <enabled>Y</enabled>
          <name>LINES_OUTPUT</name>
          <subject/>
        </field>
        <field>
          <id>LINES_REJECTED</id>
          <enabled>Y</enabled>
          <name>LINES_REJECTED</name>
          <subject/>
        </field>
        <field>
          <id>ERRORS</id>
          <enabled>Y</enabled>
          <name>ERRORS</name>
        </field>
        <field>
          <id>STARTDATE</id>
          <enabled>Y</enabled>
          <name>STARTDATE</name>
        </field>
        <field>
          <id>ENDDATE</id>
          <enabled>Y</enabled>
          <name>ENDDATE</name>
        </field>
        <field>
          <id>LOGDATE</id>
          <enabled>Y</enabled>
          <name>LOGDATE</name>
        </field>
        <field>
          <id>DEPDATE</id>
          <enabled>Y</enabled>
          <name>DEPDATE</name>
        </field>
        <field>
          <id>REPLAYDATE</id>
          <enabled>Y</enabled>
          <name>REPLAYDATE</name>
        </field>
        <field>
          <id>LOG_FIELD</id>
          <enabled>Y</enabled>
          <name>LOG_FIELD</name>
        </field>
        <field>
          <id>EXECUTING_SERVER</id>
          <enabled>N</enabled>
          <name>EXECUTING_SERVER</name>
        </field>
        <field>
          <id>EXECUTING_USER</id>
          <enabled>N</enabled>
          <name>EXECUTING_USER</name>
        </field>
        <field>
          <id>CLIENT</id>
          <enabled>N</enabled>
          <name>CLIENT</name>
        </field>
      </trans-log-table>
      <perf-log-table>
        <connection/>
        <schema/>
        <table/>
        <interval/>
        <timeout_days/>
        <field>
          <id>ID_BATCH</id>
          <enabled>Y</enabled>
          <name>ID_BATCH</name>
        </field>
        <field>
          <id>SEQ_NR</id>
          <enabled>Y</enabled>
          <name>SEQ_NR</name>
        </field>
        <field>
          <id>LOGDATE</id>
          <enabled>Y</enabled>
          <name>LOGDATE</name>
        </field>
        <field>
          <id>TRANSNAME</id>
          <enabled>Y</enabled>
          <name>TRANSNAME</name>
        </field>
        <field>
          <id>STEPNAME</id>
          <enabled>Y</enabled>
          <name>STEPNAME</name>
        </field>
        <field>
          <id>STEP_COPY</id>
          <enabled>Y</enabled>
          <name>STEP_COPY</name>
        </field>
        <field>
          <id>LINES_READ</id>
          <enabled>Y</enabled>
          <name>LINES_READ</name>
        </field>
        <field>
          <id>LINES_WRITTEN</id>
          <enabled>Y</enabled>
          <name>LINES_WRITTEN</name>
        </field>
        <field>
          <id>LINES_UPDATED</id>
          <enabled>Y</enabled>
          <name>LINES_UPDATED</name>
        </field>
        <field>
          <id>LINES_INPUT</id>
          <enabled>Y</enabled>
          <name>LINES_INPUT</name>
        </field>
        <field>
          <id>LINES_OUTPUT</id>
          <enabled>Y</enabled>
          <name>LINES_OUTPUT</name>
        </field>
        <field>
          <id>LINES_REJECTED</id>
          <enabled>Y</enabled>
          <name>LINES_REJECTED</name>
        </field>
        <field>
          <id>ERRORS</id>
          <enabled>Y</enabled>
          <name>ERRORS</name>
        </field>
        <field>
          <id>INPUT_BUFFER_ROWS</id>
          <enabled>Y</enabled>
          <name>INPUT_BUFFER_ROWS</name>
        </field>
        <field>
          <id>OUTPUT_BUFFER_ROWS</id>
          <enabled>Y</enabled>
          <name>OUTPUT_BUFFER_ROWS</name>
        </field>
      </perf-log-table>
      <channel-log-table>
        <connection/>
        <schema/>
        <table/>
        <timeout_days/>
        <field>
          <id>ID_BATCH</id>
          <enabled>Y</enabled>
          <name>ID_BATCH</name>
        </field>
        <field>
          <id>CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>CHANNEL_ID</name>
        </field>
        <field>
          <id>LOG_DATE</id>
          <enabled>Y</enabled>
          <name>LOG_DATE</name>
        </field>
        <field>
          <id>LOGGING_OBJECT_TYPE</id>
          <enabled>Y</enabled>
          <name>LOGGING_OBJECT_TYPE</name>
        </field>
        <field>
          <id>OBJECT_NAME</id>
          <enabled>Y</enabled>
          <name>OBJECT_NAME</name>
        </field>
        <field>
          <id>OBJECT_COPY</id>
          <enabled>Y</enabled>
          <name>OBJECT_COPY</name>
        </field>
        <field>
          <id>REPOSITORY_DIRECTORY</id>
          <enabled>Y</enabled>
          <name>REPOSITORY_DIRECTORY</name>
        </field>
        <field>
          <id>FILENAME</id>
          <enabled>Y</enabled>
          <name>FILENAME</name>
        </field>
        <field>
          <id>OBJECT_ID</id>
          <enabled>Y</enabled>
          <name>OBJECT_ID</name>
        </field>
        <field>
          <id>OBJECT_REVISION</id>
          <enabled>Y</enabled>
          <name>OBJECT_REVISION</name>
        </field>
        <field>
          <id>PARENT_CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>PARENT_CHANNEL_ID</name>
        </field>
        <field>
          <id>ROOT_CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>ROOT_CHANNEL_ID</name>
        </field>
      </channel-log-table>
      <step-log-table>
        <connection/>
        <schema/>
        <table/>
        <timeout_days/>
        <field>
          <id>ID_BATCH</id>
          <enabled>Y</enabled>
          <name>ID_BATCH</name>
        </field>
        <field>
          <id>CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>CHANNEL_ID</name>
        </field>
        <field>
          <id>LOG_DATE</id>
          <enabled>Y</enabled>
          <name>LOG_DATE</name>
        </field>
        <field>
          <id>TRANSNAME</id>
          <enabled>Y</enabled>
          <name>TRANSNAME</name>
        </field>
        <field>
          <id>STEPNAME</id>
          <enabled>Y</enabled>
          <name>STEPNAME</name>
        </field>
        <field>
          <id>STEP_COPY</id>
          <enabled>Y</enabled>
          <name>STEP_COPY</name>
        </field>
        <field>
          <id>LINES_READ</id>
          <enabled>Y</enabled>
          <name>LINES_READ</name>
        </field>
        <field>
          <id>LINES_WRITTEN</id>
          <enabled>Y</enabled>
          <name>LINES_WRITTEN</name>
        </field>
        <field>
          <id>LINES_UPDATED</id>
          <enabled>Y</enabled>
          <name>LINES_UPDATED</name>
        </field>
        <field>
          <id>LINES_INPUT</id>
          <enabled>Y</enabled>
          <name>LINES_INPUT</name>
        </field>
        <field>
          <id>LINES_OUTPUT</id>
          <enabled>Y</enabled>
          <name>LINES_OUTPUT</name>
        </field>
        <field>
          <id>LINES_REJECTED</id>
          <enabled>Y</enabled>
          <name>LINES_REJECTED</name>
        </field>
        <field>
          <id>ERRORS</id>
          <enabled>Y</enabled>
          <name>ERRORS</name>
        </field>
        <field>
          <id>LOG_FIELD</id>
          <enabled>N</enabled>
          <name>LOG_FIELD</name>
        </field>
      </step-log-table>
      <metrics-log-table>
        <connection/>
        <schema/>
        <table/>
        <timeout_days/>
        <field>
          <id>ID_BATCH</id>
          <enabled>Y</enabled>
          <name>ID_BATCH</name>
        </field>
        <field>
          <id>CHANNEL_ID</id>
          <enabled>Y</enabled>
          <name>CHANNEL_ID</name>
        </field>
        <field>
          <id>LOG_DATE</id>
          <enabled>Y</enabled>
          <name>LOG_DATE</name>
        </field>
        <field>
          <id>METRICS_DATE</id>
          <enabled>Y</enabled>
          <name>METRICS_DATE</name>
        </field>
        <field>
          <id>METRICS_CODE</id>
          <enabled>Y</enabled>
          <name>METRICS_CODE</name>
        </field>
        <field>
          <id>METRICS_DESCRIPTION</id>
          <enabled>Y</enabled>
          <name>METRICS_DESCRIPTION</name>
        </field>
        <field>
          <id>METRICS_SUBJECT</id>
          <enabled>Y</enabled>
          <name>METRICS_SUBJECT</name>
        </field>
        <field>
          <id>METRICS_TYPE</id>
          <enabled>Y</enabled>
          <name>METRICS_TYPE</name>
        </field>
        <field>
          <id>METRICS_VALUE</id>
          <enabled>Y</enabled>
          <name>METRICS_VALUE</name>
        </field>
      </metrics-log-table>
    </log>
    <maxdate>
      <connection/>
      <table/>
      <field/>
      <offset>0.0</offset>
      <maxdiff>0.0</maxdiff>
    </maxdate>
    <size_rowset>10000</size_rowset>
    <sleep_time_empty>50</sleep_time_empty>
    <sleep_time_full>50</sleep_time_full>
    <unique_connections>N</unique_connections>
    <feedback_shown>Y</feedback_shown>
    <feedback_size>50000</feedback_size>
    <using_thread_priorities>Y</using_thread_priorities>
    <shared_objects_file/>
    <capture_step_performance>N</capture_step_performance>
    <step_performance_capturing_delay>1000</step_performance_capturing_delay>
    <step_performance_capturing_size_limit>100</step_performance_capturing_size_limit>
    <dependencies>
    </dependencies>
    <partitionschemas>
    </partitionschemas>
    <slaveservers>
    </slaveservers>
    <clusterschemas>
    </clusterschemas>
    <created_user>-</created_user>
    <created_date>2020/08/06 14:24:09.690</created_date>
    <modified_user>-</modified_user>
    <modified_date>2020/08/06 14:24:09.690</modified_date>
    <key_for_session_key>H4sIAAAAAAAAAAMAAAAAAAAAAAA=</key_for_session_key>
    <is_key_private>N</is_key_private>
  </info>
  <notepads>
  </notepads>
  <connection>
    <name>demandLevel5</name>
    <server>${out_db_ip}</server>
    <type>MYSQL</type>
    <access>Native</access>
    <database>${out_db_name}</database>
    <port>${out_db_port}</port>
    <username>${out_db_username}</username>
    <password>${out_db_pwd}</password>
    <servername/>
    <data_tablespace/>
    <index_tablespace/>
    <attributes>
      <attribute>
        <code>EXTRA_OPTION_MYSQL.characterEncoding</code>
        <attribute>UTF-8</attribute>
      </attribute>
      <attribute>
        <code>EXTRA_OPTION_MYSQL.defaultFetchSize</code>
        <attribute>500</attribute>
      </attribute>
      <attribute>
        <code>EXTRA_OPTION_MYSQL.useCursorFetch</code>
        <attribute>true</attribute>
      </attribute>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_LOWERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>FORCE_IDENTIFIERS_TO_UPPERCASE</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>IS_CLUSTERED</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>PORT_NUMBER</code>
        <attribute>${out_db_port}</attribute>
      </attribute>
      <attribute>
        <code>PRESERVE_RESERVED_WORD_CASE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>QUOTE_ALL_FIELDS</code>
        <attribute>N</attribute>
      </attribute>
      <attribute>
        <code>STREAM_RESULTS</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_BOOLEAN_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>SUPPORTS_TIMESTAMP_DATA_TYPE</code>
        <attribute>Y</attribute>
      </attribute>
      <attribute>
        <code>USE_POOLING</code>
        <attribute>N</attribute>
      </attribute>
    </attributes>
  </connection>
  <order>
    <hop>
      <from>dept_demand 5</from>
      <to>更新 5</to>
      <enabled>Y</enabled>
    </hop>
  </order>
  <step>
    <name>dept_demand 5</name>
    <type>MongoDbInput</type>
    <description/>
    <distribute>Y</distribute>
    <custom_distribution/>
    <copies>1</copies>
    <partitioning>
      <method>none</method>
      <schema_name/>
    </partitioning>
    <hostname>${input_db_ip}</hostname>
    <port>${input_db_port}</port>
    <use_all_replica_members>N</use_all_replica_members>
    <db_name>info_admin</db_name>
    <fields_name/>
    <collection>sys_dept</collection>
    <json_field_name>json</json_field_name>
    <json_query>
      { $match: {"level":'5',code:{$regex:"22"}} },
      { $lookup: { from: 'info', localField: '_id', foreignField: 'dept5', as: 'infos' } },
      { $unwind: { path: '$infos', preserveNullAndEmptyArrays: true } },
	  { $unwind: { path: '$infos.demand', preserveNullAndEmptyArrays: true } },
      { $unwind: { path: '$infos.status', preserveNullAndEmptyArrays: true } },
      { $match: { 'infos.status': '3' } },
      { $group:
          { _id: '$_id',
            demand_life: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '生活照料' ] }, 1, 0 ],
			                      } },
			demand_production: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '生产帮助' ] }, 1, 0 ],
			                      } },
			demand_spiritual: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '精神慰籍' ] }, 1, 0 ],
			                      } },
			demand_medical: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '医疗保健' ] }, 1, 0 ],
			                      } },
			demand_protection: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '权益维护' ] }, 1, 0 ],
			                      } },
			demand_safety: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '安全监护' ] }, 1, 0 ],
			                      } },
			demand_cultural: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '文化娱乐' ] }, 1, 0 ],
			                      } },
			demand_emergency: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '紧急救助' ] }, 1, 0 ],
			                      } },
			demand_other: { $sum: {
			                        $cond: [{ $eq: [ '$infos.demand', '其它' ] }, 1, 0 ],
			                      } },

          },
      },
      { $sort: { order: 1 } },
</json_query>
    <auth_database/>
    <auth_user/>
    <auth_password>Encrypted </auth_password>
    <auth_mech/>
    <auth_kerberos>N</auth_kerberos>
    <connect_timeout/>
    <socket_timeout/>
    <use_ssl_socket_factory>N</use_ssl_socket_factory>
    <read_preference>primary</read_preference>
    <output_json>N</output_json>
    <query_is_pipeline>Y</query_is_pipeline>
    <execute_for_each_row>N</execute_for_each_row>
    <mongo_fields>
      <mongo_field>
        <field_name>_id</field_name>
        <field_path>$._id</field_path>
        <field_type>String</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_medical</field_name>
        <field_path>$.demand_medical</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_protection</field_name>
        <field_path>$.demand_protection</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_life</field_name>
        <field_path>$.demand_life</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_production</field_name>
        <field_path>$.demand_production</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_emergency</field_name>
        <field_path>$.demand_emergency</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_spiritual</field_name>
        <field_path>$.demand_spiritual</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_cultural</field_name>
        <field_path>$.demand_cultural</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_safety</field_name>
        <field_path>$.demand_safety</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
      <mongo_field>
        <field_name>demand_other</field_name>
        <field_path>$.demand_other</field_path>
        <field_type>Integer</field_type>
      </mongo_field>
    </mongo_fields>
    <attributes/>
    <cluster_schema/>
    <remotesteps>
      <input>
      </input>
      <output>
      </output>
    </remotesteps>
    <GUI>
      <xloc>612</xloc>
      <yloc>290</yloc>
      <draw>Y</draw>
    </GUI>
  </step>
  <step>
    <name>更新 5</name>
    <type>Update</type>
    <description/>
    <distribute>Y</distribute>
    <custom_distribution/>
    <copies>1</copies>
    <partitioning>
      <method>none</method>
      <schema_name/>
    </partitioning>
    <connection>demandLevel5</connection>
    <skip_lookup>N</skip_lookup>
    <commit>100</commit>
    <use_batch>N</use_batch>
    <error_ignored>N</error_ignored>
    <ignore_flag_field/>
    <lookup>
      <schema>ry</schema>
      <table>dept</table>
      <key>
        <name>_id</name>
        <field>dept_id</field>
        <condition>=</condition>
        <name2/>
      </key>
      <value>
        <name>demand_medical</name>
        <rename>demand_medical</rename>
      </value>
      <value>
        <name>demand_protection</name>
        <rename>demand_protection</rename>
      </value>
      <value>
        <name>demand_life</name>
        <rename>demand_life</rename>
      </value>
      <value>
        <name>demand_production</name>
        <rename>demand_production</rename>
      </value>
      <value>
        <name>demand_emergency</name>
        <rename>demand_emergency</rename>
      </value>
      <value>
        <name>demand_spiritual</name>
        <rename>demand_spiritual</rename>
      </value>
      <value>
        <name>demand_cultural</name>
        <rename>demand_cultural</rename>
      </value>
      <value>
        <name>demand_safety</name>
        <rename>demand_safety</rename>
      </value>
      <value>
        <name>demand_other</name>
        <rename>demand_other</rename>
      </value>
    </lookup>
    <attributes/>
    <cluster_schema/>
    <remotesteps>
      <input>
      </input>
      <output>
      </output>
    </remotesteps>
    <GUI>
      <xloc>868</xloc>
      <yloc>290</yloc>
      <draw>Y</draw>
    </GUI>
  </step>
  <step_error_handling>
  </step_error_handling>
  <slave-step-copy-partition-distribution>
  </slave-step-copy-partition-distribution>
  <slave_transformation>N</slave_transformation>
  <attributes/>
</transformation>