同步数据
1. 简介
1.1 应用场景
用户在产品中连接了、旺店通数据源等等,当数据发生变化时,怎么同步到最新的数据呢?
本文将以简道云数据源为例,介绍各种同步方式的使用。
1.2 功能简介
若是想要将数据同步更新,可以手动点击同步,也可以进行设置定时同步。
操作 | 说明 |
单表同步/单表定时同步 | 可以同步单表的结构及数据 |
批量同步/批量定时同步 | 可以一次同步多张表的结构及数据 |
同步数据源/定时同步 | 可以同步数据源下所有表的结构及数据 |
获取最新表 | 获取当前数据源的最新数据列表 (比如增加/删除了一张表,可以使用此功能先同步数据列表,再对新增表单表同步,减少同步时间) |
接受简道云实时推送 | 仅简道云数据源可用,可以实现简道云填写的表单数据能够实时对接同步获取最新数据 |
1.3 推荐同步方式
下表中整理了一些常用场景下的推荐同步方式:
场景 | 推荐同步方式 |
|
|
数据源中新增了一张数据表/删除了一张数据表 | 新增数据表: 1)先使用「获取最新表」功能同步新的数据列表; 2)再对这张表「单表同步」 |
删除数据表: 使用「获取最新表」即可同步新的数据列表,已删除的表将不会展示在列表中 |
注 :
1)「同步数据源」会对当前数据源下所有表的结构及数据进行同步,数据量较大的情况下,同步所有数据源表可能会耗费很长时间,建议根据表中的不同场景选择对应的同步方式。
2)「同步数据源」会同步所有数据源表,可能造成某些分析表「随数据源表更新」的自动化任务错误触发。
2. 单表同步
若数据源中单个表数据发生了变化,想要同步新的数据,可以使用单表手动同步/单表定时同步。
2.1 单表手动同步
选择需要同步的数据表,点击右上角的「同步表单」,可以立即同步至最新数据,如下图所示:
2.2 单表定时同步
若单表数据每天定时更新,希望也能定时同步数据,可以对单表设置定时同步。
选择数据表,点击「定时同步」,打开「定时同步」按钮,设置同步开始时间和执行频率,点击「确定」即可按照规则执行定时更新,如下图所示:
3. 多表同步
若数据源中有多个表数据都发生了变化,想要同步新的数据,可以使用批量同步表/批量设置定时同步,就可以一次性同步多表。
3.1 批量手动同步
批量勾选多张表,点击「批量同步表」,可以立即同步至最新数据,如下图所示:
3.2 批量设置定时同步
若多张表数据每天都是定时更新,希望也能定时同步,可以对多张表批量设置定时同步。
勾选数据表,点击「批量设置定时同步」,设置同步开始时间和执行频率,点击「确定」后,这几张数据表都会按照规则执行定时更新,如下图所示:
注:如果之前表已在 2.2 节单表定时同步中进行了设置,批量设置定时同步后,会覆盖原同步条件,替换成新设置的条件。
4. 同步所有表
「同步数据源」会对当前数据源下所有表的结构及数据进行同步,数据量较大的情况下,同步所有数据表可能会耗费很长时间,建议选择单表同步或者多表同步,减少全量同步的等待时间。
4.1 手动同步数据源
如果需要对当前数据源下所有表同步,选择数据源节点,点击「同步数据源」。如下图所示:
4.2 定时同步所有表
选择数据源节点,选择「定时同步」,设置同步开始时间和执行频率,点击「确定」即可按照规则执行定时更新,如下图所示:
注:
1)此「定时同步」会跳过已设置了单表定时同步的表,已有定时同步的表仍按照自己的设置进行同步。
2)上述同步规则仅存在全量定时同步,手动全量同步还是会同步数据源下所有的表,不区分是否设置过单表定时同步。
5. 获取最新表结构
5.1 使用场景
以简道云数据源为例, 如果在简道云中新增了一张表单数据,想要在本产品中获取表单数据。选择同步数据源的话,所有数据表同步有可能会耗费很长时间。
此时我们可以先使用「获取最新表」功能,可以获取当前数据源最新列表。再同步这张新增的表单数据,就不需要同步整个数据源了。
5.2 操作步骤
场景一
在简道云中删除某一张表单数据,使用「获取最新表」功能,本产品中可以同步删除这张数据表。
场景二
1)在简道云中新增一张表单,先使用「获取最新表」功能同步新的数据列表。如下图所示:
2)再对新增的这张数据表进行单表同步,获取数据。如下图所示:
6. 接受简道云实时推送
6.1 操作步骤
「接受简道云实时推送」功能可以将表单数据实时同步到本产品中。
1)首先获取服务器地址和 Secret ,如下图所示:
2)进入简道云编辑表单界面,点击「扩展功能>数据推送>新建数据推送」,如下图所示:
3)将获取到的服务器地址和 Secret 粘贴在此处,并勾选推送事件,如下图所示:
注:在简道云配置数据推送时,需要勾选全部推送事件,才能保证数据的准确性。
4)推送时间说明如下表所示:
推送事件 | 描述 | 备注 |
有新数据提交时推送 | 通过表单提交一条数据时触发 | 增量更新,和单表更新独立,不影响数据源表的同步是否成功的状态 |
有数据被修改时推送 | 修改一条数据的内容时触发,包括流程数据流转、普通表单修改数据、管理员修改数据等 | |
有数据被删除时推送 | 删除一条数据时触发 | |
有数据被恢复时推送 | 恢复一条数据时触发 | |
表单结构有变化时 | 字段变更时触发 | 全量更新,走单表更新的逻辑 |
注:
1)只支持实时同步简道云中通过表单提交的数据,Excel 和 API 上传至简道云的数据不支持触发简道云的 webhook,因此不支持实时同步,可使用手动/定时同步方式;
2)简道云数据第一次发生变化时,会立即同步获取最新数据。若数据在 3 分钟内连续提交,下次同步时间为 3 分钟后。
6.2 收费说明
1)「接受简道云实时推送」功能仅高级版或企业版用户可使用,免费版用户请先升级版本。
2)这里的实时推送数量是指同一个企业下,所有设置过「接受简道云实时推送」的简道云数据连接的数量。
3)如果提示数量超限:
- 请选择关闭一些简道云数据源的实时推送按钮;
- 请管理员购买实时推送数量(这里的数量是以简道云数据连接为单位),购买 1 个数量,即有一个简道云数据连接可设置「接受简道云实时推送」。
7. 同步状态
在数据表名称右侧,会显示数据表的同步状态,帮助用户判断数据表是否同步成功。如下图所示:
8. 同步次数说明
同步数据不再限制时间间隔,但限制每张数据表的同步次数。
8.1 各版本同步次数
不同版本中,每张数据源表每日最多支持同步的次数如下:
免费版 | 高级版 | 企业版 |
2 次 | 5 次 | 30 次 |
8.2 次数扣除规则
设置定时同步、添加数据到项目后的自动同步、手动同步表单(单表同步、批量同步、全量同步)都会消耗次数。
每张数据表会显示当前表剩余同步次数,如果次数使用完了,当天就不能再进行同步了。
9. 同步管理
点击数据连接节点,在右侧「同步管理」中可以启用推送管理。
1)可设置当每次同步结束,或同步状态为失败/部分成功时,可以将相关信息推送到指定邮箱。如下图所示:
2)例如,对「订单列表」进行同步,同步成功后,会收到以下邮件。如下图所示: