数据管理
Contents
数据管理#
数据管理是 Coovally 平台处理和管理数据集的页面。提供了一系列功能，包括: 数据版本管理、标签管理、数据权限、数据合并、数据下载、数据预览等。
数据版本管理#
Coovally 平台支持用户基于已创建的数据集，选择增强算法，生成多个数据集版本。该功能可以解决用户数据集图片数量不足或质量不够好的问题。数据集版本管理包括: 新增版本、版本编辑、版本删除。
新增版本#
新增版本的步骤如下:
Step1：数据管理页点击某数据集进入数据集详情页；
Step2：数据集详情页点击新增版本按钮，页面跳转到新增版本页；
Step3：新增版本页包括五个步骤：选择数据集标签、设置拆分比例、选择增强方法并设置处理方式、设置是否融合原图；
Step4：Step3完成后，点击开始生成按钮完成新版本的生成。
注意
串行处理：输入一幅图像，输出一幅图像，即根据所选方法对图像依次进行处理；
并行处理：输入一幅图像，输出多幅图像，即根据所选方法对图像分别进行处理；
融合原图：
是：新生成的数据集版本中包含处理后的图片和原图；
否：新生成的数据集版本中仅包含处理后的图片，不包含原图；
系统仅会对数据集拆分后的训练集进行处理，不会对测试集和验证集进行处理；
选择增强方法时，系统支持点击增强方法设置增强参数，并实时预览增强效果图。
增强方法
增强 - 变换 |
增强 - 模糊变换 |
增强 - 几何变换 |
增强 - 裁剪变换 |
|---|---|---|---|
Clahe |
模糊 |
调整大小 |
裁剪 |
通道打乱 |
高斯模糊 |
随机缩放 |
中心裁剪 |
色彩抖动 |
玻璃模糊 |
SmallestMaxSize |
随机裁剪 |
降质 |
中值模糊 |
LongestMaxSize |
随机裁剪缩放 |
浮雕 |
运动模糊 |
边界填充 |
随机宽高比裁剪 |
直方图均衡化 |
透视变换 |
随机裁剪缩放BBOX |
|
FancyPCA |
仿射变换 |
||
高斯噪声 |
转置 |
||
HueSaturationValue |
|||
图像压缩 |
|||
传感器噪声 |
|||
乘性噪声 |
|||
色调分层 |
|||
随机亮度 |
|||
随机亮度对比度 |
|||
雾效果 |
|||
下雨效果 |
|||
阴影效果 |
|||
Gamma变换 |
|||
随机改变色调 |
|||
RGB平移 |
|||
锐化 |
|||
大于阈值反转 |
|||
超像素 |
|||
灰度变换 |
|||
滤镜变换 |
|||
模糊 |
|||
高斯模糊 |
|||
玻璃模糊 |
|||
中值模糊 |
|||
运动模糊 |
版本编辑#
新版本创建之后，可对版本信息进行编辑操作。具体步骤如下:
Step1：进入数据集详情页。点击选中某版本后，点击操作 - 编辑版本按钮，打开版本编辑弹窗；
Step2：输入版本名称或版本描述，并点击确定按钮完成编辑。
版本删除#
新版本创建之后，可对版本信息进行删除操作。
进入数据集详情页。点击选中某版本后，点击操作 - 删除按钮，并二次确认删除。
注意:
系统仅支持用户基于原始版本新建版本（原始版本：创建数据集时生成的第一个版本）。
系统不允许用户删除原始版本且当原始版本下无可用标签时，用户无法基于原始版本新增版本。
标签管理#
Coovally 平台除了支持用户创建、删除或批量删除数据集标签，还支持用户进行标签转换、标签复制、标签预览、数据分布分析等功能。
标签类型#
平台支持 VOC、COCO、YOLO、imagenet、icdar2015、ocrdataset 这6种标签类型。表格为不同任务类型支持的标签类型。
任务类型 |
标签类型 |
|---|---|
目标检测 |
VOC、COCO、YOLO |
图像分类 |
imagenet |
语义分割 |
COCO |
实例分割 |
COCO |
文字检测 |
icdar2015 |
文字识别 |
ocrdataset |
标签复制#
Coovally 平台支持对标签列表的复制，在保留原有数据集标签基础上进行修改或者删除。
Step1：进入数据集详情页，在标签列表的操作栏中，点击更多下的复制标签按钮；
Step2：填写标签名称、图像拆分比例和标签描述
标签预览#
Coovally 平台支持对标签列表预览，可以查看训练集、验证集和测试集这3个数据集的具体信息，包含: 图片信息、标签信息、任务类型信息等。
标签转换#
Coovally 平台支持 VOC 与 COCO互转，VOC 与 YOLO互转， COCO 与YOLO 互转。用户可通过标签转换生成其他格式的标签。具体步骤如下:
Step1：进入数据集详情页，在标签列表的操作栏中，点击更多下的标签转换按钮；
Step2：选择转换的标签类型，同时可选择修改标签类别，如：删除无用标注、重命名标签名称；
Step3：设置完成后，点击确定完成转换，如下图所示。
参数说明：
1、转换标签类型：自定义选择；
2、修改类别：勾选-转换生成的标签包含此类标签类别；不勾选-转换生成的标签不包含此类标签类别；
3、覆盖：与修改类别下的标签一一对应。例如：用C代替原来的cat，原先cat类别的标签现在全都是C；
标签转换示例
某数据集有四类标签：tiger，pig，cat，dog。
保留所有标签且重命名tiger标签为T，pig标签为P。输入如下：
转换生成的标签中仅包含pig，tigher标签类，忽略cat，dog。输入如下:
新增数据#
Coovally 平台支持用户向已创建的数据集中新增数据。新增数据包括两种方式：本地上传数据新增、辅助标注发布数据集新增。
本地上传数据新增#
本地上传数据新增，具体步骤如下:
Step1：进入数据集详情页，点击选中数据集初始版本，点击新增数据按钮后，在新增数据弹窗中，选择标签、设置拆分比例、输入描述参数，点击确定完成创建；
Step2：等待数据解析完成后，点击标签操作栏中的，更多 - 历史记录，可查看新增结果，如下图所示；
辅助标注发布新增#
辅助标注发布新增包含两个入口，即从样本集列表发布新增和从单个标注任务发布新增。
从样本集列表发布#
从样本集列表发布新增的步骤如下:
Step1：进入样本集管理页，勾选单个或多个样本集并单击发布按钮。
Step2：在发布弹窗中，选择更新至原有数据集时，选择任务类型、数据集名称以及数据集对应的标签。
Step3：设置完成后，点击确定完成发布，如下图所示。
从单个标注任务发布#
从单个标注任务发布数据集的步骤如下:
Step1：进入样本集详情页，勾选处于已完成状态的标注任务，点击发布按钮，打开发布弹窗。
Step2：在发布弹窗中，选择更新至原有数据集时，需要选择任务类型、数据集名称以及数据集对应的标签。
Step3：设置完成后，点击确定完成发布，如下图所示。
注意:
本地上传数据新增：仅支持用户对数据集初始版本新增数据；辅助标注发布新增: 支持用户向任何已解析成功的数据集版本中新增数据；
新增数据中若部分图片和数据集中已有图片重复，会导致新增数据失败；
目前系统仅支持向目标检测、实例分割任务类型的数据集中新增数据。
数据权限#
点击侧边导航栏数据按钮，页面将跳转到数据集管理页面。数据集管理页包含我的数据，样例数据和分享数据三个tab页，方便用户分类查看、管理、使用数据集。Coovally 平台对数据集和数据集标签的使用，设置了相应的权限。如下表所示。
数据集#
数据集类别 |
数据建模 |
数据合并 |
数据集分享 |
数据集删除 |
数据集标签 |
数据集版本 |
|---|---|---|---|---|---|---|
我的数据 |
√ |
√ |
√ |
√ |
管理 |
管理 |
样例数据 |
√ |
X |
X |
√ |
预览 |
预览 |
分享数据（可编辑） |
√ |
X |
X |
X |
√ |
√ |
分享数据（可查看） |
X |
X |
X |
X |
X |
√ |
数据集标签#
权限类别 |
新建/编辑/删除 |
标签转换 |
数据分布分析 |
标签预览 |
复制标签 |
新增数据 |
标签下载 |
|---|---|---|---|---|---|---|---|
预览 |
X |
X |
√ |
√ |
X |
X |
X |
管理 |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
数据合并#
Coovally 平台支持用户对多个同类型数据集进行合并，生成一个新的数据集。具体步骤如下:
Step1：点击侧边导航栏数据按钮，进入数据管理页 - 我的数据，勾选多个同任务类型数据集，点击合并按钮，打开数据集合并弹窗；
Step2：设置合并生成数据集的名称、图片格式、标签格式，点击合并按钮，完成合并。
注意
当待合并数据集中图片重复时，系统仅保留一份标签数据；
支持用户合并至少2个至多5个数据集；
系统仅支持同任务类型的数据集合并。
数据下载#
Coovally 平台支持用户下载数据和标签。具体步骤如下:
Step1：进入数据集详情页，点击标签列表操作栏中，更多 - 下载按钮；
Step2：打开下载弹出框，选择仅下载标签或下载图片和标签，点击确定，等待系统下载。
