数据管理 ========== 数据管理是 Coovally 平台处理和管理数据集的页面。提供了一系列功能，包括: \ **数据版本管理**\ 、\ **标签管理**\ 、\ **数据权限**\ 、\ **数据合并**\ 、\ **数据下载**\ 、\ **数据预览**\ 等。 数据版本管理 -------------- Coovally 平台支持用户基于已创建的数据集，选择增强算法，生成多个数据集版本。该功能可以解决用户数据集图片数量不足或质量不够好的问题。数据集版本管理包括: \ **新增版本**\ 、\ **版本编辑**\ 、\ **版本删除**\ 。 新增版本 ~~~~~~~~~~ 新增版本的步骤如下: * Step1：数据管理页点击某数据集进入数据集详情页； * Step2：数据集详情页点击新增版本按钮，页面跳转到新增版本页； .. image:: ../../img/coovally/datasetversion_1.png * Step3：新增版本页包括五个步骤：选择数据集标签、设置拆分比例、选择增强方法并设置处理方式、设置是否融合原图； .. image:: ../../img/coovally/datasetversion_2.png * Step4：Step3完成后，点击开始生成按钮完成新版本的生成。 **注意** - 串行处理：输入一幅图像，输出一幅图像，即根据所选方法对图像依次进行处理； - 并行处理：输入一幅图像，输出多幅图像，即根据所选方法对图像分别进行处理； - 融合原图： 是：新生成的数据集版本中包含处理后的图片和原图； 否：新生成的数据集版本中仅包含处理后的图片，不包含原图； - 系统仅会对数据集拆分后的训练集进行处理，不会对测试集和验证集进行处理； - 选择增强方法时，系统支持点击增强方法设置增强参数，并实时预览增强效果图。 **增强方法** .. list-table:: 数据增强方法 :header-rows: 1 :widths: 25 25 25 25 * - 增强 - 变换 - 增强 - 模糊变换 - 增强 - 几何变换 - 增强 - 裁剪变换 * - Clahe - 模糊 - 调整大小 - 裁剪 * - 通道打乱 - 高斯模糊 - 随机缩放 - 中心裁剪 * - 色彩抖动 - 玻璃模糊 - SmallestMaxSize - 随机裁剪 * - 降质 - 中值模糊 - LongestMaxSize - 随机裁剪缩放 * - 浮雕 - 运动模糊 - 边界填充 - 随机宽高比裁剪 * - 直方图均衡化 - - - 透视变换 - 随机裁剪缩放BBOX * - FancyPCA - - - 仿射变换 - - * - 高斯噪声 - - - 转置 - - * - HueSaturationValue - - - - - - * - 图像压缩 - - - - - - * - 传感器噪声 - - - - - - * - 乘性噪声 - - - - - - * - 色调分层 - - - - - - * - 随机亮度 - - - - - - * - 随机亮度对比度 - - - - - - * - 雾效果 - - - - - - * - 下雨效果 - - - - - - * - 阴影效果 - - - - - - * - Gamma变换 - - - - - - * - 随机改变色调 - - - - - - * - RGB平移 - - - - - - * - 锐化 - - - - - - * - 大于阈值反转 - - - - - - * - 超像素 - - - - - - * - 灰度变换 - - - - - - * - 滤镜变换 - - - - - - * - 模糊 - - - - - - * - 高斯模糊 - - - - - - * - 玻璃模糊 - - - - - - * - 中值模糊 - - - - - - * - 运动模糊 - - - - - - 版本编辑 ~~~~~~~~~~ 新版本创建之后，可对版本信息进行编辑操作。具体步骤如下: * Step1：进入数据集详情页。点击选中某版本后，点击操作 - 编辑版本按钮，打开版本编辑弹窗； .. image:: ../../img/coovally//datasetversion_4.png * Step2：输入版本名称或版本描述，并点击确定按钮完成编辑。 .. image:: ../../img/coovally//datasetversion_5.png 版本删除 ~~~~~~~~~~ 新版本创建之后，可对版本信息进行删除操作。 进入数据集详情页。点击选中某版本后，点击操作 - 删除按钮，并二次确认删除。 .. image:: ../../img/coovally//datasetversion_6.png **注意**\ : - 系统仅支持用户基于原始版本新建版本（原始版本：创建数据集时生成的第一个版本）。 - 系统不允许用户删除原始版本且当原始版本下无可用标签时，用户无法基于原始版本新增版本。 **标签管理** -------------- Coovally 平台除了支持用户创建、删除或批量删除数据集标签，还支持用户进行\ **标签转换**\ 、\ **标签复制**\ 、\ **标签预览**\ 、\ **数据分布分析**\ 等功能。 标签类型 ~~~~~~~~~~ 平台支持 VOC、COCO、YOLO、imagenet、icdar2015、ocrdataset 这6种标签类型。表格为不同任务类型支持的标签类型。 .. list-table:: 任务类型与标签类型对应关系 :header-rows: 1 :widths: 30 70 * - 任务类型 - 标签类型 * - 目标检测 - VOC、COCO、YOLO * - 图像分类 - imagenet * - 语义分割 - COCO * - 实例分割 - COCO * - 文字检测 - icdar2015 * - 文字识别 - ocrdataset 标签复制 ~~~~~~~~~~ Coovally 平台支持对标签列表的复制，在保留原有数据集标签基础上进行修改或者删除。 * Step1：进入数据集详情页，在标签列表的操作栏中，点击更多下的复制标签按钮； .. image:: ../../img/coovally/datasetlabel_copy1.png * Step2：填写标签名称、图像拆分比例和标签描述 .. image:: ../../img/coovally/datasetlabel_copy2.png 标签预览 ~~~~~~~~~~ Coovally 平台支持对标签列表预览，可以查看训练集、验证集和测试集这3个数据集的具体信息，包含: 图片信息、标签信息、任务类型信息等。 .. image:: ../../img/coovally/datasetlabel_copy3.png 标签转换 ~~~~~~~~~~ Coovally 平台支持 VOC 与 COCO互转，VOC 与 YOLO互转， COCO 与YOLO 互转。用户可通过标签转换生成其他格式的标签。具体步骤如下: * Step1：进入数据集详情页，在标签列表的操作栏中，点击更多下的标签转换按钮； .. image:: ../../img/coovally/datasetlabel_convert1.png - Step2：选择转换的标签类型，同时可选择修改标签类别，如：删除无用标注、重命名标签名称； - Step3：设置完成后，点击确定完成转换，如下图所示。 参数说明： * 1、转换标签类型：自定义选择； * 2、修改类别：勾选-转换生成的标签包含此类标签类别；不勾选-转换生成的标签不包含此类标签类别； * 3、覆盖：与修改类别下的标签一一对应。例如：用C代替原来的cat，原先cat类别的标签现在全都是C； .. image:: ../../img/coovally//datasetlabel_convert2.png **标签转换示例** 某数据集有四类标签：tiger，pig，cat，dog。 - 保留所有标签且重命名tiger标签为T，pig标签为P。输入如下： .. image:: ../../img/coovally//datasetlabel_convert3.png - 转换生成的标签中仅包含pig，tigher标签类，忽略cat，dog。输入如下: .. image:: ../../img/coovally//datasetlabel_convert4.png **新增数据** -------------- Coovally 平台支持用户向已创建的数据集中新增数据。新增数据包括两种方式：\ **本地上传数据新增**\ 、\ **辅助标注发布数据集新增**\ 。 本地上传数据新增 ~~~~~~~~~~~~~~~~~~~ 本地上传数据新增，具体步骤如下: - Step1：进入数据集详情页，点击选中数据集初始版本，点击新增数据按钮后，在新增数据弹窗中，选择标签、设置拆分比例、输入描述参数，点击确定完成创建； .. image:: ../../img/coovally//datasetversion_7.png - Step2：等待数据解析完成后，点击标签操作栏中的，更多 - 历史记录，可查看新增结果，如下图所示； .. image:: ../../img/coovally//datasetversion_8.png .. image:: ../../img/coovally//datasetversion_9.png 辅助标注发布新增 ~~~~~~~~~~~~~~~~~~~ 辅助标注发布新增包含两个入口，即从样本集列表发布新增和从单个标注任务发布新增。 从样本集列表发布 ~~~~~~~~~~~~~~~~~~~ 从样本集列表发布新增的步骤如下: - Step1：进入样本集管理页，勾选单个或多个样本集并单击发布按钮。 - Step2：在发布弹窗中，选择更新至原有数据集时，选择任务类型、数据集名称以及数据集对应的标签。 - Step3：设置完成后，点击确定完成发布，如下图所示。 .. image:: ../../img/coovally//dataset_add1.png 从单个标注任务发布 ~~~~~~~~~~~~~~~~~~~ 从单个标注任务发布数据集的步骤如下: - Step1：进入样本集详情页，勾选处于已完成状态的标注任务，点击发布按钮，打开发布弹窗。 - Step2：在发布弹窗中，选择更新至原有数据集时，需要选择任务类型、数据集名称以及数据集对应的标签。 - Step3：设置完成后，点击确定完成发布，如下图所示。 .. image:: ../../img/coovally//dataset_add2.png **注意:** - 本地上传数据新增：仅支持用户对数据集初始版本新增数据；辅助标注发布新增: 支持用户向任何已解析成功的数据集版本中新增数据； - 新增数据中若部分图片和数据集中已有图片重复，会导致新增数据失败； - 目前系统仅支持向目标检测、实例分割任务类型的数据集中新增数据。 数据权限 ---------- 点击侧边导航栏数据按钮，页面将跳转到数据集管理页面。数据集管理页包含我的数据，样例数据和分享数据三个tab页，方便用户分类查看、管理、使用数据集。Coovally 平台对数据集和数据集标签的使用，设置了相应的权限。如下表所示。 数据集 ~~~~~~~~ .. list-table:: 数据集权限对照表 :header-rows: 1 :widths: 15 15 15 15 15 15 10 * - 数据集类别 - 数据建模 - 数据合并 - 数据集分享 - 数据集删除 - 数据集标签 - 数据集版本 * - 我的数据 - √ - √ - √ - √ - 管理 - 管理 * - 样例数据 - √ - X - X - √ - 预览 - 预览 * - 分享数据（可编辑） - √ - X - X - X - √ - √ * - 分享数据（可查看） - X - X - X - X - X - √ 数据集标签 ~~~~~~~~~~~~ .. list-table:: 数据集标签权限对照表 :header-rows: 1 :widths: 12 16 12 14 12 12 12 12 * - 权限类别 - 新建/编辑/删除 - 标签转换 - 数据分布分析 - 标签预览 - 复制标签 - 新增数据 - 标签下载 * - 预览 - X - X - √ - √ - X - X - X * - 管理 - √ - √ - √ - √ - √ - √ - √ 数据合并 ---------- Coovally 平台支持用户对多个同类型数据集进行合并，生成一个新的数据集。具体步骤如下: - Step1：点击侧边导航栏数据按钮，进入数据管理页 - 我的数据，勾选多个同任务类型数据集，点击合并按钮，打开数据集合并弹窗； .. image:: ../../img/coovally//dataset_merge1.png - Step2：设置合并生成数据集的名称、图片格式、标签格式，点击合并按钮，完成合并。 .. image:: ../../img/coovally/dataset_merge2.png **注意** - 当待合并数据集中图片重复时，系统仅保留一份标签数据； - 支持用户合并至少2个至多5个数据集； - 系统仅支持同任务类型的数据集合并。 数据下载 ---------- Coovally 平台支持用户下载数据和标签。具体步骤如下: - Step1：进入数据集详情页，点击标签列表操作栏中，更多 - 下载按钮； .. image:: ../../img/coovally/dataset_download1.png - Step2：打开下载弹出框，选择仅下载标签或下载图片和标签，点击确定，等待系统下载。 .. image:: ../../img/coovally/dataset_download2.png