第三届海洋目标智能感知国际挑战赛(2022年度)
大赛规则
一、竞赛任务概述
本次大赛包含两个赛道,分别是:(1)遥感SAR图像舰船目标检测赛道;(2)遥感可见光图像海上目标实例分割赛道。参赛队伍可以选择参加任意赛道,也可以两者同时参加。
赛道1:遥感SAR图像舰船目标检测
该赛道所使用的图像类型为合成孔径雷达(Synthetic Aperture Radar,SAR)图像。赛道任务为定位SAR图像中每个舰船目标的位置,并给出每个目标的边界框表示以及分类置信度。
赛道2:遥感可见光图像海洋目标实例分割
该赛道所使用的图像类型为遥感可见光图像。赛道任务为针对遥感图像中的每个像素确定其所属类别(如:民船、海上平台等),并在区分每个类别的同时,为同一类型对象中的每个实例提供不同的标签,从而对特定类别的不同个体进行分割和检测,并对边界进行精细标记。
大赛赛程分为两个阶段:初赛和决赛。
初赛阶段:竞赛官方提供各赛道的训练集和初赛测试集,参赛队伍需要根据任务要求和训练数据进行算法设计和训练,并针对初赛测试集提交测试结果。竞赛官方进行评测并返回结果。
决赛阶段:竞赛官方提供初赛测试集的标签,参赛队伍需向竞赛官方提交测试代码,决赛阶段采用盲测形式,具体比赛细则见(三、比赛规则)。
本次大赛考核指标包括:平均精度均值mAP(mean Average Precision)、实时性能(Real-Time Performance)以及答辩环节得分。
二、竞赛数据集
遥感SAR图像舰船目标检测赛道:图像数据来源于HRSID[1]、RSDD-SAR[2]、 AIR-SARShip-2.0[3]以及SRSDD[4]等公开SAR目标检测数据集,竞赛方提供修订后的旋转框标注文件。数据集仅包含单类舰船目标,示例图像与目标标注如下图所示:
遥感可见光图像海上目标实例分割赛道:图像数据来源于卫星采集的可见光图像。数据集包含多类海上目标,如:民船、海上平台等。示例图像和目标标注如下图所示:
三、竞赛规则
(一)初赛细则
1) 初赛时间:
2022年10月29日至2022年11月15日。
2) 初赛任务:
参赛队伍需针对所参加赛道的任务要求和数据进行算法设计与训练,并针对官方提供的初赛测试集进行测试并将测试结果提交至大赛官网。网站将根据参赛队伍的检测结果分数进行实时排名(A榜)。每个参赛队伍每日最多提交2次,可根据排名反馈,不断优化算法设计及参数设置。最终A榜前5名进入决赛,并将训练及检测代码、训练后的模型参数、运行环境与运行说明等文件打包,提交给竞赛官方。竞赛官方对参赛队伍的代码进行相应测试,以确保无违规作弊行为,若发现有队伍存在违规作弊行为或无法复现结果,该队伍决赛资格取消,决赛名额依据A榜成绩顺延。
3) 成绩评测方法:
大赛使用平均精度均值 (mean Average Precision,mAP)作为评价指标,具体使用如下:采用不同交并比 (Intersection over Union,IoU)阈值条件(如取值在0.50到0.95,间隔为0.05的10个阈值)下计算得到的mAP。(具体可参考COCO挑战赛的评价标准https://cocodataset.org/#detection-eval)
在公开测试集上的竞赛成绩即为初赛总成绩,总成绩为公开测试集mAP值。
4) 作品提交方式:
参赛团队将结果以指定文件格式上传竞赛组织方。
a) 舰船目标检测结果格式:
txt文件格式如下,包含目标边界框从左上角开始的顺时针标注点坐标,目标类别以及目标类别分数,并用空格分开。如下图所示:
每一张测试图像对应一个结果文件,结果文件名与图像名相同。全部txt文件打包成zip文件后上传至官网。结果txt文件参考样例可从智能船舶官方网站下载(https://www.smartship.cn/)。
b) 海洋目标实例分割结果格式:
JSON文件格式如下,包含图像序号,目标类别序号,目标分割结果以及目标类别得分。其中目标分割结果包括图像的宽度和高度,以及RLE格式的分割区域。
c) 结果和模型的提交形式
参加团队除了提交对公开测试集的检测结果文件外,还需提交符合指定接口格式的算法模型,该模型可以生成所需格式的检测结果文件,供系统对检测结果的真实性复核。
(二)决赛细则
1) 决赛时间:
2022年11月18日至2022年12月10日。
2) 决赛任务:
参赛队伍继续使用初赛训练集和测试集进行本地训练和验证。决赛采用盲测形式进行算法测试。参赛队伍需要提交打包好的模型Docker镜像,其中包含训练和测试的完整代码,用于复现,并能在合理的时间内输出检测结果。
3) 成绩评测方法:
决赛采用的性能评价指标与初赛一致。同时,参赛队伍需要提交答辩视频以及技术报告。视频主要介绍团队所使用的模型以及所用策略的整体流程以及创新点,视频时长在10分钟以内,分辨率为1280×720,帧率在20fps以上。技术报告中需阐明竞赛中模型方法的原理,在现有前沿工作上的创新点、实时性能以及如何根据训练过程中的结果对算法(模型)的参数进行调整等实验细节。答辩专家根据参赛队伍报告以及视频讲解情况进行评分(百分制),多个评分取平均值,取值在0到100。
决赛阶段最终得分为:80%ד盲测数据集mAP值”+20%ד答辩视频及技术报告得分”。
四、其他注意事项
1. 系统运行环境仅为Linux,支持pytorch或tensorflow深度学习框架。
· 参赛队伍请提供可以在合理时间内正常运行的程序。无论何种代码请给出相应的说明文档和可以正常运行的代码源码。
· 如果包含自定义Layer,请务必提供源代码或封装好的动态链接库,并说明依赖库等信息。
· 本竞赛仅可使用比赛主办方提供的数据,不得使用其他公开数据或私有数据进行训练,同时只能使用公开的ImageNet或COCO预训练权重。各参赛队伍必须在提交文档中说明所使用的预训练权重来源及下载地址。本竞赛不允许使用模型集成策略。
2. 知识产权归属
参赛团队提交算法及可执行模型的知识产权归参赛团队所有,竞赛提交的视频以及报告由哈尔滨工程大学所有;SAR图像数据由所属公开数据集[1]-[4]发布单位所有;遥感可见光海上目标实例分割数据集由航天恒星科技有限公司(503所)所有。
· 各参赛队在赛前需签订数据使用协议,承诺本竞赛提供的数据集仅能用于本竞赛,不用于除本竞赛外的其他任何用途。
· 各参赛队需要承诺本队提交的结果可重复,组织方承诺履行保密义务,并不用于除本比赛外的任何其他用途。
· 参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。
3. 若发现有队伍存在违规作弊行为,决赛及获奖名额排名顺延。违规作弊行为包括但不限于:
· 模型代码与文档描述不符
· 提交代码无法复现出评测结果
· 使用额外数据
参考文献:
[1] Wei S, Zeng X, Qu Q, et al. HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation[J]. Ieee Access, 2020, 8: 120234-120254.
[2] 徐从安, 苏航, 李健伟, 等. RSDD-SAR: SAR 舰船斜框检测数据集[J]. 雷达学报, 2022, 11: 1-19.
[3] Xian S U N, Zhirui W, Yuanrui S U N, et al. AIR-SARShip-1.0: High-resolution SAR ship detection dataset[J]. 雷达学报, 2019, 8(6): 852-862.
[4] Lei S, Lu D, Qiu X, et al. SRSDD-v1. 0: A high-resolution SAR rotation ship detection dataset[J]. Remote Sensing, 2021, 13(24): 5104.