为贯彻落实习近平总书记关于金砖国家新工业革命伙伴关系的重要指示批示精神,工业和信息化部联合福建省人民政府,通过举办 “第二届促进金砖工业创新合作大赛选拔赛”,旨在深化金砖国家工业创新领域务实合作,促进创新人才交流和优秀项目培育,推动创新成果转化应用,不断激发金砖国家创新合作潜力。此次选拔赛以“逐梦海洋,感知智能,突破自我,创新未来”为主题,通过对海洋目标的智能感知测评,发现一批先进算法和技术,推进国内外人工智能与智慧海洋技术领域研究热潮,搭建人工智能与智慧海洋的人才交流平台,加速智能技术在海洋领域的发展和应用创新,助力我国海洋强国建设。
一、竞赛主题
逐梦海洋 感知智能 突破自我 创新未来
二、组织机构
1.主办单位
工业和信息化部
福建省人民政府
2.承办单位
工业和信息化部国际经济技术合作中心
哈尔滨工程大学
中国造船工程学会
国际船舶与海洋工程创新与合作联盟(ICNAME)
3.协办单位
艾睿光电科技有限公司
华为iMaster NAIE 网络人工智能引擎
三、参赛说明
1.参赛对象
国内外高等学校全日制在校生均可组队参赛。
2.参赛形式
大赛分为本科生组和研究生组,每支参赛队不超过3名参赛选手,每队可有指导老师1人,每名参赛选手只能加入1支参赛队。每所高校最多报名5支本科生队、5支研究生队、若干国际队(有境外高校学生或境内高校的外籍学生参加组队的队伍可认定为国际队)。
3.报名方法
各参赛团队于2021年7月2日至2021年7月15日登录大赛官方网站https://www.smartship.cn/?type=product&S_
id=38,注册并上传报名表。
4.比赛规则
(见附件1)
四、比赛流程
7月2日至7月 15日:登录官网报名,下载数据集及比赛规则;
7月16日至7月29日:参赛团队进行训练;
7月30日:提交参赛作品;
7月31日至8月3日:初赛作品成绩测评、公布初赛晋级答辩名单;
8月4日至8月6日:组织线上答辩;
8月7日:公布初赛获奖名单及晋级决赛名单;
8月8日至8月30日:参赛团队进行决赛训练;
8月31日:提交决赛作品;
9月1日至9月5日:决赛作品成绩测评;
9月6日:决赛演示、公布决赛获奖名单、举办颁奖仪式及闭幕式。
五、奖项设置
比赛设置一等奖、二等奖、三等奖。
六、联系方式
联系人:李东升15765517651 (会务组)
邢会明15911022732 (技术组)
大赛邮箱:ai_contest2021@163.com
大赛官网:https://www.smartship.cn/?type=product&S_id=38
大赛qq群:
以上未尽事宜,解释权及修改权归大赛组委会所有。
海洋目标智能感知国际挑战赛组委会
2021年6月28日
附件1:
比赛规则
1.竞赛任务描述
多类海洋船舶目标检测识别任务。首先要定位图片中感兴趣海洋目标的位置,通过边界框表示,然后再识别每个目标示例的类别和属于该类的置信度。
大赛包括两个项目,可见光目标识别项目和红外目标识别项目。参赛队可以选择可见光目标项目或红外目标项目,也可以同时参加可见光目标项目和红外目标项目。
赛程分为两个阶段:初赛和决赛。初赛阶段,竞赛官方提供海洋舰船可见光图像数据集、海洋舰船红外图像数据集和陆上红外目标数据集。决赛阶段数据集为海洋船舶可见光图像盲测试集、海洋舰船红外图像盲测试集和陆上红外图像盲测试集,在考核指标加入现场答辩效果、实时性能和平均精度均值MAP(Mean Average Precision)。
2.竞赛数据集描述
可见光图像组:数据集包括6类检测目标,分别为:游轮(liner)、集装箱船(container ship)、散货船(bulk carrier)、岛礁(island reef)、帆船(sailboat)和其他船(other ship)。数据集划分成训练集、初赛测试集和决赛盲测试集。训练集包括12000张图片,初赛测试集为公开测试集1000张图片,决赛盲测试集1000张图片。每张图片中可能包含多个目标示例。示例图片如图所示:
红外图像组:海洋船舶目标数据集包括7类检测目标,分别为:军舰(warship)、游轮(liner)、集装箱船(container ship)、散货船(bulk carrier)、帆船(sailboat)、艇型船(canoe)和渔船(fishing boat)。海洋船舶目标数据集划分成训练集、初赛测试集和决赛盲测时集。训练集包括7300张图片,初赛测试集为公开测试集1000张图片,决赛盲测集1000张图片。每张图片中可能包含多个目标示例。示例图片如图所示:
为验证算法的泛化能力,红外图像组加入陆上车载场景下红外目标数据集。红外车载数据集包括5类检测目标,分别为:行人(person)、骑车的人(cyclist)、小轿车(car)、货车(truck)、公交车或班车(bus)。车载数据集划分为训练集、初赛测试集和决赛盲测试集。训练集包括7000张图片,初赛测试集为公开测试集1000张图片,决赛盲测集1000张图片。每张图片中可能包含有多个目标。示例图片如下图:
3.初赛细则
1)大赛训练阶段:
7月16日至7月29日期间,选手根据训练集对模型进行训练。可以通过己方平台训练,也可以利用大赛提供的免费平台资源。竞赛提供的官方指定训练平台为:华为NAIE训练平台。竞赛针对平台均提供了完整的样例基准程序,可从大赛官网下载。选手将公开海洋船舶目标及陆上目标测试集的检测识别结果上传到大赛网站。网站对选手的模型分数实时排名。选手根据排名反馈,不断优化模型参数。
2)成绩评测方法:
a)评价标准:
平均精度均值MAP,即IoU取值在0.50到0.95,间隔为0.05的10个阈值下计算得到的,在所有类别下的MAP的均值。(具体可参考COCO挑战赛的评价标准https://cocodataset.org/#detection-eval)
b)在公开测试集上的竞赛成绩为总成绩。公开测试集和训练集一同发放。总成绩为公开测试集MAP值。
3)作品提交方式:
参赛团队将结果以指定文件格式上传竞赛组织方。方便大赛官方验证参赛队成绩,参赛队需要将算法部署到华为NAIE平台,并保证能成功运行。如果参赛队对数据集进行调整,也需要将数据集上到华为NAIE平台。
a)检测结果格式:
JSON文件格式如下,包含图像文件名称,对检测到示例的预测类别,检测到识别的边界框和对检测示例识别分类的置信度。
结果JSON文件参考样例可从智能船舶官方网站下载(https://www.smartship.cn/)。
b)结果和模型的提交形式
参加团队除了提交对公开测试集的检测JSON结果文件外,还需提交符合指定接口格式的海洋船舶目标检测的算法模型,(该模型可以生成检测结果的JSON文件),供系统对结果文件的真实性复核。
4)拟获奖选手答辩环节和提交技术报告及视频
竞赛答辩委员会对拟获奖选手进行线上答辩,每支拟获奖队伍的所有参赛选手均需参加,每个团队有一名选手主讲,说明识别算法的创新之处,并介绍自己及团队成员分工情况。技术报告里阐明竞赛中模型方法的原理,在现有前沿工作上的创新之处,以及如何根据训练数据集和公开测试集的反馈结果,调整模型和方法的参数等实验细节。技术报告模板可从网站下载(https://www.smartship.cn/?type=news&S_id=176)。
另外,拟获奖队伍需提供算法编程等过程录屏视频,视频格式为mp4,时长在3分钟以内,视频内容包括算法编程、公开数据集训练及数据集测试,每个内容在1分钟左右,视频分辨率为1280×720,帧率为20fps以上,并在答辩过程中展示和提交。
国外拟获奖参赛队因时差等原因无法放假线上答辩,需要提供VCR答辩视频和技术报告,视频格式为mp4,分辨率为1280×720,帧率在20fps以上。视频时长为15分钟,内容包括:1. 识别算法介绍(9分钟);2. 团队人员分工情况(3分钟);3. 算法编程过程(1分钟)、公开数据集训练过程(1分钟)、数据集测试(1分钟)。技术报告模板可从网站下载(https://www.smartship.cn/?type=news&S_id=176),提交技术报告格式为pdf。
4.决赛细则
1)大赛决赛阶段:
8月8日至8月30日期间,选手根据初赛公布的海洋船舶可见光目标训练集、海洋船舶红外目标训练集和陆上红外目标数据集对模型进行训练。可以通过己方平台训练,也可以利用大赛提供的免费平台资源。为兼顾国外参赛队,竞赛官方指定训练平台为华为NAIE训练平台。
决赛采用盲数据集形式进行现场算法测试。每个参赛队一个账号,参赛前一天,参赛队需将账号与密码上交,竞赛官方将盲测试集上传到每个账号,并在比赛前10分钟将账号和密码给到参赛队。
可见光目标识别项目采用可见光图像盲测试集进行测试;红外目标识别项目采用红外目标测试集。参赛队可根据比赛成绩和排名,选择是否进行陆上红外目标数据集测试。若选择是,最终结果为在海洋船舶盲测试集上的竞赛成绩和陆上红外目标盲测集上的竞赛成绩的平均值。
2)拟获奖选手现场答辩环节和提交技术报告及视频
竞赛答辩委员会对拟获奖选手进行现场答辩,每支拟获奖队伍的所有参赛选手均需参加,每个团队有一名选手主讲,说明识别算法的创新之处,并介绍自己及团队成员分工情况。技术报告里阐明竞赛中模型方法的原理,在现有前沿工作上的创新之处,以及如何根据训练数据集和公开测试集的反馈结果,调整模型和方法的参数等实验细节。国外拟获奖参赛队因疫情等原因无法放假现场答辩,需要提供以上相同内容的VCR视频和技术报告,视频时长为15分钟,分辨率为1280×720,帧率在20fps以上。
另外,拟获奖队伍需提供算法编程等过程录屏视频,时长在3分钟以内,视频内容包括算法编程、公开数据集训练及数据集测试,每个内容在1分钟左右,视频分辨率为1280×720,帧率为20fps以上,并在答辩过程中展示和提交。不能参加线上答辩的国外参赛队需要与VCR视频一同提交。
3)成绩评测方法:
a) 评价标准:
平均精度均值MAP(Mean Average Precision),即IoU(Intersection over Union)取值在0.50到0.95,间隔为0.05的10个阈值下计算得到的,在所有类别下的MAP的均值。(具体可参考COCO挑战赛的评价标准https://cocodataset.org/#detection-eval)
算法实时性能指标,规定在指定时间内检测图片数量占现场测试数据集的比例×100,取值在0到100之间。
参赛队现场答辩,答辩专家根据参赛队答辩及回答问题情况进行评分(百分制),多个评分取平均值,取值在0到100。
a)现场答辩专家评分、盲测试集的平均精度均值和实时性指标的加权平均值为总成绩。总加权成绩为50%ד现场盲测数据集MAP值+30%ד现场盲测数据集实时性能指标值”+20%×现场答辩专家评分。如果选择陆上红外目标数据集测试,总成绩为50%ד现场盲测数据集MAP平均值+30%ד现场盲测数据集实时性能指标平均值”+20%×现场答辩专家评分。盲测试集MAP平均值为海洋舰船目标测试集和陆上红外目标测试集竞赛成绩MAP均值,盲测数据集实时性能指标平均值为海洋舰船目标测试集和陆上红外目标测试集竞赛实时性性能指标均值。
5.其他注意事项
系统只支持C/C++、python代码,且运行环境仅为Linux。
请提供可以正常运行的模型调用样例。
无论何种代码请给出相应的说明文档和可以正常运行的样例代码。
支持pytorch、tensorflow、mxnet或caffe深度学习框架。
· 如果使用其他海洋船舶数据共同训练模型,提交结果时需要提供扩充的数据集以复现训练过程。
6.知识产权归属
参赛团队提交算法及可执行模型的知识产权归参赛团队所有,竞赛视频、图像数据由哈尔滨工程大学所有。
· 各参赛队在赛前需签订数据使用协议,承诺本竞赛提供的数据集仅能用于本竞赛,不用于除本竞赛外的任何其他用途。
· 各参赛队需要承诺本队提交的结果可重复,组织方承诺履行保密义务,并不用于除本比赛外的任何其他用途。
· 参赛队伍应保证所提供的方案、算法属于自有知识产权。组织方对参赛队伍因使用本队提供/完成的算法和结果而产生的任何实际侵权或者被任何第三方指控侵权概不负责。一旦上述情况和事件发生参赛队伍必须承担一切相关法律责任和经济赔偿责任并保护组织方免于承担该等责任。