CSIG 2022 Competition on Invoice Recognition and Analysis

语言:   English | 中文

  • 介绍

    发票识别是财务办公自动化中非常重要的一部分，其目的是从扫描的发票中自动提取预定的内容(如日期、金额)。 由于扫描的发票存在布局多样、字迹模糊、文本错位等问题，要对发票的字段进行准确的定位、识别和信息结构化是一项非常具有挑战性的任务。

    这次我们发布了发票分析和识别挑战。 本次大赛涉及计算机视觉、自然语言处理、多模态融合等前沿技术，具有较大的技术价值和实际社会应用价值。 我们真诚邀请广大算法专家和技术爱好者参与，设计更好的发票识别算法，进一步推动OCR在实际生产场景中的实施。

    我们使用 CodaLab 作为竞赛平台。 参赛者需进行报名才能参加比赛。 请按照说明:1)在CodaLab中注册队伍并报名。 2)加入CodaLab进行发票分析和识别挑战。 只需点击“参与”标签注册。 具体的参赛规则请参见“条款与协议”。

  • 日程安排

    初赛:

    - 2022/4/11 : 比赛启动报名
    - 2022/4/18: 训练集和A榜测试集开发下载

    下载链接详见 Codalab .

    注意：近期，我们发现在CodaLab上数据相关下载的信息无法被正常显示，因此对于还没有下载训练集和A榜测试集的参赛者，可以通过邮件（qiaoliang6@hikvision.com）获取数据下载链接。如果在比赛第二阶段网站仍无法正常显示，我们也会通过邮件的形式发放数据下载链接。

    - 2022/4/18 至 2022/6/23 23:59 UTC+8: A榜提交成绩
    - 2022/6/24 12:00 UTC+8 至 2022/6/26 12:00 UTC+8: B榜测试集开放下载，B榜提交成绩

    Final Contest:

    - 2022/6/27 至 2022/7/7: 成绩复核验证 (检查代码和反作弊情况，并复现结果)
    - 2022/7/8: 决赛（线上答辩），并公布最终获奖团队结果

  • 获奖团队榜单

    最终排名:

    名次 队伍名称 单位
    1 SECAI 中国科学院信息工程研究所
    2 DataGrand 达观数据
    3 Dialga 华南理工大学
    4 naiveocr 上海交通大学
    5 bestpay 翼支付

  • 奖项设置

    最终的结果将会综合考量B榜测试集结果与线上答辩成绩。决出:
    - 一等奖1名 ￥20000
    - 二等奖2名 ￥10000
    - 三等奖2名 ￥5000
    以上金额均为税前金额。

  • 数据集

    数据集包含用于算法验证的六种发票类型。 它们分别是出租车发票、火车票、客运发票、通行费发票、航空行程单和定额发票。 所有图像都已脱敏。 一些可视化示例如下所示。

    飞机行程单 通用定额发票 出租车票
    客运发票 通行费发票 火车票

    标注

    在训练集中我们提供两种标注文件, ocr.json 和 gt.json :

    ocr.json

    这个文件中包含了使用OCR引擎获得的图片中的文字位置和文字内容（其中关注字段的文字识别内容经过了人工清洗）: 

    "abf3b61f-cefe-374e-2ace-ac1fbdf3f3af_1.jpg": {
	"height": 891,
	"width": 1245,
	"content_ann": {
		"texts": [
			"112002070106", "12921503", "壹佰元整", "###", ...
		]
		"bboxes": [
			[ 453, 338, 830, 328, 832, 383, 454, 393 ],
			[ 446, 411, 739, 406, 741, 466, 448, 473 ],
			[ 462, 603, 809, 595, 812, 683, 464, 693 ],
			[ 428, 347, 883, 364, 882, 709, 419, 710 ],
			...
		]
	},
},
    其中,
    - texts: 每个文字实体的文字内容,
    - bboxes: 每个文字实体的坐标,

    gt.json

    这个文件包含了最终发票的结构化信息，一个具体的例子如下: 

    "abf3b61f-cefe-374e-2ace-ac1fbdf3f3af_1.jpg": {
	"发票代码":112002070106,
	"发票号码":12921503,
	"金额":"壹佰元整",
}

  • 结果提交

    要将结果提交到排行榜，您必须提交一个***.zip文件，该文件包含一个json文件，该文件以 utf-8编码，包含了模型在验证集或测试集上的结果。

    提交json中的键表示文件名，值是模型的预测结果。 不同类型的发票所需要的字段不同，如下所示: 

    "file_name.jpg": {
	"日期": "",
	"金额": "",
	"始发站":"",
	"到达站": "",
	"保险费": ""
}
						
    "file_name.jpg": {
	"发票代码": "",
	"发票号码":"",
	"金额":""
}
						
    "file_name.jpg": {
	"发票代码":"",
	"发票号码":"",
	"金额":"",
	"日期":""
}
    飞机行程单 通用定额发票 出租车发票 
    "file_name.jpg": {
	"日期":"",
	"始发站":"",
	"到达站":"",
	"金额":""
}
						
    "file_name.jpg": {
	"发票代码":"",
	"发票号码":"",
	"金额":"",
	"入口":"",
	"出口":""
}
						
    "file_name.jpg": {
	"日期":"",
	"金额":"",
	"始发站":"",
	"到达站":"",
	"座位类型":""
}
    客运发票 通行费发票 火车票
    一个示例的提交文件可以在这里 下载.

  • 评测方法

    对于每个测试发票图像，提取的文本将与地面真实结果进行比较。 如果所文本的提交内容和类别都与真值相符，则该字段被标记为正确; 否则，该字段标记为不正确。 最终结果讲对所有测试发票图像的所有提取字段计算准确率。 F1评分是基于precision和recall计算的。 F1分数将用于排名。

  • 条款与协议

    参赛组队规则

    1、参赛人群：大赛面向全球征集参赛团队，不限年龄、国籍，高校、科研院所、企业从业人员等均可登录官网报名参赛。
    2、报名组队要求：所有参赛选手应在截止日期前自行完成组队，并以团队身份提交各阶段的结果，一个人只允许参加一支队伍。
    3、成绩提交要求：由于CodaLab无法提交个人实名验证，对于A榜提交的结果不做账户或提交次数的限制。参与B榜排行的队伍需要向比赛组织方提供团队成员信息与团队账户，一个团队仅允许通过唯一账户进行结果提交，B榜期间一支队伍最多有10次提交成绩的机会。大赛组委会承诺其中涉及个人隐私的内容予以保密。
    4、回避原则：大赛出题的人员及所在部门人员禁止参与所出具的赛题（可参与其他赛题），直接参与大赛策划、组织、技术服务的工作人员等相关人士禁止参赛，禁止委托他人参赛或违规指导参赛团队。

    作品提交要求

    1、作品原创：参赛作品必须保证原创性，不违反任何中华人民共和国有关法律法规，不侵犯任何第三方知识产权或其他权利，一经发现或经权利人提出并查证，大赛组委会将取消其比赛资格和成绩并进行严肃处理。
    2、作品知识产权：参赛作品（包含但不限于算法、模型、方案等）知识产权归出题单位、参赛者、比赛主办方平台三方共享，大赛组织单位拥有对参赛作品组织投资对接和产品孵化服务的优先权利；大赛组织方及竞赛平台均有权利将参赛作品、比赛信息、参赛团队信息用于宣传品、相关出版物、制定及授权媒体发布、官方网站浏览及下载、展览（含巡展）等活动项目；
    3、竞赛数据说明：组委会授权参赛人员使用提供的数据进行指定比赛的模型训练工作，本次比赛数据集的版权归海康威视研究院Davar实验室所有，数据集该数据集仅可以通过官方途径下载并在非商业场景下使用，请 不要 在其他途径传播。
    4、作品合规性：参赛团队需保证提交作品的合规性，若出现下列或其他重大违规的情况，经大赛组委会合议后，取消参赛团队的参赛资格和成绩，获奖团队名单依次顺延。重大违规情况如下：   a.使用小号、串通、剽窃他人代码等涉嫌违规、作弊行为；   b.外部数据仅允许使用公开的开源数据集，不允许使用额外私有数据；   c.团队提交的材料内容不完整，或提交任何虚假信息；   d.参赛团队无法就作品疑议进行足够信服的解释说明；   e.提交的作品包含不健康、淫秽、色情或诽谤任何第三方的内容等其他重大违规行为。

    成绩验证与复核

    为保证比赛公平性，B榜开放期间，参与者需要按照主办方要求，通过邮件的方式提供唯一的团队账户信息与队伍人员信息，未经过验证的账户将不纳入最终成绩的排名。
    B榜截止后，排名前10名的团队需要参与到成绩的复核中，复核中参赛队伍需要提供作品源代码和说明文档以保证成绩的真实有效。
    复核有效的队伍将进入最终的决赛答辩中，决赛答辩中将综合考虑B榜成绩（70%）与算法创新性、有效性、合理性等考量指标（30%）得到最终的排名。

    如有任何疑问，请联系 qiaoliang6@hikvision.com 。

  • 组织者

    海康威视研究院
    复旦计算机科学与技术学院
    海南大学计算机科学与技术学院