评测活动

CCIR 2018评测:移动环境下知识分享平台内容推荐

点击下载资料

评测获奖名单.pdf

 一、背景简介


近年来,随着互联网产业的发展,时刻有海量的信息产生,也产生了信息过载等问题。如何在这些信息中帮助用户找到符合其需求的信息是个重要的课题,而个性化推荐系统被视为解决这个问题的一个重要途径。目前在工业界,在购物、影音、阅读、社交等许多场景下,个性化推荐技术都在发挥着越来越重要的作用;与此同时,个性化推荐技术也成为当前学术界的研究热点。因此,CCIR 2018评测聚焦于个性化推荐问题,旨在提高推荐质量,为用户推荐合适的内容。

1.任务主题

移动环境下知识分享平台上的内容推荐

2.主办单位

中国中文信息学会信息检索专业委员会

3.承办单位

清华大学计算机系信息检索课题组(THUIR)

知乎信息流与个性化推荐产品技术团队(Zhihu-Feeds)

4.评测提交及结果发布平台

Biendata平台(https://biendata.com/competition/CCIR2018/

比赛的数据和结果发布及讨论将在Biendata平台进行。如有任何问题,可加入比赛的微信讨论群(待正式报名后公布群二维码)。

 二、任务描述


任务:给定一系列内容条目和用户,目标是将合适的内容推荐给相应的用户,希望被推荐用户对该内容感兴趣,反映在交互上表现为点击、收藏等行为。

 三、评测方案


比赛分为两个阶段,离线测试和在线测试。离线测试的优胜者(前20)可以进入在线测试。离线测试采用常用评价指标NDCG。在线测试采用在线相关指标点击率CTR。

1.离线测试

离线测试与常规评测类似,系统预留出一部分数据作为测试集,选手根据所提供的训练数据进行模型训练。选手需要对测试数据中的目标用户进行推荐,系统会根据测试集评测结果。

2.在线测试(暂定)

(1)在线测试第一期,持续 7 天:

• 发布一批用户 id 及对应的特征,以及一批待推荐内容条目;

• 候选队伍需要在第 3 天的 24 点前产出对每个用户 id 的待推荐内容 id(每个用户最多 5 条,有序),在线平台根据候选队伍的提交结果进行实验投放,并统计 CTR 数据

• 第一期主要进行在线测试平台的功能性验证,并帮助参赛队伍熟悉测试环境,评测结果不做为评奖依据,但会返回给选手相关点击信息以供调优模型。

(2)在线测试第二期,持续 7 天:

• 初始提供一批待推荐的内容条目,后续每天 10 点提供一批用户 id 及对应的特征,以及新增加的待推荐内容条目;

• 候选队伍需要生成对每个用户 id 的待推荐内容 id(每个用户最多 5 条,有序),从中午12 点开始可以上传结果到评测平台;

• 在线平台根据候选队伍的提交结果依序在固定位置进行投放,并统计实际点击率CTR 数据,于第二天将评测结果更新到评测排行榜上,各队统计CTR的截止时间相同。

3.提交注意事项及提交数据格式

参赛队伍可以随时提交评测文件。评测文件格式为csv,如下:

uid1,iid@1,iid@2...iid@100

uid2,iid@1,iid@2...iid@100

...

每行为一个user_id, 同时给出预测的用户最可能感兴趣的100个item_id(answer or post)。 user_id和预测的item_id之间,item_id之间均使用半角逗号作为分隔符。不需要header。

文件实例(以每个用户推荐5个item_id为例):

6875,3987,3292,4436,1667,6988

4656,9954,8931,2642,8466,7401

其中第一列的 6875, 4656 是 user_id。其余数据都是 item_id。(实例中数据仅做格式参考,真实数据会长很多。)

4.注意事项

(1)预测出的 100 个item_id按照预测得分,从大到小排序。

(2)item_id默认是不重复的。遇到重复的item_id,只保留第一次出现,并且其后的item_id递补。去重后不满 100 个item_id的,其余位置默认为 -1,-1 不和任何item_id匹配。多于100 个item_id的,从第101位往后忽略。

5.评测标准

• 离线测试:NDCG (Normalized Discounted Cumulative Gain)

其中,Z_k用来做归一化,保证最理想排序情况下NDCG的值是1。r_i表示经过推荐算法后排在第i位的文档的相关度。如果用户与被推荐列表的第i位文档有过正向交互,r_i=1,否则r_i=0。

• 在线测试:CTR (Click Through Rate)

• 评测除了考虑所有用户的整体效果,也特别关注冷启动用户的效果

 四、评测规则


1.评测分为离线测试和在线测试两个阶段,离线测试的优胜者可以进入在线测试,在线测试的优胜者为最终的优胜者;

2.所有参赛选手都必须在管理系统中注册;

3.参赛选手在管理系统中组队,每支队伍最多不超过5名队员,报名截止日期之后不允许更改队员名单,只允许进行队伍合并操作;

4.每支队伍需指定一名队长,队伍名称不超过15个字符;

5.每名选手只能参加一支队伍,一旦发现某选手以注册多个账号的方式参加多支队伍,将取消所有相关队伍的参赛资格;

6.参赛队伍在测试数据集发布之前允许进行队伍合并,但不能拆分,且合并后的队伍不得超过总人数上限(5人);参与合并队员的历史提交总数和,不能超过比赛单个队伍所允许的提交上限;(e.g. 比赛每日最多允许提交5次,持续了10天,当日合并上限为50次提交. 若A提交了10次,B提交了41次,则A,B无法合并.)

7.允许使用开源代码或工具,但不允许使用任何未公开发布或需要授权的代码或工具;

8.不允许使用承办方提供的数据集之外的任何外部数据;

9.离线测试阶段,参赛队伍可在评测期间随时上传预测结果,提交次数一天不能超过20次。

10.承办方自支付奖金之时起,拥有数据竞赛获奖参赛队伍所提交的作品的使用权。

11.欢迎国内外在校生及社会在职人士参加。知乎员工(含正式员工、派遣员工、实习生)不可参赛。

12.知乎对比赛获奖模型有不受限制的使用权,包括但不限于修改、部署、分享和转让模型。

13.参赛者严禁将主办方提供的数据集私自分享给他人,承办方提供的数据仅可用于本次评测比赛。

14.重要提示:如果选手没有在收件箱收到相应的通知邮件,请在垃圾邮箱里查找。

 五、时间轴&奖励


1.时间轴

即日起至6月15日,均接受参赛队伍报名。

报名参赛网址:https://biendata.com/competition/CCIR2018/

事件 时间
发布比赛和离线测试、数据,持续一个月 5月15日
离线测试结束 6月15日
公布进入在线测试的队伍名单 6月19日
提供在线测试的数据以及流程、规则,队伍开始熟悉在线测试流程、试提交 7月03日
开始在线测试,持续约半个月时间 7月10日
结束在线测试,公布结果 7月24日
优胜队伍需提交工作报告,评审方选出报告队伍 8月07日
CCIR召开研讨会 9月27日至29日中某一天
注意:以上日期节点均为北京时间(UTC+8)00:00:00

2.奖励

• 一等奖 1 名,奖金:¥40,000

• 二等奖 2 名,奖金:¥20,000

• 三等奖 4 名,奖金:¥5,000

• 前7名可获得由组委会颁发的名次证书;

• 颁奖仪式将在CCIR 2018会议上举行(2018年9月27-29日某一天,地点:广西桂林);

• 承办方自支付奖金之时起,拥有数据竞赛获奖参赛队伍所提交的算法的使用权。

承办单位
协办单位

广西多源信息挖掘与安全重点实验室

广西区域多源信息集成与智能处理协同创新中心

CCF YOCSEF桂林

赞助单位












会议地址:
广西壮族自治区桂林市桂林宾馆(桂林市榕湖南路14号)
点击此处查看交通路线