2024 年 ARC 奖 kaggle

本次比赛根据正确预测的百分比来评估参赛作品。对于每个任务，您应该为任务中包含的每个测试输入网格准确预测 2 个输出。（任务可以有多个需要预测输出的测试输入。）每个任务测试输出都有一个基本事实。对于给定的任务输出，如果 2 个预测输出中的任何一个与基本事实完全匹配，您将1为该任务测试输出得分，否则0。最终得分是每个任务输出最高得分的平均总和除以任务测试输出总数。

提交文件

本次比赛的提交文件必须为名为 的json submission.json。

对于评估集中的每个任务输出，您应该做出恰好 2 个预测（attempt_1，attempt_2）。预测的结构如下所示。大多数任务只有一个输出（包含在列表中的单个字典），尽管有些任务有多个必须预测的输出。这些应该包含包含在列表中的两个预测字典，如下例所示。当一个任务有多个需要预测的测试输出时（例如，下面的任务12997ef3），它们必须与相应的测试输入的顺序相同。

重要提示：输入挑战 json 文件中的所有 task_id 也必须存在于submission.json文件中。即使您的提交没有 2 个预测，“attempt_1”和“attempt_2”也必须存在。

{"00576224": [{"attempt_1": [[0, 0], [0, 0]], "attempt_2": [[0, 0], [0, 0]]}],

"009d5c81": [{"attempt_1": [[0, 0], [0, 0]], "attempt_2": [[0, 0], [0, 0]]}],

"12997ef3": [{"attempt_1": [[0, 0], [0, 0]], "attempt_2": [[0, 0], [0, 0]]},

{"attempt_1": [[0, 0], [0, 0]], "attempt_2": [[0, 0], [0, 0]]}],

...

}