由于投稿众多，西南财经大学国际商学院组织了10位教师对有效稿件分为三组，进行了双向匿名评审。经评审打分并结合论坛的论文容量，录用会议稿件38篇。在删除论文包含的个人信息后，会议组委会将这38篇论文发给了由30名专家组成的论坛学术委员会和最佳论文评审委员会进行通讯评审。（后因其中4篇不能参会而增补的6篇论文未发给最佳论文评委会进行通讯评审。）经10天的通讯评审，有18位专家返回了评审论文打分表，其中17位专家对所有论文进行了打分，1位专家对其认为的最佳9篇论文进行了评级。经论坛组委会确认，17位专家对论文的打分是有效的。
根据17位专家对论文的打分，论坛组委会计算了每篇论文的平均分、评分标准差、根据标准差调整的平均分（调整因子：exp(exp(-std))，其中，std为评分标准差）和“是最好论文的概率”（被所有评审专家认为是最好论文的概率）。
图1论文平均分的分布
图1给出了各论文平均分的分布，从中可以看出，高分的论文比较少，大部分论文的得分处于中低端。这种得分分布比较符合实际。图2：得分标准差分布
图2给出了各论文得分标准差的分布，从中可以看到，大部分论文的评分的变差都处于中间状态，评委们对于论文的意见的极端偏差出现的比率很小。同时较少论文能获得评委们评价的一致意见。论坛组委会对上表进行了一些进一步的分析，发现：（1）平均得分越高的论文其标准差越小（见图3），（2）平均得分越高的论文其是最好论文的概率越大（见图4），（3）为对所有论文而只对9篇论文进行评分的专家0的选择与其他17位专家的平均评分有着较为一致的看法（见表1）。所有这些表明，评审专家对最佳论文的看法有着较为一致的倾向。因此上述评分总体上能够反映代表了专家们对论文质量的看法。
图3：平均分与标准差的关系
图4：平均分与是最好论文概率的关系
表1专家0的评价与其他专家的吻合度（有序回归结果）
审核：孙楚仁
编辑：张楠
赞赏
转载请注明：http://www.fslingdong.com/lwtm/37451.html
