北京网站建设企业网站建设与实践高自考

当前位置： 首页 > news >正文

北京网站建设企业,网站建设与实践高自考,租空间做网站需要多少钱,用.net做的网站吗User-controllable Recommendation Against Filter Bubbles 摘要 推荐系统经常面临过滤气泡的问题#xff1a;过度推荐基于用户特征以及历史交互的同质化项目。过滤气泡将会随着反馈循环增长#xff0c;缩小了用户兴趣。现有的工作通常通过纳入诸如多样性和公平性等准确性之…User-controllable Recommendation Against Filter Bubbles 摘要 推荐系统经常面临过滤气泡的问题过度推荐基于用户特征以及历史交互的同质化项目。过滤气泡将会随着反馈循环增长缩小了用户兴趣。现有的工作通常通过纳入诸如多样性和公平性等准确性之外的目标来减少过滤气泡。然而这种方式会牺牲精确性损害模型的保真度以及用户体验。甚至用户需要被动地接受推荐策略以及用一种很低效高延迟性的方式来影响系统。 本文提出了一种新的推荐原型叫做“用户可控推荐系统”User Controllable Recommender System, UCRS该系统使得用户可以主动地控制对过滤气泡的减弱。UCRS的目标有以下几点 UCRS可以提醒那些深陷过滤气泡的用户UCRS可以支持四种控制命令来帮助用户从不同的粒度上来减弱气泡效应UCRS可以对控制进行响应并且自由地调整推荐。 调整的关键在于阻塞推荐中过时用户响应的效应包括与控制命令不一致的历史信息。例如作者发展了一种因果增强的用户可控推理User-Controllable Inference, UCI狂降可以快速地修正在推理阶段基于用户控制的推荐使用反事实推理来减弱过时用户表示的效应。在三个数据集上的实验证明了UCI框架可以基于用户控制有效地推荐更多需要的项目在精确性和多样性上展示出了卓越的效果。 1 简介 由于仅仅是拟合数据推荐系统常常面临过滤气泡问题持续推荐很多同质性的项目将用户和多样化的内容隔离开。例如如果用户点击了很多短视频来学习制作咖啡系统可能会持续向其推荐不同视频上传者投稿的相似短视频占据了其他诸如热点新闻等信息丰富的视频。更糟糕的是因为如图一的反馈循环过滤气泡可能会逐渐地变得严重。从长远来看过滤气泡将会减少用户的积极性以及项目的创造性会损伤整个生态环境。因此消除过滤气泡是很重要的。 为了实现这一目标现有的研究提出纳入额外目标的历史交互数据拟合。例如1多样性[6]、[58]强制推荐列表覆盖尽可能多的项目类别2公平性[3]、[30]追求在项目类别上的公平曝光机会3标准化[39]、[48]保证了推荐列表在不同项目类别上的显示与用户的交互历史具有相同的分布。然而这些方法只是在不同目标间的权衡牺牲了精确性甚至是用户体验。此外在反馈循环中用户只能通过用户反馈来被动地调整推荐由于用户需要持续地提供反馈知道系统识别到用户需求这种方式是低效并且不充分的。 作者认为用户需要拥有权力来决定是否消除过滤气泡并且选择减弱哪种气泡。最终作者基于三个设想提出了UCRS1系统有责任来提醒用户他们是否陷入了过滤气泡中2系统应该提供多样的命令来充分支持用户的控制倾向3系统应该快速地对控制进行响应。 过滤气泡警告 作者定义了一些标准来衡量过滤气泡的强度。这些标准表现为系统提示旨在让用户理解过滤气泡的状态并且决定是否消除气泡。 控制命令 作者建议在用户特征以及项目特征两个层次上进行用户控制。在细粒度层次上UCRS支持增加特定用户或者项目特征上的项目例如“更多的被年轻人喜欢的项目”、“更多的某一类别的项目”。注意到用户可能并不会区分目标组别UCRS也会支持粗粒度级别上的命令例如“当涉及到我的年龄时不要存在气泡”、“在项目类别上不要存在气泡”。 对用户控制的响应 一旦接收到控制命令UCRS通过将命令结合到推荐系统的推理中来调整推荐。但是这是有一定难度的因为从历史交互中习得的一些过时用户表示已经将可能导致过滤气泡的偏好信息进行了编码。因此一些用户表示可能导致同质性推荐。 为了克服这些挑战作者提出了一种因果强化的用户可控推理框架从因果视角来审视推荐的产生过程消除过时用户表示的影响。UCI框架设想出一个反事实世界在这里的过时用户表示被去除并且将过时表示的效应估计为真实世界以及反事实世界之间的差别。在减除该效应之后UCI将控制指令结合进推荐系统的推理中。至于用户特征的控制UCI使用指令中确定的用户特征例如将年龄从中年改成青少年来在细粒度和粗粒度两个层面上产生最终的推理。而项目特征控制考虑到项目分类UCI采用了用户可控的排序策略来控制推荐。 2 前期准备 首先对过滤气泡进行直觉上的理解。 实验设置 作者在三个公开数据集DIGIX-Video、Amazon-Book以及ML-1M上训练了一个具有代表性的推荐模型FM[35]然后对每个用户选取top-10的推荐项目。然后为了研究过滤气泡的问题作者根据用户特征以及用户交互这两个因子来将用户分成两个组别。可以通过例如性别和年龄来对用户进行分组。此外用户经常对不同的项目类别如浪漫爱情电影感兴趣因此可以根据用户在项目类别上的交互来对用户进行分组。对于每个项目类别选择那些交互比例比阈值高的用户。然后比较用户的历史交互以及以及FM生成的推荐。 分析 对于DIGIX-Video数据集上的男性和女性用户作者可视化了他们在top-3项目类别的历史分布总结在图二a中。从图中可以观察到男性和女性用户再项目类别上表现出不同的兴趣。例如与女性相比男性用户更加偏好动作电影而不是浪漫爱情电影。因此推荐模型继承了这一偏差分布。如图二b和c所示对于男性和女性用户的推荐分布很接近历史分布表现出用户将会接收到同质化的推荐。更糟糕的是模型倾向于放大偏差并且曝光出更多的历史多数类别如图二b、c所示这将造成男性和女性用户推荐之间的严重割裂。 对于被用户交互区分的组别图二d和e中作者分别展示了在Amazon-Book和ML-1M上的结果。从图中有以下发现1最大的用户历史交互类别在推荐列表中占据主导地位。此外与Amazon-Book相比ML-1M上的分布更加多样化这是因为在ML-1M中的大部分项目都有多个类别2模型经常会产生偏差放大问题并且增加推荐多数类别的占比。由于偏差放大过滤气泡将会逐渐地增强并且势必会限制了用户的喜好、隔离用户并且导致组别的分割。 总结 作者发现过滤气泡存在于用户以及项目特征一侧。涉及到项目特征的气泡是由在项目类别上的偏差交互导致的。作者提出了响应的用户特征控制以及项目特征控制。 3 用户可控推荐 3.1 UCRS的形式化 3.1.1 用户可控推荐系统 由图三所示UCRS将“检测”和“控制”模块结合起来将用户以及推荐系统之间的另一个循环引入。首先检测模块被用来测量随时间加剧的过滤气泡的严重性并且警告用户是否陷入过滤气泡中。如果用户想要消除过滤气泡他们可以使用控制命令并且通过控制模块实时施加调整。 严格来讲给定用户的历史交互DDD传统的推荐系统模型旨在通过P(R∣D)P(R|D)P(R∣D)来预测推荐RRR。相反UCRSUCRSUCRS额外地考虑到用户控制CCC以及在用户干预do©do©do©下估计P(R∣D,do©)P(R|D,do©)P(R∣D,do©)从因果的角度将干预形式化为四种控制。通过干预用户可以快速地调整推荐明显地降低历史主要类别中的项目自由地跳出过滤气泡。作者基于用户以及项目特征在细粒度和粗粒度的层次上将用户控制形式化为四种。 3.1.2 用户特征控制 将用户uuu的NNN个特征表示为xu[xu1,⋯,xun,⋯,xuN]x_u[x_u^1,\cdots, x_u^n,\cdots,x_u^N]xu​[xu1​,⋯,xun​,⋯,xuN​]这里的xun∈{0,1}x_u^n\in {0,1}xun​∈{0,1}表示用户uuu含有特征xnx^nxn。 细粒度用户特征控制 为了消除用户特征过滤气泡例如性别和年龄作者设计了细粒度的用户特征控制保证了UCRS推荐更多被其他用户组喜欢的项目。例如三十岁中年用户可能对青少年喜欢的电影感兴趣。形式化地讲为了计算用户uuu的P(R∣D,do©)P(R|D,do©)P(R∣D,do©)将控制形式化为do(Ccu(x^,α))do(Cc_u(\hat{x},\alpha))do(Ccu​(x^,α))这里的cu(x^,α)c_u(\hat{x},\alpha)cu​(x^,α)是暴露更多被其他用户组x^\hat{x}x^喜欢项目的控制命令cu(x^,α)c_u(\hat{x},\alpha)cu​(x^,α)需要用户uuu没有特征x^\hat{x}x^即x^u0\hat{x}_u0x^u​0。此外α∈[0,1]\alpha\in [0,1]α∈[0,1]是调整用户控制强度的系数。 粗粒度用户特征控制 用户可能简单地想要消除过滤气泡并不喜欢其他用户组喜欢的项目。并且一些用户可能并不知道哪个用户组更加具有吸引力。因此作者提出了粗粒度用户特征控制帮助用户跳出自己组别的过滤气泡。例如中年用户可能并不希望推荐被严格限制在“年龄30”上。在P(R∣D,do©)P(R|D,do©)P(R∣D,do©)中的控制do©do©do©形式化为do(Ccu(−x‾,α))do(Cc_u(-\overline{x},\alpha))do(Ccu​(−x,α))这将会减少用户自己组别喜欢的项目x‾\overline{x}x即x‾u1\overline{x}_u1xu​1。 3.1.3 项目特征控制 虽然用户特征控制可以削弱在用户特征上的过滤气泡但是却忽略了由用户交互造成的过滤气泡。如图二d所示推荐模型常常曝光历史多数类别。因此为了补充用户特征控制作者设计了项目特征控制来调整推荐。与用户特征类似设项目iii的MMM个特征表示为hi[hi1,⋯,him,⋯,hiM]h_i[h_i^1,\cdots, h_i^m,\cdots, h_i^M]hi​[hi1​,⋯,him​,⋯,hiM​]这里的him∈{0,1}h_i^m\in {0, 1}him​∈{0,1}表示为项目iii拥有特征hmh^mhm。 细粒度项目特征控制 如果用户有目标项目类别例如更多浪漫电影细粒度项目特征控制可以用来增加对它们的推荐。干预do©do©do©可以被表示为do(Cci(h^,β))do(Cc_i(\hat{h},\beta))do(Cci​(h^,β))这里的h^\hat{h}h^是目标项目类别β∈[0,1]\beta\in [0,1]β∈[0,1]是用来修改用户控制的强度。 粗粒度项目特征控制 相应的作者提出粗粒度项目特征控制来减轻用户指定目标项目类别的负担。粗粒度项目特征控制的目标是减少用户历史交互中最大项目类别的推荐。干预可以表示为do(Cci(−h‾,β))do(Cc_i(-\overline{h},\beta))do(Cci​(−h,β))。 3.2 UCRS的实现 3.2.1 过滤气泡监测 作者提出了一些度量方法来从不同的角度衡量过滤气泡的严重性例如多样性以及隔离状态。在不同时间段可以通过推荐系统设计的启发式规则来计算度量并且获得过滤气泡的严重性程度。然后严重程度被展示给用户并且让用户决定是否控制过滤气泡。 覆盖性 过滤气泡经常减少推荐项目的多样性因此可以结合广泛使用的多样性衡量方式覆盖性coverage这种衡量计算推荐列表中的项目类别的数量。 隔离指标 除了基于多样性衡量的方式外作者还提出了隔离指标Isolation Index[20]来衡量不同用户组别之间的隔离。给定两个用户组aaa和bbb可以对推荐的隔离指标进行如下计算 这里的I\mathcal{I}I是项目集合aia_iai​以及bib_ibi​是接收到推荐项目iii的组aaa和组bbb中的用户数量。此外an∑i∈Iaian\sum{i\in \mathcal{I}}a_ian​∑i∈I​ai​是组aaa中受到项目曝光的总频率bnb_nbn​同理。最终s∈[0,1]s\in [0,1]s∈[0,1]等于组别aaa中的加权平均项目曝光减去组别bbb的权重为aiaibi\frac{a_i}{a_ib_i}ai​bi​ai​​[20]。直觉上sss捕获了两个组别之间的推荐隔离程度值越高意味着越严重的隔离。如果有多个都别采取任意两组之间的sss值的平均。 多数类别优势MCD 隔离指标适合于根据用户特征分组来计算组别隔离。对于项目特征可以使用MCD来获得历史最大项目类别在推荐列表中的比例。在不同时间段MCD的增加反映着在项目类别上的过滤气泡逐渐严重。 3.2.2 用户特征控制响应 如果用户旨在削弱过滤气泡UCRS需要对用户控制实时响应对于细粒度的用户特征控制do(Ccu(x^,α))do(Ccu(\hat{x},\alpha))do(Ccu​(x^,α))用户想要更多的被其他用户组别x^\hat{x}x^喜欢的项目。由此UCRS事实上需要基于变动的用户特征来生成推荐。例如年龄从30岁到18岁。从因果的视角细粒度用户特征控制的目标是回答一个反事实问题如果用户在一个反事实的组别x^\hat{x}x^那么用户的推荐将会变成什么样子 相似地粗粒度用户特征控制是为了回答如果用户不在真实组别x‾\overline{x}x中那么推荐将会变成什么样子 为了回答该反事实问题UCI框架需要识别在用户特征和推荐之间的因果联系并且进行反事实推理。 产生推荐的因果视角 如图四所示作者通过因果图分析了推荐产生的过程。对于大部分模型推荐系统通过交互来学习用户表示包括用户ID、年龄以及性别的表示。因此对于用户uuu以及项目iii的表示被用来预测用户对项目的偏好概率即Yu,i∈[0,1]Y{u,i}\in [0,1]Yu,i​∈[0,1]。Yu,iY{u,i}Yu,i​是个体ID和多组特征的偏好得分融合组别偏好被对应用户组别内的用户分享。 为了回答细粒度用户特征控制的反事实问题一个直觉上的解决方式是改变推荐器推理的用户特征例如将年龄从30改为18。关于粗粒度用户特征控制可以直接摒弃推理中的用户特征x‾\overline{x}x。然而如图四所示用户交互实际上是混杂因子在推荐器训练过程中影响用户ID以及其他组别特征的表示。因此在用户ID和组别特征之间存在联系。虽然组别特征被改变或者丢弃第三十用户ID表示仍然将原始特征的过时兴趣进行了编码这与用户控制不一致并且阻碍了对目标用户组别的推荐。 为了移除混杂效应流行的选择是混杂平衡[36]、后门调整以及前门调整。然而混杂平衡和后门调整需要估计混杂因子在表示上的因果效应。这种估计是不可行的原因如下1用户交互处于一个动态的高纬空间这里的新的交互持续增加2用户交互对于表示的影响是由推荐器的训练过程决定的不同的训练方式结果也不同。此外前门调整需要发掘阻塞所有后门路径的媒介这对于图四中的因果图并不适用。为了避免这些挑战作者提出了直接减少在推理过程中用户ID表示对预测Yu,iY{u,i}Yu,i​的因果效应这可以在不知道训练过程的情况下有效地减少过时表示的影响。 实现反事实推理 UCI框架首先使用反事实推理来估计用户ID表示的效应然后从原始的预测Yu,iY{u,i}Yu,i​中扣除该效应。设想在反事实世界中**如果用户uuu没有ID表示预测Yu^,iY{\hat{u},i}Yu^,i​会变成怎样。**这里的u^\hat{u}u^代表没有ID表示的用户表示。通过比较Yu,iY{u,i}Yu,i​和Yu^,iY{\hat{u},i}Yu^,i​可以通过Yu,i−Yu^,iY{u,i} - Y{\hat{u},i}Yu,i​−Yu^,i​来衡量用户ID表示的效果。因此可以在原始预测Yu,iY{u,i}Yu,i​中减除该效应使用系数α\alphaα来控制减除的力度。 这里的f(⋅)f(\cdot)f(⋅)可以是任何使用用户以及项目表示来计算预测YYY的推荐方法。 UCI总结 UCI框架由两步组成在推理时回答两个关于用户特征控制的问题 1改变特定用户特征为x^\hat{x}x^进行细粒度控制以及丢弃用户特征x‾\overline{x}x进行粗粒度控制 2使用反事实推理通过等式2来减弱过时用户ID表示的影响。 3.2.3 响应项目特征控制 项目特征控制的细粒度控制旨在增加目标项目类别h^\hat{h}h^而粗粒度控制为了减少用户历史中最大历史类别h‾\overline{h}h。实际上在这里询问了两个干预问题如果用户想要更多目标类别h^\hat{h}h^的项目推荐会变成怎样以及用户不想要最大类别h‾\overline{h}h推荐又会变成怎样 为了回答这些问题UCI框架使用了一个用户可控的排序策略 这里的Yu,i′Y{u,i}Yu,i′​是修正的排序分数β∈[0,1]\beta\in [0,1]β∈[0,1]是调整用户控制强度的系数。r(i)r(i)r(i)表示项目iii的正则项 在细粒度控制下r(i)r(i)r(i)鼓励推荐更多的目标类别h^\hat{h}h^中的项目如果施加了粗粒度控制则减少最大类h‾\overline{h}h。 目标类别预测 由于大量的项目类别的存在用户在细粒度项目特征控制上来选择目标类是一种巨大负担。即使粗粒度控制部分消除了这种负担但是可以通过对用户预测可能的目标类别来进一步减弱这种负担。如果用户希望减少历史最大类别可以预测用户可能喜欢历史中的哪个项目类别然后使用细粒度项目特征控制来改善粗粒度项目特征控制。 如图五所示将用户的交互项目按照时间排序然后将交互序列分成两部分分别获得项目类别的分布。然后使用多层感知机根据第一部分来预测第二部分的分布。在训练过程中MLPs使用所有用户的类别分布来捕获1时间兴趣转移例如在一些类别上逐渐增加的偏好2项目类别之间的关系例如喜欢动作电影的用户可能也喜欢犯罪电影。在推理阶段使用第二部分的分布来预测top-K目标类别。此外构造干预do(h‾0)do(\overline{h}0)do(h0)来指示减少类别h‾\overline{h}h的用户控制。top-K项目类别被视为细粒度控制的目标项目。最终UCI进一步通过使用目标类别预测来强化粗粒度项目特征控制。 UCI总结 在项目特征控制下用户ID表示仍然将历史喜好进行编码这与增加目标类别或者减少历史大部分类别的目标相冲突。因此1UCI首先构建了反事实推理来减弱用户ID表示的因果效应。2对于粗粒度项目特征控制UCI利用目标类别预测来获得top-K目标类别3UCI采用了等式(3)中的排序策略来进行推荐。 4 实验 RQ1. UCI如何通过四种用户控制来消除过滤气泡调整推荐RQ2. 用户如何使用系数即α\alphaα和β\betaβ来控制推荐RQ3. 提出的反事实推理如何影响推荐 4.1 实验设定 数据集 作者使用三种真实世界数据集来进行实验DIGIX-Video、ML-1M以及Amazon-Book。 将评分大于等于4的项目作为积极样本。通过时间戳来排序交互分割成80%、10%以及10%作为训练、验证以及测试集。对于每个交互随机地采样一个未观测的交互来作为训练的负样本。 用户特征控制评估 由于线上测试的代价过大作者设计了一种离线评估设定1假设一些用户想要消除过滤气泡并且提供了四种控制2根据用户控制不同的推荐方法生成推荐3在准确性以及消除过滤气泡的测量上进行评估。例如Isolation Index、MCD以及Coverage。 数据集 对于用户特征控制使用DIGIX-Video来进行评估因为该数据集拥有丰富的用户特征例如性别和年龄以及视频类别。相反Amazon-Book只有用户ID特征ML-1M中的用户被数据集偏差严重地影响77%的用户最喜欢的电影类别是“戏剧”和“喜剧”10%的流行电影占据了52%的交互。因此不同特征的用户表现出了相似的交互分布。因此。Amazon-Book和ML-1M不能很好地适应用户特征上的过滤气泡的评估。本工作中作者在DIGIX-Video数据集的性别组和年龄组分别测试了细粒度和粗粒度的用户特征控制。用户在细粒度控制下以性别相反的群体为目标并希望在粗粒度控制下跳出自己的年龄组。这是因为年龄组的数量更大因此用户更有可能使用粗粒度控制而不需要指定目标年龄组的负担。 基线 所有的基线以及提出的UCI都是模型无关的这些模型在FM以及NFM两个代表性推荐模型上来进行比较。 1woUF在没有用户特征的情况下训练模型这可能会缓解推荐训练过程中不同用户组之间的隔离。 2changeUF使用训练好的推荐模型并且只改变用户特征为目标x^\hat{x}x^来进行推理。例如将年龄从30变成18。changedUF被用来细粒度用户特征控制。 3maskUF摒弃了原始用户特征x‾\overline{x}x来进行粗粒度用户特征控制推理。 4Fairco[30]是一个用户可控的排序算法追求项目组别之间的公平曝光推荐机会。 5Diversity[59]将重排序方法与最小化列表内相似性的多样化推荐结合。 测量 为了测量表现效果使用全排序原型[49]并且top-10项目被返回作为推荐。采用Recall\textbf{Recall}Recall和NDCG\textbf{NDCG}NDCG来衡量精确性。为了确定过滤气泡的严重性使用IsolationIndex\textbf{Isolation Index}Isolation Index以及Coverage\textbf{Coverage}Coverage来估计组别隔离程度以及推荐的多样性。此外对于目标用户组上的细粒度用户特征控制作者采用了DIS-EUC\textbf{DIS-EUC}DIS-EUC来比较用户和组别之间推荐的距离。 形式化来说将x‾\overline{x}x和x^\hat{x}x^分别表示为用户uuu原始的以及目标的组别du∈RMd_u \in \mathbb{R}^Mdu​∈RM是用户uuu的推荐项目类别分布g‾u∈RM\overline{g}_u\in \mathbb{R}^Mg​u​∈RM通过平均原始组别x‾\overline{x}x中的用户来表示相同的分布g^∈RM\hat{g}\in \mathbb{R}^Mg^​∈RM表示目标组别x^\hat{x}x^的相同分布。然后对用户uuu计算DIS-EUCdis(du,g^u)−dis(du,g‾u)\text{DIS-EUC}\text{dis}(d_u,\hat{g}_u)-\text{dis}(d_u,\overline{g}_u)DIS-EUCdis(du​,g^​u​)−dis(du​,g​u​)这里的dis(⋅)\text{dis}(\cdot)dis(⋅)使用欧拉距离。DIS-EUC衡量了用户到两个组别的距离差异这里更大的距离标志着更严重的组别隔离以及过滤气泡。 评估项目特征控制 作者在从训练到测试数据集上产生偏好转变的用户上构造实验。对于每个用户获得在训练以及测试数据集上最大的项目类别然后根据不同的最大类别选择用户。这模拟了用户想要减弱历史过滤气泡并且想要更多的其他类别项目的场景。在DIGIX-Video、ML-1M以及Amazon-Book上选择的用户数量分别是4320、3806以及5155。 基线 通过下列方法为选择的用户生成推荐 1woIF不适用项目特征训练FM和NFM 2Fairco 3Diversity 4Reranking是一个UCI的变体在等式(3)中只使用排序测量 5C-UCI表示在粗粒度控制下进行目标类别预测的UCI策略 6F-UCI表示在细粒度控制下的UCI知道每个用户的目标类别即测试集中的最大类别。 度量 对于模型表现的比较作者使用了Recall、NDCG以及Coverage。此外作者使用了一个新的度量Weighted NDCG(W-NDCG)该度量对目标类别中的正项目、非目标类中的正项目以及负项目分别分配NDCG分数2、1和0分。W-NDCG区分在目标类别和非目标类别中的正项目并且偏好目标类别中的正项目。此外作者使用了MCD以及Target Category DominationTCD来计分别算历史最大类别的比例以及推荐中用户的目标类别。 超参数设定 作者通过[22]中的设定来训练FM和NFM用户/项目的表示大小为64batch size为1024使用Adagrad进行参数优化。学习率在{0.001,0.01,0.05}中进行搜索。NFM以及目标类别预测中的MLP的尺寸在{4,8,16,32}中进行微调正则化系数在{0,0.1,0.2}中进行搜索。目标类别预测中的K从{1,2,……,5}中选择。此外cu(⋅)c_u(\cdot)cu​(⋅)和ci(⋅)c_i(\cdot)ci​(⋅)对照组中的α\alphaα和β\betaβ分别在{0, 0.1,……,0.5}以及{0,0.01,……,0.1}中进行选择。在验证集中根据Recall值来选择最好的模型。