怎么增加网站的收录量福州网站设计哪里好

当前位置： 首页 > news >正文

怎么增加网站的收录量,福州网站设计哪里好,wordpress 认证,wordpress翻译插件下载召回聚合 用户的查询意图往往是复杂多样的#xff0c;可能涉及到不同的领域、主题和语义层面。因此#xff0c;召回体系中通常通过多路召回的方式从不同角度去理解和满足用户的查询需求。此外#xff0c;多路召回通过各召回通道并行计算可以在海量数据中能够快速响应#…召回聚合 用户的查询意图往往是复杂多样的可能涉及到不同的领域、主题和语义层面。因此召回体系中通常通过多路召回的方式从不同角度去理解和满足用户的查询需求。此外多路召回通过各召回通道并行计算可以在海量数据中能够快速响应同时实现负载均衡。 在面对多个差异化设计的召回通道同时触发并返回文档的情况下需要充分发挥各通道的优势从大量召回候选中筛选整合以实现各通道互补最终在保障的系统效率的同时提高召回的准确率和业务目标的达成率确保整体效果的最优化。召回聚合通过采用轻量级的算法策略对召回结果筛选最终将数千篇文档传递给粗排模块进行更精细的排序操作。 蛇形合并 蛇形合并策略通过交替、蛇形的方式将来自不同通道的候选项进行融合通常会先选择一种通道的候选项然后交替选择其他通道的候选项。 假设有三个召回通道A、B、C那么可以按如下方式选取 第1个候选项来自通道A第2个候选项来自通道B第3个候选项来自通道C第4个候选项再从通道A选取以此类推 RRF合并Reciprocal Rank Fusion RRF 对来自不同召回通道的排序结果进行加权赋予排名靠前的候选项更高的权重最终生成一个综合排序。具体来说对于每个检索结果计算其在每个路径中的排名然后取这些排名的倒数之和作为该结果的最终得分。 RRF 的计算公式如下 R R F S c o r e ( d ) ∑ i 1 k 1 R a n k i ( d ) K {\mathrm{RRF~Score}}(d)\textstyle{\sum{i1}^{k}{\frac{1}{\mathrm{Rank}{i}(d)K}}} RRF Score(d)∑i1k​Ranki​(d)K1​ 其中 d d d 表示召回结果 R a n k i ( d ) \mathrm{Rank}_{i}(d) Ranki​(d) 表示该结果在第 i i i 条路径中的排名 K K K 为调节参数通常取值为60用于平滑排名使得即使排名较低的候选项也能获得一定的权重。 贝叶斯优化合并 贝叶斯调参可以帮助自动化调整融合策略中的参数从而找到最优的合并方式。通过贝叶斯优化我们可以根据召回合并过程中不同通道的重要性、权重等参数寻找最佳的合并策略以提升召回的质量和效率。 贝叶斯优化Bayesian Optimization是一种基于贝叶斯统计方法的全局优化算法通常用于优化函数比较复杂、代价高昂、无法直接求导的情况。具体步骤如下 定义目标函数定义目标函数 f ( x ) f(x) f(x) x x x 是超参数用于评估召回合并策略的效果 f ( w ) M e t r i c ( M e r g e ( R e c a l l s ( w ) ) ) f(\mathbf{w})\mathbf{Metric}(\mathbf{Merge}(\mathrm{Recalls}(\mathbf{w}))) f(w)Metric(Merge(Recalls(w))) Recalls ( w ) [ R 1 ( w 1 ) , R 2 ( w 2 ) , … , R n ( w n ) ] \text{Recalls}(\mathbf{w}) [R_1(w_1), R_2(w_2), \dots, R_n(w_n)] Recalls(w)[R1​(w1​),R2​(w2​),…,Rn​(wn​)] 表示来自不同通道的召回结果每个 R i ( w i ) R_i(w_i) Ri​(wi​) 是通道 i i i 根据权重 w i wi wi​ 所返回的候选集 Merge ( ⋅ ) \text{Merge}(\cdot) Merge(⋅) 表示将各个通道的召回结果按权重加权融合 Metric ( ⋅ ) \text{Metric}(\cdot) Metric(⋅) 是根据合并后的候选集评估的性能指标 设置参数空间如果使用加权平均的合并方式可以将每个通道的权重作为调节参数进行优化 比如设定权重参数 w [ w 1 , w 2 , ⋅ ⋅ ⋅ , w n ] \mathbf{w}[w{1},w{2},\cdot\cdot\cdot,w{n}] w[w1​,w2​,⋅⋅⋅,wn​]每个召回通道的权重 w i w{i} wi​ 影响候选项排名和选择 w [ w 1 , w 2 , ⋅ ⋅ ⋅ , w n ] w i t h ∑ i 1 n w i 1 , w i ∈ [ 0 , 1 ] {\bf w}[w{1},w{2},\cdot\cdot\cdot,w{n}]\;\;\;\;\mathrm{with}\;\;\;\;\sum{i1}^{n}w{i}1,\;\;\;\;w{i}\in[0,1] w[w1​,w2​,⋅⋅⋅,wn​]withi1∑n​wi​1,wi​∈[0,1] 初始化高斯过程为待优化的参数空间设定先验分布通常使用高斯过程Gaussian Process, GP作为先验表示对参数空间的初步认识 p ( f ( w ) ) ∼ G P ( m ( w ) , k ( w , w ′ ) ) p(f(\mathbf{w}))\sim{\mathcal{G P}}(m(\mathbf{w}),k(\mathbf{w},\mathbf{w}^{\prime})) p(f(w))∼GP(m(w),k(w,w′)) 其中 m ( w ) m(\mathbf{w}) m(w) 是目标函数的均值函数通常假设为零 k ( w , w ′ ) k(\mathbf{w}, \mathbf{w}) k(w,w′) 是协方差函数用于表示不同参数配置之间的相似性 更新后验分布在每次迭代中根据当前的参数空间和目标函数值更新高斯过程的后验分布并基于当前的后验分布生成新的参数选择。贝叶斯调参使用获取函数Acquisition Function来选择下一个要评估的参数点。常见的获取函数如期望改进Expected Improvement, EI α ( w ) E [ Δ f ( w ) ] E [ max ⁡ ( 0 , f ( w best ) − f ( w ) ) ] \alpha(\mathbf{w}) \mathbb{E}[ \Delta f(\mathbf{w}) ] \mathbb{E}[ \max(0, f(\mathbf{w}{\text{best}}) - f(\mathbf{w})) ] α(w)E[Δf(w)]E[max(0,f(wbest​)−f(w))] f ( w best ) f(\mathbf{w}_{\text{best}}) f(wbest​) 是当前最好的目标函数值 Δ f ( w ) \Delta f(\mathbf{w}) Δf(w) 是期望的改进 选择下一个评估点通过最大化获取函数来决定下一个评估点。获取函数根据当前的后验分布选择一个最有可能提升目标函数值的参数组合从而进行下一轮评估 w ∗ arg ⁡ max ⁡ w α ( w ) \mathbf{w}^\arg \max _{\mathbf{w}} \alpha(\mathbf{w}) w∗argwmax​α(w) 重复迭代贝叶斯优化会根据每一轮评估的结果调整先验分布不断优化目标函数最终找到全局最优的参数配置 p ( f ( w ) ∣ w ∗ , f ( w ∗ ) ) ∼ G P ( μ ( w ) , Σ ( w ) ) p(f(\mathbf{w})\mid\mathbf{w}^{},f(\mathbf{w}^{}))\sim{\mathcal{G}}{\mathcal{P}}({\mu}(\mathbf{w}),\Sigma(\mathbf{w})) p(f(w)∣w∗,f(w∗))∼GP(μ(w),Σ(w))
最终贝叶斯优化会返回最优的参数 w ∗ \mathbf{w}^ w∗。 此外除了参数为各通道的权重对于每篇文档的综合打分Query-Doc相关性、Doc质量、Doc时效性等分数的融合公式的权重参数也可以采用贝叶斯优化的方式设定以此通过对Doc打分实现排序。 总结 在召回模块中各召回通道通常会通过不同的算法、模型或策略获取候选文档。由于这些召回通道目标、算法和策略的差异它们生成的候选项通常具有不同的质量和覆盖面。召回聚合的任务是将这些候选项通过一定的方式进行加权、排序和融合动态控制各个通道的召回量配额确保最终的候选集合既具有足够的多样性又能保持较高的相关性。 参考文献 Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning MethodsPractical Bayesian Optimization of Machine Learning Algorithms 更多内容请点击搜索系统算法解析