分类
股票如何精准抄底

四种基础技术指标简介

前面使用排序结果蒸馏是一种比较粗糙使用精排信息的方式,我们在这个基础上进一步添加预测分数蒸馏[8],希望粗排模型输出的分数与精排模型输出的分数分布尽量对齐,如下图 5 所示: 图5 精排预测分数构造辅助损失 在具体实现上,我们采用两阶段蒸馏范式,基于预先训练好的精排模型来蒸馏粗排模型,蒸馏 Loss 采用的是粗排模型输出和精排模型输出的最小平方误差,并且添加一个参数 Lambda 来控制蒸馏 Loss 对最终 Loss 的影响,如公式(1)所示。使用精排分数蒸馏的方法,离线效果 [email protected] +5PP,线上效果 CTR +0.05%。

名列前茅!兴业证券连续四年获得发改委企业债券主承销商信用评价最高A类评价

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

科技部 财政部印发《企业技术创新能力提升行动方案(2022—2023年)》,探索政府和社会资本合作开展关键核心技术攻关

1. 推动惠企创新政策扎实落地。推动研发费用加计扣除、高新技术企业税收优惠、科技创业孵化载体税收优惠、技术交易税收优惠等普惠性政策“应享尽享”,加快落实和推广中关村新一轮先行先试改革措施,进一步放大支持企业创新的政策效应。完善落实国有企业创新的考核、激励与容错机制,健全民营企业获得创新资源的公平性和便利性措施,形成各类企业“创新不问出身”的政策环境。搭建面向企业的创新政策综合服务平台,组织开展企业创新政策的系列宣讲培训,提供更加精准的政策推送服务。健全企业创新政策落实的跟踪问效机制,并将政策落实情况作为地方督查激励考核的重要参考。

2. 建立企业常态化参与国家科技创新决策的机制。建立企业家科技创新咨询座谈会议制度,定期组织沟通交流,开展问计咨询。构建企业创新高端智库网络,引导支持企业提升科技创新战略规划能力。加大国家科技创新规划和重点领域专项规划面向企业的宣贯力度。健全需求导向和问题导向的科技计划项目形成机制,强化从企业和产业实践中凝练应用研究任务。国家科技计划年度指南编制中的重点产业领域技术方向更多征求企业的需求和意见。对于与产业发展密切相关的重点专项,提高指南编制及项目评审中企业专家的比例。国家科技专家库中大幅增加企业专家的数量。

3. 引导企业加强关键核心技术攻关。制定国家鼓励企业研发的重点领域指导目录,引导企业围绕国家需求开展技术创新。国家科技计划中产业应用目标明确的项目,鼓励企业牵头组织实施,探索政府和社会资本合作开展关键核心技术攻关。支持数字经济、平台经济企业加强硬科技创新。支持中央企业、民营科技领军企业聚焦国家重大需求,牵头组建体系化、任务型创新联合体。对于企业牵头的国家科技计划项目,强化以创新联合体方式组织实施。依托更多企业组建一批国家技术创新中心等各类创新基地。加强国家工程技术研究中心评估考核和优化整合,符合条件的纳入国家技术创新中心管理。

4. 支持企业前瞻布局基础前沿研究。对企业投入基础研究实行税收优惠政策。鼓励企业通过捐赠等方式设立基础前沿类的研究基金、研发项目和奖项。优化国家自然科学基金企业创新发展联合基金管理,聚焦企业发展重大需求中的关键科学问题,前瞻部署基础研究。探索建立国家自然科学基金、国家重点研发计划基础前沿类重点专项成果与企业需求对接机制。支持企业通过研发合作、平台共建、成果共享等方式参与国家实验室建设。按照全国重点实验室建设新标准加快企业国家重点实验室重组,支持企业围绕国家重大需求和前沿方向建设一批全国重点实验室。对主要依托企业建设的全国重点实验室通过承担重大科技项目等方式予以支持。开展未来产业科技园建设试点,加快培育前沿领域科技企业。

5. 促进中小企业成长为创新重要发源地。在“十四五”国家重点研发计划应用类重点专项及部分科技创新2030—重大项目中设立科技型中小企业项目。通过国家科技成果转化引导基金等支持科技型中小企业转移转化科技成果,提升技术创新水平。健全优质企业梯度培育体系,夯实优质企业梯度培育基础,支持掌握关键核心技术的专精特新“小巨人”企业和单项冠军企业创新发展。完善“众创空间—孵化器—加速器—产业园”孵化链条,推广“投资+孵化”模式,提升各类创新创业载体的专业化服务能力。

6. 加大科技人才向企业集聚的力度。加强对企业家的战略引导和服务,举办企业家科技创新战略与政策研讨班,充分发挥企业家才能,支持企业家做创新发展的探索者、组织者、引领者。推动企业招收更多高水平科技人才,扩大企业博士后招收规模,鼓励企业吸引更多海外博士后。国家科技人才计划加强对企业科技领军人才和重点领域创新团队的支持。支持企业依托各类科技计划项目和创新基地平台等开发科研助理岗位。加快落实国有企业科技创新薪酬分配激励机制,对符合条件的国有企业科技人才实行特殊工资管理政策。落实国有科技型企业股权和分红激励政策,研究评估并适时推广上市高新技术企业股权激励个人所得税递延纳税试点政策。开展校企、院企科研人员“双聘”等流动机制试点,推广企业科技特派员制度。

7. 强化对企业创新的风险投资等金融支持。建立金融支持科技创新体系常态化工作协调机制。鼓励各类天使投资、风险投资基金支持企业创新创业,深入落实创业投资税收优惠政策,引导创投企业投早、投小、投硬科技。用好用足科技创新再贷款、重大科技成果产业化专题债等政策工具,发挥各类金融机构的作用。推广企业创新积分贷、仪器设备信用贷等新型科技金融产品,为10万家以上企业增信授信。推广科技项目研发保险、知识产权保险等新型科技保险产品。鼓励地方建设科技企业信息平台,共享工商、社保、知识产权、税务、海关、水电等信息,完善金融机构与科技企业信息共享机制。

8. 加快推进科技资源和应用场景向企业开放。加大国家重大科研基础设施、大型科学仪器和专利基础信息资源等向企业开放力度,将服务企业情况纳入国家科技资源共享服务平台的评价考核指标。支持地方通过设立数据专区、分级授权等方式,为企业提供公共数据资源。推动国家超算中心、智能计算中心等面向企业提供低成本算力服务。支持建设一批重大示范应用场景,鼓励创新型城市、国家自创区、国家高新区、国家农高区、国家新一代人工智能创新发展试验区等发布一批应用场景清单,向企业释放更多场景合作机会。

9. 加强产学研用和大中小企业融通创新。支持企业与高校、科研院所共建一批新型研发机构。开展促进科技成果转化专项行动,推动各类科技成果转化项目库向企业开放,加快各级科技计划等成果在企业转化和产业化。支持将高校、科研院所职务科技成果通过许可等方式授权企业使用。面向重点行业龙头企业征集技术产品问题,组织中小企业“揭榜”。在大企业牵头承担的科技计划项目中安排一定比例的中小企业参加。鼓励各地培育大中小企业融通创新平台和基地,促进产业链上下游企业合作对接。引导大中小企业融通型特色载体进一步提升服务能力,为融通创新提供有力支撑。依托中国创新创业大赛和“创客中国”中小企业创新创业大赛等,持续开展大中小企业融通创新竞赛。

10. 提高企业创新国际化水平。支持企业建设海外科技创新中心、离岸创新创业中心等基地。支持有条件的企业牵头成立产业创新领域的国际性社会组织,参与制定国际标准。推动一批国家高新区企业与“一带一路”沿线国家科技园区企业在技术、项目、人才等方面开展深层次合作。更好发挥知识产权海外维权援助中心、海外知识产权纠纷应对指导中心作用,提升企业“走出去”知识产权运用和保护能力。加大对企业申报实施国家外国专家项目和国家引才引智示范基地的支持力度。完善对外资研发机构的支持措施,鼓励外资研发机构参与政府科技项目,开展科技成果转化,设立博士后工作站等。

三、保障措施

1. 加强组织保障。依托国家技术创新工程部际协调小组加强统筹协调,会同有关部门、地方积极落实相关任务,形成提升企业技术创新能力的工作合力。2022年9月底前,广泛部署动员,各部门、各地方制定贯彻落实行动方案的工作计划,细化任务安排和职责分工。2022年底前,各部门、各地方结合实际制定出台具体的落实举措,推出一批可操作的行动抓手和政策工具。2023年底前,推动各项举措全面落地见效。

2. 加强资源保障。各部门、各地方进一步优化科技投入结构,加大各类科技计划对企业技术创新的支持力度,加强各类创新基地平台在企业的布局。充分发挥国家科技成果转化引导基金和中央引导地方科技发展资金的作用,撬动更多社会资金支持企业技术创新。国家自创区、国家高新区、国家农高区等载体要为区内企业技术创新提供资金支持、政策引导和服务保障,企业技术创新支持情况将纳入评估考核内容。

3. 加强宣传引导。各部门、各地方要加强本行动方案及相关企业创新政策的宣传解读。支持各类新闻媒体开设宣传企业技术创新的专栏和专题节目,总结推广一批企业技术创新能力提升的典型经验和案例。加大正面宣传和舆论引导力度,提振企业发展信心,为企业创新创业营造良好社会氛围。

四种基础技术指标简介

样本选择偏差 :级联排序系统下,粗排离最后的结果展示环节较远,导致粗排模型离线训练样本空间与待预测的样本空间存在较大的差异,存在严重的样本选择偏差。

粗排精排联动 :粗排处于召回和精排之间,粗排需要更多获取和利用后续链路的信息来提升效果。

2. 粗排演进路线

2016 年 :基于相关性、质量度、转化率等信息进行线性加权,这种方法简单但是特征的表达能力较弱,权重人工确定,排序效果存在很大的提升空间。

2017 年 :采用基于机器学习的简单 LR 模型进行 Pointwise 预估排序。

2018 年 :采用基于向量内积的双塔模型,两侧分别输入查询词、用户以及上下文特征和商户特征,经过深度网络计算后,分别产出用户&查询词向量和商户向量,再通过内积计算得到预估分数进行排序。该方法可以提前把商户向量计算保存好,所以在线预测快,但是两侧信息的交叉能力有限。

2019 年 :为了解决双塔模型无法很好地建模交叉特征的问题,将双塔模型的输出作为特征与其他交叉特征通过 GBDT 树模型进行融合。

3. 粗排优化实践

随着大量的效果优化工作[5,6]在美团搜索精排 NN 模型落地,我们也开始探索粗排 NN 模型的优化。考虑到粗排有严格的性能约束,直接将精排优化的工作复用到粗排是不适用的。下面会介绍关于将精排的排序能力迁移到粗排的精排联动效果优化工作,以及基于神经网络结构自动搜索的效果和性能 trade-off 优化工作。

3.1 精排联动效果优化

粗排模型受限于打分性能约束,这会导致模型结构相比精排模型更加简单,特征数量也比精排少很多,因此排序效果要差于精排。为了弥补粗排模型结构简单、特征较少带来的效果损失,我们尝试知识蒸馏方法[7]来联动精排对粗排进行优化。 知识蒸馏是目前业界简化模型结构并最小化效果损失的普遍方法,它采取一种 Teacher-Student 范式:结构复杂、学习能力强的模型作为 Teacher 模型,结构较为简单的模型作为 Student 模型,通过 Teacher 模型来辅助 Student 模型训练,从而将 Teacher 模型的“知识”传递给 Student 模型,实现 Student 模型的效果提升。精排蒸馏粗排的示意图如下图 2 所示,蒸馏方案分为以下三种:精排结果蒸馏、精排预测分数蒸馏、特征表征蒸馏。下面会分别介绍这些蒸馏方案在美团搜索粗排中的实践经验。 图2 精排蒸馏粗排示意图

3.1.1 四种基础技术指标简介 精排结果列表蒸馏

粗排作为精排的前置模块,它的目标是初步筛选出质量比较好的候选集合进入精排,从训练样本选取来看,除了常规的用户发生行为( 点击、下单、支付 )的 item 作为正样本,曝光未发生行为的 item 作为负样本外,还可以引入一些通过精排模型排序结果构造的正负样本,这样既能一定程度缓解粗排模型的样本选择偏置,也能将精排的排序能力迁移到粗排。下面会介绍在美团搜索场景下,使用精排排序结果蒸馏粗排模型的实践经验。 策略1:在用户反馈的正负样本基础上,随机选取少量精排排序靠后的未曝光样本作为粗排负样本的补充,如图 3 所示。该项改动离线 [email protected]( 指标解释参看附录 )+5PP,线上 CTR 四种基础技术指标简介 +0.1%。 图3 补充排序结果靠后负例 策略2:直接在精排排序后的集合里面进行随机采样得到训练样本,精排排序的位置作为 label 构造 pair 对进行训练,如下图 4 所示。离线效果相比策略1 [email protected] +2PP,线上 CTR +0.06%。 图4 排序靠前靠后构成 pair 对样本 策略3:基于策略2的样本集选取,采用对精排排序位置进行分档构造 四种基础技术指标简介 label ,然后根据分档 label 构造 pair 对进行训练。离线效果相比策略2 [email protected] +3PP,线上 CTR +0.1%。

3.1.2 精排预测分数蒸馏

前面使用排序结果蒸馏是一种比较粗糙使用精排信息的方式,我们在这个基础上进一步添加预测分数蒸馏[8],希望粗排模型输出的分数与精排模型输出的分数分布尽量对齐,如下图 5 所示: 四种基础技术指标简介 图5 精排预测分数构造辅助损失 在具体实现上,我们采用两阶段蒸馏范式,基于预先训练好的精排模型来蒸馏粗排模型,蒸馏 Loss 采用的是粗排模型输出和精排模型输出的最小平方误差,并且添加一个参数 Lambda 来控制蒸馏 Loss 对最终 Loss 的影响,如公式(1)所示。使用精排分数蒸馏的方法,离线效果 [email protected] +5PP,线上效果 CTR +0.05%。

3.1.3 特征表征蒸馏

业界通过知识蒸馏实现精排指导粗排表征建模已经被验证是一种有效提升模型效果的方式[7],然而直接用传统的方法蒸馏表征有以下缺陷:第一是无法蒸馏粗排和精排之间的排序关系,而前文已提到,排序结果蒸馏在我们的场景中,线下、线上均有效果提升;第二是传统采用 KL 散度作为表征度量的知识蒸馏方案,把表征的每一维独立对待,无法有效地蒸馏高度相关的、结构化的信息[9],而在美团搜索场景下,数据是高度结构化的,因此采用传统的知识蒸馏策略来做表征蒸馏可能无法较好地捕获这种结构化的知识。 我们将对比学习技术应用到粗排建模中,使得粗排模型在蒸馏精排模型的表征时,也能蒸馏到序的关系。我们用