首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

美团BERT的探索和实践

2019-12-16

BERT模型作用拔群,在多项自然言语了解使命上完成了最佳作用,可是因为其深层的网络结构和巨大的参数量,假如要布置上线,还面对很大应战。以Query目的分类为例,咱们根据MT-BERT模型微调了目的分类模型,和谐工程团队进行了1000QPS压测验验,布置30张GPU线上卡参加运算,在线服务的TP999高达50ms之多,难以满意上线要求。

为了削减模型呼应时刻,满意上线要求,业界首要有三种模型轻量化计划。

在美团点评查找Query目的分类使命中,咱们优先测验了模型裁剪的计划。因为查找Query长度较短,整个Sequence包含的语义信息有限,裁剪掉几层Transformer结构对模型的语义表征才干不会有太大影响,一起又能大幅削减模型参数量和推理时刻。经过试验验证,在微调过程中,咱们将MT-BERT模型裁剪为4层Transfomer结构,试验作用如图7所示。能够发现,Query分类场景下,裁剪后的MBM没有发作较大影响。因为削减了一些不必要的参数运算,在美食和酒店两个场景下,作用还有小幅的进步。

MBM在同等压测条件下,压测服务的TP999到达了12-14ms,满意查找上线要求。除了模型裁剪,为了支撑更多线上需求,咱们还在进行模型蒸馏试验,蒸馏后的6层MT-BERT模型在大多数下流使命中都没有明显的作用丢失。值得一提的是,BERT模型轻量化是BERT相关研讨的重要方向,最近Google发布了最新ALBERT模型[23],在削减模型参数量的一起在自然言语了解数据集GLUE上改写了SOTA。

图8展现了根据BERT模型微调能够支撑的使命类型,包含句对分类、单句分类、问答和序列标示使命。

根据MT-BERT的微调,咱们支撑了美团查找和点评查找的多个下流使命,包含单句分类使命、句间联系使命和序列标示使命等等。

美团点评作为生活服务渠道,积累了很多实在用户谈论。对用户谈论的细粒度情感剖析在深刻了解商家和用户、发掘用户情感等方面有至关重要的价值,并且在互联网职业已有广泛运用,如个性化引荐、智能查找、产品反应、事务安全等领域。为了更全面更实在的描绘商家各特点状况,细粒度情感剖析需求判别谈论文本在各个特点上的情感倾向。为了优化美团点评事务场景下的细粒度情感剖析作用,NLP中心标示了包含6大类20个细粒度要素的高质量数据集,标示过程中选用严厉的多人标示机制确保标示质量,并在AI Challenger 2018细粒度情感剖析竞赛中作为竞赛数据集验证了作用,招引了学术界和工业届很多部队参赛。

针对细粒度情感剖析使命,咱们规划了根据MT-BERT的多使命分类模型,模型结构如图9所示。模型架构全体分为两部分:一部分是各情感维度的参数同享层,另一部分为各情感维度的参数独享层。其间参数同享层选用了MT-BERT预练习言语模型得到文本的上下文表征。MT-BERT依靠其深层网络结构以及海量数据预练习,能够更好的表征上下文信息,特别拿手提取深层次的语义信息。 参数独享层选用多路并行的Attention+Softmax组合结构,对文本在各个特点上的情感倾向进行分类猜测。经过MT-BERT优化后的细粒度情感剖析模型在Macro-F1上获得了明显进步。

细粒度情感剖析的重要运用场景之一是群众点评的精选点评模块,如图10所示。精选点评模块作为点评App用户检查高质量谈论的进口,其间精选点评标签承载着结构化内容聚合的作用,支撑着用户高效查找方针UGC内容的需求。细粒度情感剖析能够从不同的维度去发掘谈论的情感倾向。根据细粒度情感剖析的情感标签能够较好地协助用户挑选检查,一起显露更多的POI信息,协助用户高效的从谈论中获取消费攻略。

在美团点评的查找架构中,Deep Query Understanding都是重要的前置模块之一。关于用户Query,需求首要对用户查找目的进行辨认,如美食、酒店、表演等等。咱们跟内部的团队协作,测验了直接运用MT-BERT作为Query目的分类模型。为了确保模型在线Inference时刻,咱们运用裁剪后的4层MT-BERT模型上线进行Query目的的在线目的辨认,获得的事务作用如图11所示:

一起关于查找日志中的高频Query,咱们将猜测成果以词典办法上传到缓存,进一步削减模型在线猜测的QPS压力。MBM累计支撑了美团点评查找17个事务频道的Query目的辨认模型,比较原有模型,均有明显的进步,每个频道的辨认精确度都到达95%以上。MBM模型上线后,进步了查找针对Query文本的目的辨认才干,为下流的查找的召回、排序及展现、频道流量报表、用户认知报表、Bad Case归因等体系供给了更好的支撑。

引荐理由是点评查找智能中心数据发掘团队根据群众点评UGC为每个POI出产的自然言语可解说性理由。关于查找以及引荐列表展现出来的每一个商家,咱们会用一句自然言语文原本杰出商家的特征和卖点,然后让用户能够对展现成果有所感知,“知其然,更知其所以然”。近年来,可解说的查找体系越来越遭到重视,给用户展现产品或内容的一起透出解说性理由,正在成为业界通行做法,这样不仅能进步体系的透明度,还能进步用户对渠道的信赖和承受程度,从而进步用户体会作用。在美团点评的查找引荐场景中,引荐理由有着广泛的运用场景,起到解说展现、亮点引荐、场景化承载和个性化表现的重要作用,现在现已有46个事务方接入了引荐理由服务。

关于不同的事务场景,对引荐理由会有不同的要求。在外卖查找场景下,用户或许更为重视菜品和配送速度,不太重视饭馆的就餐环境和空间,这种状况下只保存契合外卖场景的引荐理由进行展现。同样地,在酒店查找场景下,用户或许更为重视酒店特征相关的引荐理由。

咱们经过内部协作,为事务方供给契合不同场景需求的引荐理由服务。引荐理由场景化分类,即给定不同事务场景界说,为每个场景标示少数数据,咱们能够根据MT-BERT进行单句分类微调,微调办法如图8所示。

句间联系使命是对两个短语或许语句之间的联系进行分类,常见句间联系使命如自然言语推理、语义类似度判别等。

Query改写是在查找引擎中对用户查找Query进行同义改写,改进查找召回成果的一种办法。在美团和点评查找场景中,一般一个商户或许菜品会有不同的表达办法,例如“火锅”也称为“涮锅”。有时不同的词语表述相同的用户目的,例如“婚纱拍摄”和“婚纱照”,“配眼镜”和“眼镜店”。Query改写能够在不改动用户目的的状况下,尽或许多的召回满意用户目的的查找成果,进步用户的查找体会。为了削减误改写,添加准确率,需求对改写后Query和原Query做语义共同性判别,只要语义共同的Query改写对才干上线收效。Query语义共同性检测归于STS使命。咱们经过MT-BERT微调使命来判别改写后Query语义是否发作漂移,微调办法如图8所示,把原始Query和改写Query构成语句对,即“[CLS] text_a [SEP] text_b [SEP]”的方式,送入到MT-BERT中,经过“[CLS]”判别两个Query之间联系。试验证明,根据MT-BERT微调的计划在Benchmark上准确率和召回率都超越原先的XGBoost分类模型。

序列标示是NLP根底使命之一,给定一个序列,对序列中的每个元素做一个符号,或许说给每一个元素打一个标签,如中文命名实体辨认、中文分词和词性标示等使命都归于序列标示的领域。命名实体辨认,是指辨认文本中具有特定含义的实体,首要包含人名、地名、组织名、专有名词等,以及时刻、数量、钱银、份额数值等文字。

在美团点评事务场景下,NER首要需求包含查找Query成分剖析,UGC文本中的特定实体辨认/抽取,以及客服对话中的槽位辨认等。NLP中心和酒店查找算法团队协作,根据MT-BERT微调来优化酒店查找Query成分剖析使命。酒店Query成分剖析使命中,需求辨认出Query中城市、地标、商圈、品牌等不同成分,用于确认后续的召回战略。

在酒店查找Query成分剖析中,咱们对标签选用“BME”编码格局,即对一个实体,榜首个字需求猜测成实体的开端B,最终一个字需求猜测成实体的完毕E,中心部分则为M。以图13中酒店查找Query成分剖析为例,关于Query “北京昆泰酒店”,成分剖析模型需求将“北京”辨认成地址,而“昆泰酒店”辨认成POI。MT-BERT猜测高频酒店Query成分后经过缓存供给线上服务,结合后续召回战略,明显进步了酒店查找的订单转化率。

为了下降事务方算法同学运用MT-BERT门槛,咱们开发了MT-BERT一站式练习和推理渠道,一期支撑短文本分类和句间联系分类两种使命,现在已在美团内部敞开试用。

根据一站式渠道,事务方算法同学上传事务练习数据和挑选初始MT-BERT模型之后,能够提交微调使命,微调使命会主动分配到AFO集群闲暇GPU卡上主动运转和进行作用验证,练习好的模型能够导出进行布置上线。

正如前文所述,虽然在海量无监督语料上进行预练习言语模型获得了很大的成功,但其也存在着必定的缺乏。BERT模型经过在很多语料的练习能够判别一句话是否通畅,可是却不了解这句话的语义,经过将美团大脑等常识图谱中的一些结构化先验常识融入到MT-BERT中,使其更好地对生活服务场景进行语义建模,是需求进一步探究的方向。

MT-BERT模型在各个NLU使命上获得了惊人的作用,因为其杂乱的网络结构和巨大的参数量,在实在工业场景下上线面对很大的应战。如安在坚持模型作用的前提下,精简模型结构和参数现已成为当时抢手研讨方向。咱们团队在低精度量化、模型裁剪和常识蒸馏上现已做了开始测验,可是怎么针对不同的使命类型挑选最合适的模型轻量化计划,还需求进一步的研讨和探究。

[1] Peters, Matthew E., et al. “Deep contextualized word representations.” arXiv preprint arXiv:1802.05365 .

[2] Howard, Jeremy, and Sebastian Ruder. “Universal language model fine-tuning for text classification.” arXiv preprint arXiv:1801.06146 .

[3] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving Language Understanding by Generative Pre-Training. Technical report, OpenAI.

[5] Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805 .

[6] Ming Zhou. “The Bright Future of ACL/NLP.” Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. .

[7] Deng, Jia, et al. “Imagenet: A large-scale hierarchical image database.” 2009 IEEE conference on computer vision and pattern recognition. Ieee, .

[8] Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.

[9] Mikolov, Tomas, et al. “Distributed representations of words and phrases and their compositionality.” Advances in neural information processing systems. 2013.

[10] Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. Glove: Global vectors for word representation. In EMNLP.

[11] Oren Melamud, Jacob Goldberger, and Ido Dagan.2016. context2vec: Learning generic context embedding with bidirectional lstm. In CoNLL.

[12] Hochreiter, Sepp, and J rgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 : 1735-1780.

[13] 张俊林. 从Word Embedding到BERT模型—自然言语处理中的预练习技能发展史. https://zhuanlan.zhihu.com/p/49271699

[14] Sebastion Ruder. “NLP’s ImageNet moment has arrived.”http://ruder.io/nlp-imagenet/.

[15] Liu, Yinhan, et al. “Roberta: A robustly optimized BERT pretraining approach.” arXiv preprint arXiv:1907.11692 .

[16] 郑坤. 运用TensorFlow练习WDL模型功能问题定位与调优. https://tech.meituan.com/2018/04/08/tensorflow-performance-bottleneck-analysis-on-hadoop.html

[17] Uber. “Meet Horovod: Uber’s Open Source Distributed Deep Learning Framework for TensorFlow”.https://eng.uber.com/horovod/

[18] Goyal, Priya, et al. “Accurate, large minibatch sgd: Training imagenet in 1 hour.” arXiv preprint arXiv:1706.02677 .

[19] Baidu. https://github.com/baidu-research/baidu-allreduce

[20] Micikevicius, Paulius, et al. “Mixed precision training.” arXiv preprint arXiv:1710.03740 .

[21] 仲远,富峥等. 美团餐饮文娱常识图谱——美团大脑揭秘. https://tech.meituan.com/2018/11/22/meituan-brain-nlp-01.html

[22] Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. “Distilling the knowledge in a neural network.” arXiv preprint arXiv:1503.02531 .

[23] Google. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. https://openreview.net/pdf?id=H1eA7AEtvS .

杨扬,佳昊,礼斌,任磊,峻辰,玉昆,张欢,金刚,王超,王珺,富峥,仲远,都来自美团查找与NLP部。

查找与NLP部是美团人工智能技能研制的中心团队,致力于打造高功能、高扩展的查找引擎和抢先的自然言语处理中心技能和服务才干,依托查找排序、NLP、Deep Learning、Knowledge Graph等技能,处理美团海量文本数据,打通餐饮、游览、休闲文娱等本地生活服务各个场景数据,不断加深对用户、场景、查询和服务的了解,高效地支撑形状各样的生活服务查找,处理查找场景下的多目的、个性化、时效性问题,给用户极致的查找体会,构建美团常识图谱,建立通用NLP Service,为美团各项事务供给智能的文本语义了解服务。咱们的团队既重视AI技能的落地,也展开中长期的查找、NLP及常识图谱根底研讨。现在项目及事务包含查找引擎研制、常识图谱、智能客服、语音语义查找、文章谈论语义了解、智能助理等。

美团查找与NLP部诚招智能对话算法专家、引荐算法专家、常识图谱算法专家、NLP算法专家、数据发掘专家,以及查找引擎架构师、高档后台研制工程师、前端技能开发资深工程师、测验工程师、数据工程师等很多岗位,欢迎有爱好的同学,投递简历至:tech@meituan.com。

热门文章

随机推荐

推荐文章