夸克浏览器是阿里旗下拥有极速AI引擎的高速智能浏览器。Quaker以极速智能搜索为导向，致力于为用户提供交互更智能高效、内容更专业权威的新一代搜索引擎。同时也不断实现极致产品体验的突破。
目前，Quark不仅提供极致的搜索体验，还探索基于深度学习的AI工具，通过高效的算法效果和全流程的性能优化，提供更好的用户体验。在实际应用过程中，深度学习模型的效果远好于传统模型，但由于算法的高复杂度，预测性能成为制约模型最终在线性能的核心问题。NVIDIATensorRT通过优化计算图，实现高效内核，使用更高效的硬件，加快了模型预测时间，使预测速度提高了1 ~ 3倍。
智能相机功能对ORC的实时性能提出了新的要求
夸克浏览器为用户提供智能相机功能。打开Quark APP后，可以通过相机入口(如下图左下方红框所示)访问智能相机功能，可以看到智能相机提供的具体功能(如右下方所示)，包括万能扫描、学习辅导、万物识别等功能。这些功能对实时性要求极高，很多功能的底层核心技术都依赖于OCR。OCR作为核心环节，需要承担巨大的流量，其效果和性能影响着整个上层业务的用户体验。
OCR的整个过程包括检测、识别等多个模型，以及复杂的前后处理，整体耗时10s。时间长严重影响用户体验，无法满足在线要求。影响性能的因素主要有三个:单个模型占用显存太多，整个过程无法部署在同一个GPU上，数据传输需要在多个GPU上进行。多GPU部署导致GPU利用率低；模型本身性能较慢，涉及复杂的检测和识别模型；在整个过程中，模型的前后处理比较复杂。
NVIDIA Tensor RT booster模型的性能提升
与目前的性能优化方案相比，Quark选择了NVIDIA TensorRT作为模型优化的底层框架，对模型进行优化。TensorRT提供完整的端到端模型性能优化工具，支持TF、ONNX等相关框架模型，使用后模型性能大幅提升。
1.TensorRT优化模型结构，用高效内核实现，支持FP16和INT8量化。部分机型使用tensort，机型性能提升2-3倍，内存降低到原来的30% ~ 50%。
2.部分模型使用FP16 precision后，模型效果下降。在NVIDIA工作人员的指导下，Quark团队设定了模型的混合精度，模型性能相比FP16略有下降，但整体效果可以满足要求。
3.对于部分转换为tensort失败的模型，进行模型分析，单独提取模型耗时部分进行模型优化。
4.在使用tensort的过程中，Nsight Systems发现tensortOP在某些场景下的表现差强人意。在NVIDIA工作人员的指导下，通过调整OP的用法解决了问题。
TensorRT助力OCR全流程性能优化
有了NVIDIA TensorRT，夸克浏览器大大提高了模型的性能，降低了模型本身的内存消耗，提高了GPU的利用率。优化整体流程和模型后，所有模型都可以部署在单个GPU上，整体耗时在400 ms以内。
夸克技术人员说:tensort文档齐全，功能方便。用户可以低门槛使用它带来的优化，无需手动编写复杂的模型转换工具，大大降低了用户的投入成本。与其他模型优化框架相比，TensorRT具有更好的通用性、易用性和性能。
这次通过优化整个OCR流程的性能，Quark Browser也积累了一套适合内部使用的模型性能优化方案，在遇到其他模型性能问题时也是有的放矢。目前，Quark已经将TensorRT相关优化工具集成到其浏览器内部平台中，并应用到其他商业模式中，取得了良好的效果。
本文来自少年我念你投稿，不代表舒华文档立场，如若转载，请注明出处：https://www.chinashuhua.cn/24/478379.html
微信扫一扫 
