開放搜索簡介

開放搜索是阿里集團搜索業務中臺AIOS體系打造的智能搜索云平臺。目前阿里集團內500+業務接入，主要包括釘釘、盒馬、菜鳥口碑等，整個集群在索引的文檔數量已經超過了600億，日均的PV已經超過了百億。在雙十一當天查詢的QPS分值超過了百萬，文檔實時更新TPS峰值15萬+ ，并且整個服務非常平穩，沒有任何降級。在2014年開放搜索正式通過阿里云進行商業化輸出。

一站式智能搜索業務開發平臺

開放搜索產品優勢：

相比于開源和自建的搜索，在核心引擎上面更穩定，更高性能；
達摩院多年在NLP領域相關積累，通過查詢分析和排序搜索等形式開放，使用戶在初始階段就具備了一個高質量搜索效果；
搜索引導功能支持千人千面；
強開放性，支持多種定制的手段，可以有內置的模型，也可以回流用戶自己的模型。
免運維，無需做運維操；

AI.OS引擎系統

阿里巴巴搜索推薦事業部自研的AI.OS技術體系服務于阿里集團內部90%以上的搜索業務，AI.OS系統天生具有彈性擴縮容，故障快速恢復的能力，比自建或開源的系統更加穩定、更加高效，能夠支持海量的數據處理。

電商/O2O場景搜索常見問題

電商行業智能搜索系統

query處理流程

用戶在搜索框中輸入查詢詞，然后后端的系統根據對它進行分析，分析的結果發送給搜索引擎，找到用戶想要的商品做排序返回用戶最想要的商品，最后將這些商品做一些人工干預，或者是直接最終返回的搜索結果頁給用戶展示出來。

如何構建電商行業智能搜索系統

如果我們從零開始去構建一個電商行業的智能搜索系統，我們需要解決哪些問題那？

商品如何建庫？如何準確的理解用戶的查詢意圖？
如何為用戶提供個性化的搜索體驗？
如何根據用戶的查詢返回最匹配的結果？
常見的功能怎么構建？比如下拉提示、熱詞、底紋等；
相關技術人員問題；

開放搜索電商行業模板搜索架構

商品建庫

電商行業模板在應用結構和索引結構上面為用戶提供了一個默認的模板。比如說將商品常用的字段抽象成了它的應用結構，并且根據搜索積累，為這些為電商搜索應用創建的對應的，默認的索引結構，用戶可能不需要有相關的領域知識就可以創建出搜索系統應用，查詢分析和用意圖理解方面，并且結合行業的特征做針對性的分詞的優化，行業實體識別的優化，同義詞糾錯的優化和類目預測的優化。

查詢分析鏈路

電商行業分詞

分詞是影響搜索效果的最基礎的模塊。開放搜索集成了淘寶搜索同款的電商分詞器，訓練語料來自淘寶搜索多年積累的百萬級有標注的電商行業數據。

分詞效果對比：

電商語義理解

命名實體識別

電商NER問題定義

對電商Query和標題進行實體詞打標識別其中的品牌、品類、品類修飾、型號、款式等40種類別；

難點

品牌更新快歧義大；

例：播（女裝品牌）、老爸（食品品牌

品類存在修飾關系；

例：華為手機（品類修飾）透明手機殼（品類）

解決思路

現有框架知識庫更新

基于老模型鏈路重新構建全量知識庫，F1 69 -> 74

標注訓練數據，使用神經網絡模型

標注10萬條數據，耗時4個月，BiLSTM-CRF模型，F1 74 -> 78

神經網絡模型結合知識庫

技術創新GraphNER框架結合監督模型與知識庫，F1 78 -> 82

查詢分析行業增強版效果

query改寫

文本query

針對查詢詞處理之后改寫的query

個性化query

在查詢詞改寫基礎之上引入個性化信息，比如u2i，i2i，u2s2等

向量query

在查詢詞改寫基礎之上引入向量信息，需要對查詢詞進行向量化

多路召回技術

電商排序

支持兩輪排序機制，粗排和精排

粗排參與的文檔數量比較多，可能是幾萬到幾十萬量級，所以對排序的耗時要求比較嚴格，從而導致它能使用的特征就比較少。

精排參與的排序的數量比較少，所以打分使用特征可以多一些。

定制排序-Cava腳本

Cava與排序表達式相比有更高的靈活性和開放性，方便用戶自由的定制自己的排序規則，它是開放搜索自己研發的一個類java 的語言，性能和C++相當，支持面向對象的程和即時編譯；不同的數據類型支持類的定義，多種運算符和一些簡單的控流程控制語句。

另外一個很重要的部分是在開發語言的基礎之上，開放搜索封裝了通用的排序特征和為了方便用戶開發排序新的排序特征，也封了一些框架類的相關特征。通過這些特征，用戶可以直接在腳本中引用，從而開發出自己新的排序腳本，大大簡化了開發成本。

搜索引導功能

內置熱搜、底紋、下拉提示多樣搜索引導算法模型，無需開發系統每天自動訓練模型，對用戶搜索意圖起到重要的引導作用，大大降低后續查詢意圖理解、相關性、排序、運營干預等環節的調優難度，對提升整體業務目標可以起到非常好的鋪墊作用。

搜索前引導：

搜索中引導：

電商行業模板實踐案例

案例1客戶情況：

某電商購物平臺，與淘寶天貓等一線商家合作，每日選擇優惠券供用戶領取使用,導購電商行業排名前TOP5；

行業模板應用效果：

- 功能和性能遠超同類競品，無結果率下降20%，CTR絕對值提升3%；
- 工程架構類開發和系統運維人力成本降低，團隊成員專注業務開發，幫助業務發展速度更快；
- 搜索引導成交的GMV顯著提升；

案例2客戶情況：

某上市的電商分期購物平臺，為年輕人提供正規化、透明化、個性化的消費金融產品與服務；

行業模板應用效果：

- 商品交易額增長：通過搜索服務增加了商品曝光率，帶動商品下單轉化，轉化率同比增長15% 訂單轉化提升：
- 從商品詳情頁到下單頁的轉化率同比增長20% 接口性能大幅提升；
- 搜索接口耗時從100ms降低到20ms 使企業能夠將資源精力著重投入到用戶拉新、升級現金業務等的核心業務上；
- 彈性擴容，預估容量峰值，滿足雙十一大促等特殊時段的搜索服務需求；