在電子商務(wù)領(lǐng)域，推薦價值是挖掘用戶的潛在購買需求，縮短用戶與商品的距離，增強用戶的購物體驗。

京東推薦的進化歷史豐富多彩。 JD的推薦始于2012年，當時推薦的產(chǎn)品甚至基于規(guī)則匹配。整個推薦的產(chǎn)品系列組合就像一個松散的原始部落。部落和部落之前沒有任何工程或算法交集。 2013年，中國大數(shù)據(jù)時代來臨。一方面，如果事情沒有觸及大數(shù)據(jù)，那么它們似乎還不夠。另一方面，京東的業(yè)務(wù)在今年發(fā)展迅速，傳統(tǒng)的方式跟不上業(yè)務(wù)。開發(fā)后，推薦團隊為此目的設(shè)計了一個新的推薦系統(tǒng)。

隨著業(yè)務(wù)的快速發(fā)展和移動互聯(lián)網(wǎng)的到來，多屏（京東App，京東PC商城，M站，微信Q等）互操作，推薦類型逐漸從傳統(tǒng)產(chǎn)品推薦擴展到其他類型建議，例如活動?；诖髷?shù)據(jù)和個性化推薦算法，個性化推薦業(yè)務(wù)需求相對較強，以達到向不同用戶展示不同內(nèi)容的效果。

為此，該團隊于2015年底再次升級了推薦系統(tǒng)。在2016年618期間，個性化推薦亮相，尤其是團隊創(chuàng)建的“智能商店”，實現(xiàn)了活動場地的個性化分配，不僅帶來了GMV的顯著改善，而且大大降低了人工成本，大大提高了交通效率和用戶體驗，實現(xiàn)了商家和用戶的雙贏。該產(chǎn)品贏得了集團2016年的優(yōu)秀產(chǎn)品。為了更好地支持各種個性化的場景推薦服務(wù)，推薦系統(tǒng)經(jīng)過迭代優(yōu)化和升級，未來將朝著“所有屏幕智能推薦”的方向發(fā)展。 ”。

推薦產(chǎn)品

從購買意圖，購買決策到最終訂單的觀點來看，推薦產(chǎn)品可以幫助用戶在購物鏈接上的任何節(jié)點上做出某種程度的決定。

推薦的產(chǎn)品開發(fā)流程

推薦的產(chǎn)品開發(fā)過程經(jīng)歷了幾個階段（圖1），從簡單的關(guān)聯(lián)推薦過程到個性化推薦，逐步過渡到場景智能推薦。從相關(guān)和類似的產(chǎn)品推薦過渡到多功能，多維，實時用戶行為，以及與用戶場景相結(jié)合的全面智能建議。

圖1推薦的產(chǎn)品開發(fā)歷史

多屏多種產(chǎn)品形式

多類型主要是指涵蓋多種類型的推薦類型，如商品，活動，分類，優(yōu)惠券，樓層，入口地圖，文章，清單，商品等。在移動互聯(lián)網(wǎng)時代，多屏幕場景非常普遍，在多個屏幕上集成用戶信息可以使個性化推薦更加準確。多屏集成背后的技術(shù)是通過前端掩埋點，用戶行為觸發(fā)掩埋事件，以及通過點擊流系統(tǒng)收集多屏幕行為信息。行為數(shù)據(jù)用于通過實時流計算平臺計算用戶的興趣偏好，從而根據(jù)用戶的興趣偏好重新排序推薦結(jié)果，實現(xiàn)個性化推薦效果。京東多屏終端如圖2所示。

圖2京東多屏終端

推薦的系統(tǒng)架構(gòu)

整體業(yè)務(wù)結(jié)構(gòu)

推薦系統(tǒng)的目標是通過全方位的準確數(shù)據(jù)描繪用戶的購買意圖，推薦用戶購買產(chǎn)品的意愿，為用戶提供最佳體驗，提高訂單的轉(zhuǎn)換率，并增強用戶的粘性。推薦系統(tǒng)的業(yè)務(wù)架構(gòu)如圖3所示。

圖3顯示了系統(tǒng)的業(yè)務(wù)架構(gòu)

系統(tǒng)結(jié)構(gòu)。提供統(tǒng)一的HTTP推薦服務(wù)，為京東各終端的推薦服務(wù)提供服務(wù)。

模特服務(wù)。為了提高個性化效果，開發(fā)了一系列公共個性化服務(wù)。用戶維度具有用戶行為服務(wù)和用戶縱向服務(wù)。產(chǎn)品維度具有產(chǎn)品縱向，區(qū)域維度具有單元格縱向，而要素維度具有要素服務(wù)。通過這些基本服務(wù)，個性化建議更簡單，更精確。

機器學習。在算法模型的訓練階段，嘗試了各種機器學習模型，結(jié)合離線評估和在線A/B，驗證算法模型在不同場景下的效果，并提高推薦的轉(zhuǎn)換率。

數(shù)據(jù)平臺。數(shù)據(jù)是建議的來源，包括數(shù)據(jù)收集和數(shù)據(jù)計算。雖然數(shù)據(jù)是整體推薦架構(gòu)的最低級別，但它非常重要，因為數(shù)據(jù)與推薦的健康發(fā)展和改進直接相關(guān)。

個性化推薦架構(gòu)

在開始的早期，推薦的產(chǎn)品相對簡單，每個推薦的產(chǎn)品都作為獨立服務(wù)實施。新版推薦系統(tǒng)是一個系統(tǒng)項目，依賴于數(shù)據(jù)，架構(gòu)，算法和人機交互的有機結(jié)合。新版推薦系統(tǒng)的目標是通過個性化數(shù)據(jù)挖掘，機器學習和其他技術(shù)將“千人一面”轉(zhuǎn)變?yōu)椤俺汕先f人”，以提高用戶忠誠度和用戶體驗，改善用戶購物決定。質(zhì)量和效率;改善網(wǎng)站交叉銷售能力，縮短用戶購物路徑，提高流量轉(zhuǎn)換率（CVR）。新版推薦系統(tǒng)目前支持多種類型的個性化推薦，包括商品，商店，品牌，活動，優(yōu)惠券，樓層等。新版?zhèn)€性化推薦系統(tǒng)架構(gòu)如圖4所示。

圖4新版?zhèn)€性化推薦系統(tǒng)架構(gòu)

個性化推薦系統(tǒng)架構(gòu)中的不同顏色代表不同的業(yè)務(wù)處理場景：數(shù)據(jù)處理部分（最低級綠色模塊），包括離線數(shù)據(jù)預(yù)處理，機器學習模型訓練，在線實時行為訪問，實時特征計算。推薦平臺（藍色模塊）主要反映推薦系統(tǒng)的服務(wù)模塊響應(yīng)用戶請求的交互關(guān)系。推薦的系統(tǒng)核心模塊：

推薦網(wǎng)關(guān)。推薦服務(wù)的門戶負責推薦請求的有效性檢查，請求分發(fā)，在線調(diào)試以及匯編請求響應(yīng)的結(jié)果。

調(diào)度引擎。負責根據(jù)策略調(diào)度和流量分配推薦服務(wù)，主要基于配置中心推薦產(chǎn)品的實驗配置策略，支持用戶拆分，隨機卸載，按關(guān)鍵參數(shù)拆分。支持定制埋點，收集實時數(shù)據(jù);支持應(yīng)急預(yù)案功能，處理緊急情況，并在幾秒鐘內(nèi)生效。

推薦發(fā)動機。負責推薦在線算法邏輯實現(xiàn)，包括召回，過濾，特征計算，排序，多樣化等流程。

個性化的基本服務(wù)。目前，主要的個性化基本服務(wù)包括用戶肖像，產(chǎn)品肖像，用戶行為和預(yù)測服務(wù)。用戶肖像包括用戶的長期利益，短期利益和實時利益。利益主要包括性別，品牌偏好，品類偏好，購買力水平，自營偏好，大小顏色偏好，促銷敏感度，家庭狀況等。商品肖像主要包括產(chǎn)品詞，修飾詞，品牌詞，質(zhì)量點，價格等級，性別，年齡，標簽等。用戶行為主要獲取用戶的近期行為，包括用戶的搜索，點擊，關(guān)注，加入購買，下訂單等。預(yù)測服務(wù)主要基于用戶的歷史行為，使用機器學習訓練模型來調(diào)整召回候選集的權(quán)重。

功能服務(wù)平臺。負責為個性化服務(wù)提供功能數(shù)據(jù)和功能計算。特色服務(wù)平臺主要用于特征數(shù)據(jù)的有效聲明和管理，實現(xiàn)特征資源的共享，并快速支持有效的聲明，在線，測試和A /不同的功能。 B實驗結(jié)果比較。

個性化技術(shù)（橙色模塊），個性化主要通過特征和算法訓練模型進行重新排序，以實現(xiàn)準確推薦。特征服務(wù)平臺主要用于提供大量的多維特征信息。推薦的場景回放技術(shù)是指將用戶的實時場景特征信息反饋到推薦的排名，并且在線學習（在線學習）和深度學習是個性化的大規(guī)模特征計算。服務(wù)。

個性化推薦系統(tǒng)的主要優(yōu)點是支持多種推薦和多屏產(chǎn)品形式，支持算法模型A/B實驗快速迭代，支持系統(tǒng)架構(gòu)和算法解耦，支持存儲資源解耦和推薦引擎計算，支持預(yù)測召回和推薦引擎計算的解耦支持定制埋點功能;支持推薦的功能數(shù)據(jù)服務(wù)平臺，支持推薦的場景播放。

數(shù)據(jù)平臺

京東擁有大量的用戶和各種產(chǎn)品以及各種促銷活動，可以根據(jù)用戶在京東平臺上的行為記錄積累數(shù)據(jù)，如瀏覽，添加購物車，關(guān)注，搜索，購買，評論等行為數(shù)據(jù)，以及商品屬性數(shù)據(jù)的積累，如品牌，類別，描述和價格，以及活動和材料等資源的積累。這些數(shù)據(jù)是大規(guī)模機器學習的基礎(chǔ)，也是更準確的個性化建議的先決條件。

數(shù)據(jù)收集

用戶行為數(shù)據(jù)收集過程一般與用戶在京東平臺（京東App，京東PC網(wǎng)站，微信Q）上的操作有關(guān)，這將觸發(fā)埋點請求點擊流系統(tǒng)（專用于收集行為數(shù)據(jù)的平臺系統(tǒng)）。點擊流系統(tǒng)收到請求后，進行實時消息傳輸（用于實時計算業(yè)務(wù)消耗）和本地日志（用于離線模型計算），并自動將行為日志提取到大數(shù)據(jù)平臺中心。算法人員在數(shù)據(jù)集市中使用機器學習訓練模型。這些算法模型應(yīng)用于推薦服務(wù)，推薦服務(wù)協(xié)助用戶做出決策，進一步影響用戶的購物行為，并將購物行為數(shù)據(jù)發(fā)送到點擊流，實現(xiàn)數(shù)據(jù)采集閉環(huán)。

離線計算

目前，離線計算平臺所涉及的計算內(nèi)容主要包括離線模型，離線特征，用戶肖像，產(chǎn)品圖像和用戶行為。離線計算主要在Hadoop上運行MapReduce，有些是在Spark平臺上計算的。計算結(jié)果通過公共衍生工具導入。庫。該團隊開發(fā)了插件衍生工具，以降低離線數(shù)據(jù)開發(fā)和維護的成本，同時考慮到各種服務(wù)，復雜類型和不同的存儲類型。數(shù)據(jù)離線計算架構(gòu)如圖5所示。

圖5數(shù)據(jù)離線計算架構(gòu)

在線計算

目前，在線計算的范圍主要包括用戶的實時行為，實時用戶圖像，用戶的實時反饋以及實時交互特征計算。在線計算基于業(yè)務(wù)需求，快速捕獲用戶興趣和場景特征，以便實時反饋用戶的推薦結(jié)果和排名，為用戶提供個性化體驗。在線計算實現(xiàn)消息主要源自Kafka集群的消息訂閱和JMQ消息訂閱。它通過Storm集群或Spark集群的實時消耗推送到Redis集群和HBase集群存儲。數(shù)據(jù)在線計算框架如圖6所示。

圖6數(shù)據(jù)在線計算架構(gòu)

關(guān)鍵技術(shù)

推薦系統(tǒng)涉及許多技術(shù)要點?？紤]到有限的空間，這里我們關(guān)注個性化推薦的更重要部分。

推薦引擎

個性化推薦系統(tǒng)的核心是推薦引擎。推薦引擎的一般處理過程是回憶候選集，執(zhí)行規(guī)則過濾，使用算法模型評分，模型融合排序，并推薦結(jié)果多樣化顯示。所使用的主要技術(shù)是機器學習模型，結(jié)合知識地圖，挖掘商品之間的關(guān)系，根據(jù)用戶場景，通過高維特征計算和大規(guī)模召回，大規(guī)模排序模型，個性化推薦，提高分類效果，給用戶終極的購物體驗。

推薦引擎處理邏輯主要包括分配任務(wù)，執(zhí)行推薦器和合并召回結(jié)果。推薦者負責調(diào)用候選集，業(yè)務(wù)規(guī)則過濾，特征計算和排序。推薦引擎的技術(shù)架構(gòu)如圖7所示。

圖7推薦的引擎技術(shù)架構(gòu)

分配。根據(jù)建議的方案，根據(jù)召回源分割任務(wù)。關(guān)鍵是讓分布式任務(wù)達到負載平衡。

推薦人。推薦引擎的核心執(zhí)行組件以獲取個性化推薦結(jié)果。推薦器的實現(xiàn)如圖8所示。

圖8推薦架構(gòu)

召回階段。通常根據(jù)用戶肖像，用戶偏好，地理位置等來調(diào)用候選集。如果新用戶沒有足夠的召回資源，則冷啟動服務(wù)將用于召回。

規(guī)則過濾階段。過濾人工規(guī)則，多產(chǎn)品，子主碼，郵遞差價等。

特征計算階段。結(jié)合用戶的實時行為，用戶肖像，知識地圖和特征服務(wù)，計算召回候選集的特征向量。

分揀階段。使用算法模型對召回候選集進行評分，并根據(jù)召回源和候選集的分數(shù)根據(jù)特定策略對候選集進行重新排序。

合并。考慮到某種多樣性，多個推薦者返回的推薦結(jié)果將根據(jù)業(yè)務(wù)規(guī)則合并。例如，京東App Home的實施過程猜猜你喜歡“如圖9所示，首先，根據(jù)用戶肖像信息和用戶近期行為及相關(guān)反饋信息，選擇不同的召回方法來過濾業(yè)務(wù)規(guī)則;對于滿足要求的候選產(chǎn)品集，提取用戶特征，產(chǎn)品特征，用戶和產(chǎn)品的交叉特征;該模型根據(jù)這些特征計算候選產(chǎn)品的得分;根據(jù)每個產(chǎn)品的得分對產(chǎn)品進行分類，豐富推薦理由，考慮用戶體驗，精細調(diào)整最終排名推薦結(jié)果，如多樣性顯示。

圖9猜測你想實現(xiàn)流程圖

用戶肖像

京東大數(shù)據(jù)與其他制造商的區(qū)別在于JD具有最長的價值鏈和整個過程的數(shù)據(jù)積累。京東數(shù)據(jù)的特點非常全面。數(shù)據(jù)鏈接記錄每個用戶操作的每一步：從登錄到搜索，瀏覽，選擇產(chǎn)品，頁面時間，評論閱讀，是否關(guān)注促銷，添加購物車，下訂單，付款，交付方式，是否有售后和返工，記錄整個用戶的購物行為的完整數(shù)據(jù)。通過對這些用戶行為和相關(guān)場景的分析，構(gòu)建了京東用戶的肖像，如圖10所示。

不僅有用戶的年齡，性別，購物習慣，而且還有大量基于購物行為的數(shù)據(jù)，例如他們是否已婚，是否有孩子，以及他們是否對促銷很敏感。此外，實時用戶肖像可以在幾秒鐘內(nèi)分析用戶的購買意圖和實時興趣偏好。京東推薦的用戶圖像技術(shù)系統(tǒng)如圖11所示。

用戶肖像用于京東各種終端的推薦產(chǎn)品。由618推出的智能商店是用戶肖像的典型應(yīng)用場景。智能商店產(chǎn)品包括尋找好貨，個性化地板，釘鞋，活動，優(yōu)惠券，類別，標簽等。以峰值為例，根據(jù)當前用戶的用戶圖像中的肖像模型（性別，年齡，促銷敏感度，類別偏好，購買力）對推薦結(jié)果進行加權(quán)，以便對產(chǎn)品最感興趣的用戶是排名第一。

用戶肖像也是場景推薦的核心基礎(chǔ)。以東家小院為例，根據(jù)用戶的歷史行為，收集了大量的場景標簽，并根據(jù)當前用戶的肖像模型調(diào)整場景標簽的順序。如果用戶選擇“Care for All Diseases”標簽，則將根據(jù)用戶肖像中的性別，年齡，類別和促銷敏感度等肖像模型來執(zhí)行推薦項目的重新排序。

圖10用戶肖像示意圖

圖11京東推薦的用戶肖像技術(shù)系統(tǒng)

特色服務(wù)平臺

特征是屬性的描述。該功能是個性化推薦的基礎(chǔ)。常用功能分為單面特征和雙邊特征。單邊特征是指對象本身的屬性描述，例如產(chǎn)品的顏色;雙邊特征是指兩個對象之間的交互程度的描述，例如用戶在過去一小時中瀏覽的品牌與候選集中品牌的匹配程度。從該功能生成的場景中，它分為離線功能和實時功能。離線特征由算法模型預(yù)先生成，實時特征由實時計算生成。特征的質(zhì)量直接影響推薦的效果，特征計算的性能以及個性化推薦的處理能力。此外，共享和多路復用功能可以提高算法的迭代速度，節(jié)省人工成本。

特色服務(wù)管理平臺主要側(cè)重于特征數(shù)據(jù)和特征計算，并有效地進行聲明和管理，以實現(xiàn)特征資源的共享和重用。功能服務(wù)平臺可以快速滿足有效聲明，在線，測試和不同功能的A/B實驗比較的要求，使功能可維護，可識別，可驗證。功能服務(wù)平臺的主要功能如下：離線功能的自定義使用，在線功能的自定義使用，通過自定義功能生成新功能，部分功能，模型的在線聲明，以及快速A/B具有不同的特征效果。功能服務(wù)平臺體系結(jié)構(gòu)如圖12所示。

圖12功能服務(wù)平臺架構(gòu)

場景功能播放技術(shù)

建議的一般處理邏輯是為每個請求調(diào)用一批項目，然后根據(jù)用戶的行為數(shù)據(jù)和用戶模型計算每個項目的特征。算法模型基于每個項目的特征計算每個項目的得分，并最終選擇具有最高得分的項目以推薦給用戶。

在線計算功能的行為是一次性的，不會被記錄。因此，在離線訓練模型時，如果要使用上述功能，則需要在離線計算機上再次計算這些功能。不幸的是，離線計算的特征通常與生產(chǎn)線上的特征不完全相同，這導致模型訓練不佳。場景特征回放圖如圖13所示。推薦的服務(wù)調(diào)用推薦引擎。推薦引擎通過功能回放服務(wù)記錄場景功能，并將它們推送到大數(shù)據(jù)平臺。機器學習根據(jù)場景特征數(shù)據(jù)重新訓練算法模型，從而影響推薦引擎。排序形成場景的閉環(huán)推薦，以實現(xiàn)更準確的個性化推薦。

圖13場景特征播放示意圖

場景特征回放技術(shù)架構(gòu)如圖14所示。場景特征回放技術(shù)實現(xiàn)如下。在線功能通常是一系列值。我們根據(jù)某些規(guī)則將這些功能組合成一個字符串，然后使用HTTP POST方法將這些功能異步發(fā)送到服務(wù)器。

圖14場景特征回放技術(shù)架構(gòu)

服務(wù)器使用Openresty接收這些HTTP請求，并將HTTP請求中的功能數(shù)據(jù)置于本地磁盤文件中。 Openresty是一款高性能Web服務(wù)器，可以承受高QPS并具有高穩(wěn)定性。它的兩個特點保證了服務(wù)的穩(wěn)定性。

數(shù)據(jù)提取系統(tǒng)將服務(wù)器群集磁盤上的數(shù)據(jù)提取到臨時存儲庫。

數(shù)據(jù)提取系統(tǒng)壓縮并過濾數(shù)據(jù)，然后將其推送到Hive表。不同類型的請求放在不同的分區(qū)中，使算法工程師更容易使用這些數(shù)據(jù)。

個性化推薦系統(tǒng)是一個系統(tǒng)工程，它依靠產(chǎn)品，數(shù)據(jù)，架構(gòu)，算法，人機交互等來推薦場景。本節(jié)重點介紹JD從這些維度推出的個性化推薦系統(tǒng)。隨著業(yè)務(wù)發(fā)展和社交生活方式的變化，推薦系統(tǒng)不斷升級，并經(jīng)歷了從PC時代到移動互聯(lián)網(wǎng)時代的轉(zhuǎn)變，從相關(guān)推薦到個性化推薦，從純產(chǎn)品推薦到多種推薦。個性化推薦系統(tǒng)已經(jīng)成千上萬的人。確實，個性化的影響也需要改進，體驗類別中的一些問題正在逐步改善。目前正在進行或需要改進的方面包括：廣泛的算法知識圖和深度學習的廣泛應(yīng)用;推薦系統(tǒng)將更好地支持大規(guī)模召回，高維特征計算，在線學習以及更實時和更準確的產(chǎn)品的建議;要“所有屏幕都是智能推薦”的方向。最后，我希望個性化的推薦系統(tǒng)能讓購物更輕松，更人性化，更豐富，更好。

端。

作者：漁夫

資料來源：http://www.36dsj.com/archives/104981

本文來自大家都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù)

該地圖來自unsplash，基于CC0協(xié)議

« 牽手《十萬個為什么》背后，華宇數(shù)字教育生態(tài)正在形成 | 連鎖酒店，性玩具和新零售：如何玩新零售？ »