摘 要

本文介紹了目前國內(nèi)外跨媒體科技大數(shù)據(jù)知識服務(wù)與交互可視化構(gòu)件的研究進(jìn)展，梳理和分析了科技大數(shù)據(jù)知識服務(wù)構(gòu)件的開放協(xié)同機(jī)制和跨媒體科技大數(shù)據(jù)的動(dòng)態(tài)推演展示與交互可視化，最后對未來工作進(jìn)行了展望。

關(guān)鍵字

科技大數(shù)據(jù)；知識服務(wù)構(gòu)件；交互可視化

0 引言

科技資源呈現(xiàn)的數(shù)據(jù)規(guī)模大、多模態(tài)、更新快速、時(shí)效性高和價(jià)值密度較低等趨勢，對有效獲取和利用科技資源帶來嚴(yán)峻的挑戰(zhàn)，因此，發(fā)現(xiàn)跨媒體科技資源間關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)跨模態(tài)語義關(guān)聯(lián)，并在此基礎(chǔ)上提供知識服務(wù)和可視化至關(guān)重要。利用科技資源間的語義關(guān)聯(lián)關(guān)系，將科技信息可視化，一方面可以利用科技實(shí)體進(jìn)行搜索結(jié)果的排序優(yōu)化，以提供更好的知識服務(wù)；另一方面可以用知識圖譜的形式把科技資源中的實(shí)體概念和實(shí)體概念之間的關(guān)聯(lián)關(guān)系可視化，幫助用戶更好地獲取檢索結(jié)果信息，提高科技信息的檢索性能。

知識服務(wù)構(gòu)件開發(fā)技術(shù)將面向服務(wù)架構(gòu)(SOA) 的思想引入構(gòu)件開發(fā)技術(shù)中，SOA 是一種支持解耦、可協(xié)同性好的的應(yīng)用軟件開發(fā)方式。實(shí)現(xiàn) SOA 思想目前主要有三種服務(wù)構(gòu)件技術(shù)，分別是開放服務(wù)網(wǎng)關(guān)協(xié)議（OSGI）、服務(wù)組件架構(gòu) (SCA) 和 Java 業(yè)務(wù)集成（JBI），這些服務(wù)構(gòu)件技術(shù)都有相對應(yīng)的服務(wù)構(gòu)件模型。

OSGI 是一系列用于面向服務(wù)框架的規(guī)范定義，開放服務(wù)網(wǎng)關(guān)協(xié)議允許所有的用戶服務(wù)應(yīng)用程序可以在同一個(gè)網(wǎng)絡(luò)通信機(jī)器之間進(jìn)行通信。常見的 OSGI 服務(wù)構(gòu)件模型有SOCM。它是一種面向 Java 系統(tǒng)的、可動(dòng)態(tài)變化的構(gòu)件模型。知識服務(wù)構(gòu)件可以通過開放服務(wù)網(wǎng)關(guān)協(xié)議實(shí)現(xiàn)服務(wù)構(gòu)件之間的連接通信，參與連接的構(gòu)件可以組裝成一個(gè) Bundle，再經(jīng)過簡單的拆除與組裝，就可以開發(fā)需要的應(yīng)用程序。

SCA 是 IBM、BEA 等軟件公司在 2005 年聯(lián)合發(fā)布的，是一種新規(guī)范，用于支持 SOA的實(shí)施。它是一個(gè)與網(wǎng)絡(luò)通信交互協(xié)議、服務(wù)訪問請求方式、程序開發(fā)語言都無關(guān)的服務(wù)構(gòu)件模型。SCA 主要為用戶提供的接口類型是WSDL，當(dāng)然也有一部分 SCA 提供的是 Java 開發(fā)語言接口。通過 SCA 可以簡單方便地封裝現(xiàn)在流行的技術(shù)，比如 Springboot 技術(shù)、Spring技術(shù)、Dubbo 技術(shù)、SpringCloud 技術(shù)等，使之成為符合日常需求的服務(wù)構(gòu)件。

JBI 是互聯(lián)網(wǎng)技術(shù)服務(wù)公司 Sun 首次提出的，目的是構(gòu)建一個(gè)規(guī)范的、開放的平臺來實(shí)現(xiàn) Java 企業(yè)級應(yīng)用的集成。在 JBI 的統(tǒng)一框架下，用戶可以自行集成滿足開發(fā)規(guī)范的第三方軟件公司實(shí)現(xiàn)的各種構(gòu)件，用戶植入所有的構(gòu)件可以在 JBI 容器中相互通信、相互協(xié)作。JBI架構(gòu)主要由服務(wù)引擎構(gòu)件與服務(wù)綁定構(gòu)件這兩種重要的構(gòu)件組成，服務(wù)引擎構(gòu)件的主要功能是為插入的業(yè)務(wù)邏輯提供服務(wù)編排；服務(wù)綁定構(gòu)件的主要功能是連接外部應(yīng)用程序與 JBI 構(gòu)件之間的通信。

跨媒體科技大數(shù)據(jù)的交互可視化主要有知識圖譜類可視化、發(fā)展趨勢類可視化、地域發(fā)布類可視化、事務(wù)流程類可視化、綜合信息類可視化等類別，知識圖譜類可視化主要用于展示研究主體之間的關(guān)聯(lián)關(guān)系，同時(shí)可能通過疊加條形圖或折線圖等對科技信息可視化進(jìn)行升級；發(fā)展趨勢類可視化主要用于揭示論文、專利、技術(shù)主題等與時(shí)間的變化關(guān)系；地域發(fā)布類可視化主要用于展示地區(qū)的科研實(shí)力，通過配合熱力圖的使用，可以很快獲知不同地區(qū)的科技能力；事務(wù)流程類可視化主要用于科技產(chǎn)品的發(fā)展周期和相應(yīng)的變化情況；綜合信息類可視化是現(xiàn)如今的發(fā)展趨勢，主要用于大數(shù)據(jù)項(xiàng)目的展示，通過對科技信息的重要程度進(jìn)行分級，分時(shí)展示各類科技信息。隨著 ECharts插件的快速普及，基于 ECharts 技術(shù)的交互式數(shù)據(jù)可視化非常流行。基于 ECharts 技術(shù)的交互式數(shù)據(jù)可視化工具，可以方便地將科技信息轉(zhuǎn)化為科技知識，同時(shí)為用戶提供友好的界面。ECharts 工具可幫助用戶更好地實(shí)現(xiàn)目標(biāo)，并為用戶提供良好的思路?？缑襟w科技大數(shù)據(jù)的交互可視化在大多數(shù)情況下，信息以條形或餅圖、折線圖和其他度量等傳統(tǒng)格式進(jìn)行說明。但是，有時(shí)一些交互式數(shù)據(jù)可視化的高科技工具可提供對實(shí)時(shí)數(shù)據(jù)變化、趨勢、統(tǒng)計(jì)顯著性檢驗(yàn)的即時(shí)圖形響應(yīng)。交互可視化的工具面板通常由儀表板或用戶控制面板組成，其中包含用戶關(guān)注的關(guān)鍵元素。這些儀表板通常排列有不同格式的各種信息塊，可以提供圖形和數(shù)字信息以進(jìn)行分析。

1 科技大數(shù)據(jù)知識服務(wù)構(gòu)件的開放協(xié)同機(jī)制

1.1 基于微服務(wù)知識服務(wù)構(gòu)件的開放協(xié)同機(jī)制

通過使用微服務(wù)技術(shù)對知識服務(wù)構(gòu)件進(jìn)行開發(fā)是一類重要方法，該方法通過 RPC 遠(yuǎn)程調(diào)用完成服務(wù)之間的開放協(xié)同，使知識服務(wù)構(gòu)件具有良好的可擴(kuò)展性和開放性，可以實(shí)現(xiàn)知識服務(wù)構(gòu)件的分布式運(yùn)行，以及實(shí)現(xiàn)知識服務(wù)構(gòu)件開發(fā)的協(xié)同開放。目前已開發(fā)的知識服務(wù)構(gòu)件包括檢索知識服務(wù)構(gòu)件、實(shí)體關(guān)系識別服務(wù)構(gòu)件、可視化服務(wù)構(gòu)件。各個(gè)服務(wù)獨(dú)立進(jìn)行開發(fā)，完成開發(fā)后獨(dú)立進(jìn)行部署，服務(wù)上線后可以使用遠(yuǎn)程過程調(diào)用（RPC）框架或通用的 HTTP協(xié)議進(jìn)行通信交互?；谖⒎?wù)架構(gòu)以服務(wù)為單位，拆分的粒度更細(xì)，更具有分布式和去中心化的特性?；谖⒎?wù)的知識服務(wù)構(gòu)件的服務(wù)定義，如圖 1 所示。

圖 1 基于微服務(wù)知識服務(wù)構(gòu)件的服務(wù)定義

根據(jù)業(yè)務(wù)邏輯，可以將跨媒體科技大數(shù)據(jù)知識服務(wù)與交互可視化系統(tǒng)分解成三個(gè)微服務(wù)構(gòu)件，構(gòu)件之間通過輕量的 HTTP 協(xié)議進(jìn)行通信。當(dāng)用戶需要訪問知識服務(wù)構(gòu)件時(shí)，一般先發(fā)送 http 請求，用戶請求會(huì)先到達(dá)后臺的負(fù)載均衡器；負(fù)載均衡器會(huì)利用負(fù)載均衡算法優(yōu)化請求的分配，以免造成服務(wù)器的負(fù)載不均衡現(xiàn)象，提高了服務(wù)的可用性。依據(jù)用戶請求的具體服務(wù)，分配到具體機(jī)器后，機(jī)器對請求進(jìn)行處理，將處理結(jié)果發(fā)送給用戶，這樣就完成用戶的一次相應(yīng)請求。三個(gè)服務(wù)構(gòu)件相互獨(dú)立，每個(gè)構(gòu)件都有自己的獨(dú)立數(shù)據(jù)庫，檢索服務(wù)主要對應(yīng) Elasticsearch 索引數(shù)據(jù)庫；實(shí)體關(guān)系識別服務(wù)主要對應(yīng) MySQL 關(guān)系型數(shù)據(jù)庫；可視化服務(wù)主要對應(yīng) Neo4j 非關(guān)系型數(shù)據(jù)。每個(gè)服務(wù)構(gòu)件可以獨(dú)立開發(fā)、部署、運(yùn)行，檢索服務(wù)為用戶提供跨媒體科技大數(shù)據(jù)的檢索功能；實(shí)體關(guān)系識別服務(wù)為用戶提供抽取文本中實(shí)體和關(guān)系的功能；可視化服務(wù)為用戶提供搜索結(jié)果可視化、知識圖譜等功能。

基于微服務(wù)架構(gòu)對知識服務(wù)構(gòu)件進(jìn)行開發(fā)，使服務(wù)可以獨(dú)立部署，開發(fā)人員對服務(wù)可以進(jìn)行升級或更改，使構(gòu)件的持續(xù)集成持續(xù)部署（CICD）成為可能，從而使知識服務(wù)構(gòu)件的開發(fā)開放協(xié)同?；谖⒎?wù)的知識服務(wù)構(gòu)件開發(fā)的開放協(xié)同機(jī)制，使開發(fā)人員之間的友好協(xié)作變?yōu)榭赡?，利用各種現(xiàn)代技術(shù)和工具減少開發(fā)人員之間的溝通障礙，真正實(shí)現(xiàn)軟件從開發(fā)到最終上線的全過程自動(dòng)化開發(fā)到運(yùn)維的一體化。通過知識服務(wù)構(gòu)件開發(fā)的開放協(xié)同機(jī)制，能夠顯著提升知識服務(wù)構(gòu)件的開發(fā)效率，縮短交付周期，更加適應(yīng)當(dāng)今快速發(fā)展的互聯(lián)網(wǎng)時(shí)代。

基于微服務(wù)的知識服務(wù)構(gòu)件開發(fā)的開放協(xié)同流程主要由 Gitlab 代碼倉庫、Jenkins 持續(xù) 集 成 工 具、Docker 容 器、Harbor 鏡像倉庫、Kubernetes 容器集群管理系統(tǒng)五部分組成。程序開發(fā)人員在個(gè)人電腦上開發(fā)系統(tǒng)功能，開發(fā)完成并測試通過后，自行將代碼上傳到 Gitlab 代碼倉庫。Gitlab 通過程序員定義好的 Webhook 通知方式，當(dāng)程序員 push 完代碼，Jenkins 持續(xù)集成工具可以自動(dòng)感知，并從 Gitlab 中實(shí)時(shí) pull 最新版的代碼。此時(shí)的Jenkins 會(huì)對最新代碼進(jìn)行編譯檢查。

編譯成功后，可以自動(dòng)進(jìn)行單元測試等。成功通過這一系列操作后，說明開發(fā)的代碼具備上線的條件。此時(shí)，Jenkins 持續(xù)集成工具會(huì)將代碼打包成 Docker 鏡像；打包成功鏡像后，會(huì)將Docker 鏡像 push 到 Harbor 鏡像倉庫；上傳鏡像成功后，Jenkins 會(huì)通知Kubernetes 對服務(wù)進(jìn)行更新。Kubernetes 先是從鏡像倉庫中拉取鏡像，然后進(jìn)行迭代更新，以確保服務(wù)在更新的過程中不會(huì)中斷。通過這些流程，保證知識服務(wù)構(gòu)件的持續(xù)集成持續(xù)部署，從而實(shí)現(xiàn)開發(fā)開放協(xié)同。

1.2 基于對抗生成學(xué)習(xí)和語義相似度跨媒體科技大數(shù)據(jù)的檢索知識服務(wù)

跨媒體科技大數(shù)據(jù)包含文本和圖像數(shù)據(jù)。跨媒體數(shù)據(jù)具有特征異構(gòu)性，實(shí)現(xiàn)跨媒體檢索需要處理不同模態(tài)的數(shù)據(jù)，把文本和圖像數(shù)據(jù)的特征映射到同一語義空間中，再根據(jù)語義相似度對檢索結(jié)果進(jìn)行排序，以實(shí)現(xiàn)跨媒體科技大數(shù)據(jù)的檢索知識服務(wù)。跨媒體科技大數(shù)據(jù)的檢索算法實(shí)現(xiàn)流程主要包括文本特征輸入網(wǎng)絡(luò)、圖像特征輸入網(wǎng)絡(luò)、模態(tài)判別網(wǎng)絡(luò)和特征映射網(wǎng)絡(luò)（見圖 2）。

圖 2 跨媒體科技大數(shù)據(jù)的檢索知識服務(wù)總體框架

輸入一個(gè)（科技文本 - 科技圖像 - 語義）三元組，首先對跨媒體科技文本和跨媒體科技圖像進(jìn)行提取特征，而后分別進(jìn)入到文本特征映射網(wǎng)絡(luò)和圖像特征映射網(wǎng)絡(luò)中，將得到的語義向量作為語義分布網(wǎng)絡(luò)的輸入；特征映射網(wǎng)絡(luò)將同語義數(shù)據(jù)映射后的模態(tài)偏差和同模態(tài)數(shù)據(jù)映射前后的語義偏差最小化，使生成模型達(dá)到最優(yōu)；模態(tài)判別網(wǎng)絡(luò)將映射后數(shù)據(jù)原始模態(tài)判定的誤差最小化，使判別模型達(dá)到最優(yōu)；生成模型和判別模型通過對抗學(xué)習(xí)進(jìn)行訓(xùn)練，最后都達(dá)到較好效果。

2 跨媒體科技大數(shù)據(jù)的動(dòng)態(tài)推演展示與交互可視化

2.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)推演展示

基于循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)推演算法是利用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將知識圖譜中的實(shí)體和關(guān)系向量作為輸入，結(jié)合上一時(shí)刻的狀態(tài)進(jìn)行計(jì)算，得到當(dāng)前時(shí)刻的隱藏值，經(jīng)過迭代運(yùn)算，輸出一個(gè)融合了知識圖譜中的實(shí)體和關(guān)系的結(jié)果向量。利用該算法動(dòng)態(tài)推演知識圖譜中的關(guān)系數(shù)，為構(gòu)建大規(guī)模的科技大數(shù)據(jù)知識圖譜提供基礎(chǔ)。

2.2 基于 ECharts 技術(shù)跨媒體科技大數(shù)據(jù)的交互可視化

基于 ECharts 技術(shù)的交互式數(shù)據(jù)可視化，主要是借助于圖形化手段，將科技數(shù)據(jù)背后的規(guī)律展示給用戶。基于 ECharts 技術(shù)的交互式數(shù)據(jù)可視化工具，可以方便地將科技信息轉(zhuǎn)化為科技知識，同時(shí)為用戶提供友好的界面。依靠強(qiáng)大的數(shù)據(jù)圖形表示，用戶可以實(shí)時(shí)查看、理解和分析數(shù)據(jù)趨勢?？缑襟w科技大數(shù)據(jù)的交互可視化通常以數(shù)字格式，呈現(xiàn)邏輯分析形式。ECharts 工具可幫助用戶更好地實(shí)現(xiàn)目標(biāo)，并為用戶提供良好的思路。跨媒體科技大數(shù)據(jù)的交互可視化在大多數(shù)情況下，信息以條形或餅圖、折線圖和其他度量等傳統(tǒng)格式進(jìn)行說明。但是，有時(shí)一些交互式數(shù)據(jù)可視化的高科技工具，可提供對實(shí)時(shí)數(shù)據(jù)變化、趨勢、統(tǒng)計(jì)顯著性檢驗(yàn)的即時(shí)圖形響應(yīng)?？缑襟w科技大數(shù)據(jù)的交互可視化的其他種類可以包括思維導(dǎo)圖。思維導(dǎo)圖由隨機(jī)鏈接在一起的各種元素組成，通常用于創(chuàng)造性頭腦風(fēng)暴和創(chuàng)新。大數(shù)據(jù)的交互可視化的常見示例可以包括從地理街道地圖到網(wǎng)站使用趨勢、跨媒體科技動(dòng)態(tài)，以及全球 Internet 活動(dòng)的所有內(nèi)容。交互可視化的工具面板通常由儀表板或用戶控制面板組成，其中包含用戶關(guān)注的關(guān)鍵元素。這些儀表板通常排列有不同格式的各種信息塊，可以提供圖形和數(shù)字信息以進(jìn)行分析。

圖 3 基于實(shí)體和關(guān)系統(tǒng)計(jì)的科技大數(shù)據(jù)知識圖譜實(shí)現(xiàn)流程

當(dāng)用戶輸入關(guān)鍵詞時(shí)，通過跨媒體檢索知識服務(wù)構(gòu)件得到科技文本結(jié)果。將科技文本進(jìn)行預(yù)處理后，經(jīng)過實(shí)體關(guān)系抽取模型就可以對現(xiàn)有的科技文本數(shù)據(jù)進(jìn)行實(shí)體識別和關(guān)系抽取，為科技大數(shù)據(jù)知識圖譜的構(gòu)建提供最為重要的技術(shù)支持。在知識圖譜的基礎(chǔ)上，運(yùn)用詞頻分析、共詞分析、網(wǎng)絡(luò)中心度、聚類分析等方法，結(jié)合數(shù)據(jù)統(tǒng)計(jì)與挖掘方法，通過各項(xiàng)統(tǒng)計(jì)指標(biāo)反映技術(shù)的熱度、組織或個(gè)人的影響力等科技實(shí)體隱藏在知識圖譜中的知識，完成科技大數(shù)據(jù)知識圖譜的構(gòu)建。利用 Neo4j 圖數(shù)據(jù)庫存儲已經(jīng)獲取的實(shí)體和實(shí)體關(guān)系，然后統(tǒng)計(jì)科技資源申請的組織或個(gè)人與技術(shù)實(shí)體的數(shù)量進(jìn)行排序，最后利用 Echarts 技術(shù)進(jìn)行可視化?；趯?shí)體和關(guān)系統(tǒng)計(jì)的科技大數(shù)據(jù)知識圖譜的實(shí)現(xiàn)流程，如圖 3 所示。例如，通過分析專利或論文等科技資源 , 了解企業(yè)所屬行業(yè)的科技資源發(fā)表情況、同行業(yè)從業(yè)者的科技資源發(fā)表情況、新增同行者的科技資源發(fā)表情況、上下游合作者的科技資源發(fā)表情況、企業(yè)自身的科技資源發(fā)表情況等。通過統(tǒng)計(jì)搜索關(guān)鍵詞相關(guān)的科技資源發(fā)表數(shù)量，可以繪制出每年科技資源（專利、論文）的發(fā)表趨勢圖，從而方便用戶跟蹤科技資源發(fā)表熱點(diǎn)。

如圖 4 所示，基于實(shí)現(xiàn)的科技資源發(fā)表的歷年趨勢圖可以為用戶提供良好的交互作用，通過縮放按鈕實(shí)現(xiàn)數(shù)據(jù)縮放。當(dāng)用戶想要重點(diǎn)關(guān)注某些年份的數(shù)據(jù)時(shí)，只需要將橫軸下方的開關(guān)向中間靠近；想要重點(diǎn)關(guān)注某些范圍的數(shù)據(jù)時(shí)，只需要將縱軸附近的開關(guān)向中間靠近，橫軸會(huì)自動(dòng)進(jìn)行相應(yīng)變化。同時(shí)用戶可以將所有數(shù)據(jù)表現(xiàn)形式都轉(zhuǎn)換成折線圖或柱狀圖，以折線圖的形式展示歷年科技資源發(fā)表數(shù)量，方便查看專利、論文、總數(shù)的變化趨勢；以柱狀圖的形式展示歷年科技資源發(fā)表數(shù)量，方便比較每年發(fā)表的專利、論文的大小。最后用戶也可以通過右上方工具欄圖標(biāo)，實(shí)現(xiàn)對圖形區(qū)域的縮放、原始數(shù)據(jù)瀏覽、數(shù)據(jù)更新與圖片下載等功能，為用戶提供豐富的操作功能，真正實(shí)現(xiàn)與用戶的交互可視化。

圖 4 科技資源發(fā)表的歷年趨勢圖

3 結(jié)束語

跨媒體科技大數(shù)據(jù)知識服務(wù)與交互可視化構(gòu)件的開發(fā)受到關(guān)注，知識服務(wù)的內(nèi)容和可視化形式日益多樣化。但是，跨媒體展示時(shí)由于需要將搜索內(nèi)容進(jìn)行語義空間映射，以及進(jìn)行語義相似度計(jì)算并排序，導(dǎo)致展示一個(gè)條目會(huì)耗費(fèi)大量的時(shí)間，而且目前已有系統(tǒng)界面的展示還有待調(diào)整和優(yōu)化，在系統(tǒng)的邏輯交互和健壯性方面還需進(jìn)一步加強(qiáng)。

（參考文獻(xiàn)略）

選自《中國人工智能學(xué)會(huì)通訊》

2021年第11卷第5期

科技大數(shù)據(jù)理論和技術(shù)專輯

標(biāo)簽： 科技信息 主要用于 實(shí)體關(guān)系