IT安全運維 -內容安全審核

2020-05-01 17:25 作者：艾銻無限 瀏覽量：

 
隨著《網絡安全法》的實施，互聯網內容安全的法規更加健全。內容安全審核成為以短視頻、新聞資訊，直播等平臺優先級最高的運營需求，不管是通過人工審核還是以系統性的機器審核，都是以最安全與最適合產品的審核結果維度為主，在以前這些都屬于網站管理員，論壇社區版主等網站運維的工作內容。隨著國家監管的力度不斷提升，暴力、血腥、政治、黃賭毒及危機青少年不良社會導內容向已成為重點關注區域。作為IT安全運維必須了解。
常見的違規內容，在文字、圖片、音視頻很容易被肉眼所捕捉到，對于需要肉眼仔細審核才能會發現內容存在的問題，如文字中攜帶的形變、音變與直接赤裸顯示粗陋內容；圖片中常見的血腥、帶有諷刺性、暗示性的內容導向；音頻波形中雜亂外音包裹的其傳達核心無法識別的訊息。視頻中常見的漏點、涉黃、及音畫不同步現象。而這些違規內容對現在的人工智能科技來講，識別審核程度較難，且識別效果不準確。若處理類似于藏頭詩、漫畫圖、帶有正向文字的負面導向內容，機器更是難上加難。當企業領導為了減輕企業成本，執意采用機器來審核，可能被監管部門抽中的“中獎”幾率性會增加很高，畢竟這場博弈，用僥幸的概率去對比約談甚至關停的企業風險還是有些大的。


內容審核流程

內容審核常分為兩個系統，一個是政治審核系統，一個其他系統審核。企業對于其他的審核條件會根據企業的運營需求調整寬松程度，甚至打擦邊球。但對于政治審核來講，沒有企業甘愿冒此風險。內容審核系統基本上就是根據國家法律法規，外加地方網監法律法規，文化部和公安部的政策規定，進行審核的。對于內容審核，第一是相關部門是親眼看到不良相關性的內容，第二是通過API接口審核排查，不管是地方的網監，還是國家監管部門，都是有一套相關的數據排查系統。政治違規相比其他違規監測更為嚴格，目前市面上內容審核方案服務商，對政治違規內容判別檢測都做到近似100%。（這里普及一個知識：法律法規是已經成文的，就是不能觸犯的信息。犯了就是犯罪，必須有行政處罰的。而政策規定只能算是規矩，觸犯了根據情節嚴重，還有中國慣有國情的關系，可以有伸縮的。）內容安全圖像、文字、音視頻是如何審核的？什么AI技術呢？這些審核的準確度如何呢？

圖片審核技術與邏輯：

對于政治人物（圖片）的審核，可直接調用服務商的接口，如云凈網、圖譜科技、數美等，這些服務商已成型的識別技術可判斷當前圖片是否涉黃，涉政，及違規性指數，滿足企業對于圖片的審核條件。對于暴力、血腥、漫畫這類圖片，通常還是需配有人工逐條審核。在對于大并發量的上傳情況下，單人審核肯定無法滿足先審后發的規定，并可能會對用戶體驗造成產品不舒適的感覺，引發規模性的流失。而避免這一漏洞，這時，通常就需招聘多人甚至人工審核外包團隊進行內容審核管理。對圖片識別技術方式而言，圖片的識別一般采用大數據標簽學習與相似度對比技術。對于政治人物檢測識別則使用AI系統中的人臉識別系統，人臉識別技術被廣泛采用的區域特征分析算法，通過深度學習技術從視頻和照片中提取人像特征點，利用生物統計學的原理進行分析建立數學模型，即人臉特征模板。在已建成的人臉特征模板與被測者的人的面像進行特征分析，根據分析的結果來給出一個相似度值，最終搜索到最佳匹配人臉特征模板，并因此確定個人的身份信息。廣義的人臉識別實際包括構建人臉識別系統的一系列相關技術：包括圖像采集、人臉檢測、特征建模、比對辨識、身份確認等；而狹義的人臉識別特指通過人臉進行身份確認或者身份查找的技術或系統。

文本的審核技術與邏輯：

文本的審核要比圖片更加多樣化及專業化，從文字場景來講，文字可能是一個簽名、一個詞組，一段文本甚至是一篇文章，還有些文字附帶在圖片上，如一張海報，一張頭像圖等。從內容上分，內容應該分為三種，文字，圖形與語言。在文字上來說，國內圖書有中圖法，國外有亞馬遜分類法，高斯分類等。對于圖片中存在的文字，識別最多使用的還是OCR（文本識別技術）。對于長短文本及變形變異字體中，會使用到垃圾文本處理技術（在AI技術來講：CRF分詞，NLP，n-gram算法，隨機森林算法）隨機森林指的是利用多棵樹對樣本進行訓練并預測的一種分類器，通過對文本的處理進行歸類，自動預測文本內容的形式。當你要做預測的時候，新的觀察值隨著決策樹自上而下走下來并被賦予一個預測值或標簽。一旦森林中的每棵樹都給有了預測值或標簽，所有的預測結果將被歸總到一起，所有樹的投票返回做為最終的預測結果。簡單來說，99.9%不相關的樹做出的預測結果涵蓋所有的情況，這些預測結果將會彼此抵消。少數優秀的樹的預測結果將會脫穎而出，從而得到一個好的預測結果。對于圖片的識別，目前單靠機器識別，往往無法滿足審核需求，恕我直言，目前階段機器識別技術只能輔助人工審核，暫無法全面機器審核。AI機器審核還相當于人類三歲的智商，是處于弱智能時代，為了增強內容審核安全及無延遲的用戶體驗，建議企業還是組建人工審核團隊。

語音識別技術與能力

語音在專業角度劃分為兩種：音頻與視頻。

語音（音頻）識別的應用場景較多，比如AI智能音響常用到的語音識別，電話通話視頻中的語音視頻，甚至是直播平臺中主播在講的音頻內容。音頻等于說話，說話包含說了什么？（涉政、涉黃、涉賭還是廣告信息）。

在音頻技術識別方面，針對不同的內容有不同識別技術。針對說話內容有語音識別、關鍵詞檢索等；針對語種的判別有語種識別的技術；針對說話人的識別有聲紋識別技術；針對說話內容無關的通常采用音頻比對的技術來進行檢測。通常一般短視頻，直播或者音頻平臺，對音頻對比、聲紋的技術較為重視，是保證錄音質量及外放聲音很有效的一種運營手段，但對內容語音識別，則不太關注，畢竟語音識別技術對這些企業的應用場景不是剛需。


基于語音識別的關鍵詞檢索是將語音識別的結構構建成一個索引網絡，然后把關鍵詞從索引網絡中找出來。從上圖流程中可以看到，首先把語音進行識別處理，從里面提取索引構建索引網絡，進行關鍵詞檢索的時候，在通過關鍵詞表在網絡中進行頻率，找到概率最高的，輸出其關鍵詞匹配結果。（在這一步可通過垃圾文本處理及上下語義分，對轉化的文本進行處理）。目前音頻的識別技術能力還遠遠達不到準確階段，比如音頻出現的“嬌喘聲”單靠技術根本無法識別，或識別（轉化）出來就是一串亂字。再如在人潮擁擠的雜音中，出現的音頻，也無法準確的轉化成文字識別。遇到這種隱晦場景下的文本，通常還是需要人工去審核。

視頻識別技術與處理模式：

在視頻上，根據內容不同，如直播、短視頻、個人上傳的視頻，視頻是畫面與音頻組成的以幀為單位的畫面。對于音頻常存在暴恐、淫穢傳播、甚至是音畫不同步等問題。在視頻處理上面，通常采用截幀上傳服務器數據對比來識別。其審核模式與圖片審核相同，會判斷場景（外室外還是室內）、會判斷人臉（畫面中出現的人是否是明星或者政治）、會判斷是否色情（根據畫面圖片的裸露狀態，可為正常、性感、色情等不同唯獨）。

如抖音、映客、等以視頻流為主的APP，對視頻內容的審核往往通過機器的方式進大量的審核篩檢，畫面中存在的嚴重血腥、暴恐、色情、政治新聞等危害畫面內容會優先被干掉，而那些不以直接性的畫面展示的內容機器難以審查出來。講了這么多，內容違規存在的音、視、圖、文，以技術的識別方式都是通用的，只不過在審核時設定的策略及寬進程度不同，如圖片的識別，可設定存有性感，但不能色情，也可設置存有只能人臉，但不能物體，攔截的寬緊程度需要人工來設定，對于大量的內容并發，則是需要大量人工通過機器輔助人工進行審核，而非機器單獨進行全方位過濾。

內容審核技術與邏輯不單單是套系統，而非一套非常的準確且嚴謹的工作，內容審核既要及時攔截違規內容信息，又不能對用戶造成產品上的體驗落差。內容審核，任重而道遠。

艾銻無限科技專業：IT外包、企業外包、北京IT外包、桌面運維、弱電工程、網站開發、wifi覆蓋方案,網絡外包,網絡管理服務,網管外包,綜合布線,服務器運維服務,中小企業it外包服務,服務器維保公司,硬件運維,網站運維服務
 
以上文章由北京艾銻無限科技發展有限公司整理