国产精品福利网址 I 天天艹在线 I 91丨porny丨探花 I 午夜精品影视国产一区在线麻豆 I 国产成人综合久久精品推 I 啪啪伊人网 I 日产欧产va高清 I 18禁黄污吃奶免费看网站 I 免费黄色毛片视频 I 91av俱乐部 I 97日韩精品 I 国模娜娜大尺度啪啪人体 I 日韩免费视频 I 亚洲偷自 I 少妇性l交大片7724com I 丰满少妇被猛烈进入 I 欧美在线播放一区二区 I 久久不见久久见免费视频下载 I 国产成人剧情av麻豆果冻 I 国产在线精品91国自产拍免费 I 国产拍揄自揄免费观看 I 精品福利视频一区 I 少妇人妻14页_麻花色 I 久久伊人色av天堂九九小黄鸭 I 蜜臀久久久 I 欧美黄网站在线观看 I 亚洲国产成人精品无码区软件 I aaa一级黄色片 I 啪啪精品视频 I 欧美日韩在线影院 I av第一福利 I 精久久久久久久久久久 I jizz免费一区二区三区 I 欧美国产免费 I 国产视频精品xxxx

1 建設(shè)內(nèi)容
（1） 標(biāo)準(zhǔn)體系建設(shè)
實(shí)現(xiàn)基礎(chǔ)設(shè)施即服務(wù)標(biāo)準(zhǔn)體系、數(shù)據(jù)即服務(wù)標(biāo)準(zhǔn)體系、平臺(tái)即服務(wù)標(biāo)準(zhǔn)體系、軟件即服務(wù)標(biāo)準(zhǔn)體系建設(shè)，為采集、交互、治理、應(yīng)用、服務(wù)提供支撐。
（2） 大數(shù)據(jù)云平臺(tái)建設(shè)
依托政府政務(wù)云機(jī)房，以“云計(jì)算+大數(shù)據(jù)”方式建設(shè)煤炭產(chǎn)運(yùn)銷大數(shù)據(jù)平臺(tái)。以大數(shù)據(jù)技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)的采集，完成模型設(shè)計(jì)、數(shù)據(jù)加工整合、數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)建模分析，以云架構(gòu)方式實(shí)現(xiàn)硬件資源和應(yīng)用服務(wù)的彈性管理，為能源局煤炭智慧管理提供支撐。
（3） 數(shù)據(jù)治理系統(tǒng)建設(shè)
完成數(shù)據(jù)建模管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)監(jiān)控管理等模塊功能的建設(shè)。
（4） 產(chǎn)運(yùn)銷全環(huán)節(jié)的數(shù)據(jù)采集
完成煤礦的基本信息、產(chǎn)量數(shù)據(jù)、電子地磅數(shù)據(jù)、RFID數(shù)據(jù)、合同數(shù)據(jù)、車輛數(shù)據(jù)、視頻數(shù)據(jù)進(jìn)行采集。
（5） 六大應(yīng)用功能建設(shè)
實(shí)現(xiàn)綜合看板、煤礦生產(chǎn)中心、煤炭承運(yùn)中心、市煤銷售中心、綜合政務(wù)中心、運(yùn)營(yíng)支持中心等6大應(yīng)用功能建設(shè)。
（6） 大數(shù)據(jù)服務(wù)平臺(tái)建設(shè)
實(shí)現(xiàn)以服務(wù)的方式對(duì)大數(shù)據(jù)平臺(tái)的平臺(tái)能力、數(shù)據(jù)和應(yīng)用進(jìn)行封裝，同時(shí)實(shí)現(xiàn)多租戶的平臺(tái)數(shù)據(jù)服務(wù)能力建設(shè)。
（7） 安全保障體系建設(shè)
完成安全區(qū)域邊界、安全管理中心及安全通信網(wǎng)絡(luò)的設(shè)計(jì)，安全區(qū)域劃分、保護(hù)，網(wǎng)絡(luò)安全、系統(tǒng)與應(yīng)用安全及數(shù)據(jù)安全的建設(shè)。
（8） 區(qū)縣能源局煤炭產(chǎn)運(yùn)銷管理平臺(tái)建設(shè)
區(qū)縣能源局要按照市能源局的統(tǒng)一立項(xiàng)、規(guī)劃、設(shè)計(jì)、招標(biāo)，建設(shè)本轄區(qū)的煤炭產(chǎn)運(yùn)銷大數(shù)據(jù)平臺(tái)。市能源局的大數(shù)據(jù)平臺(tái)為區(qū)縣煤炭產(chǎn)運(yùn)銷大數(shù)據(jù)平臺(tái)提供支持。
（9） 連通煤炭監(jiān)管信息平臺(tái)
通過煤炭專網(wǎng)連通煤炭監(jiān)管信息平臺(tái)，實(shí)現(xiàn)煤炭監(jiān)管數(shù)據(jù)共享。
（10） 機(jī)房和信息展示終端建設(shè)
根據(jù)市能源局的實(shí)際需求，依照機(jī)房建設(shè)標(biāo)準(zhǔn)建設(shè)模塊化標(biāo)準(zhǔn)機(jī)房，滿足大數(shù)據(jù)平臺(tái)建設(shè)需求。展示終端可依據(jù)實(shí)際情況，建設(shè)高質(zhì)量LCD大屏、信息調(diào)度臺(tái)、打印機(jī)和辦公桌椅等設(shè)備。
對(duì)機(jī)房防雷接地系統(tǒng)進(jìn)行規(guī)范設(shè)計(jì)，保障終端設(shè)備的運(yùn)行安全。
2 數(shù)據(jù)平臺(tái)建設(shè)
2.1 數(shù)據(jù)模型建設(shè)
根據(jù)招標(biāo)文件的要求，以及我公司對(duì)地區(qū)煤礦分布情況的考察，我們?cè)O(shè)計(jì)的軟件平臺(tái)采用1+5模式，即一個(gè)市級(jí)平臺(tái)，五個(gè)區(qū)縣級(jí)平臺(tái)。
數(shù)據(jù)模型設(shè)計(jì)采用自頂向下與自底向上相結(jié)合的方法進(jìn)行設(shè)計(jì)。以企業(yè)級(jí)數(shù)據(jù)模型為指導(dǎo)，結(jié)合相關(guān)企業(yè)規(guī)范，參考業(yè)界標(biāo)桿、成熟模型，以業(yè)務(wù)需求為出發(fā)點(diǎn)，先建立概念模型，再在概念模型的基礎(chǔ)上進(jìn)行細(xì)化設(shè)計(jì)邏輯模型。
1） 模型設(shè)計(jì)方法
企業(yè)級(jí)數(shù)據(jù)模型設(shè)計(jì)可采用“業(yè)務(wù)需求驅(qū)動(dòng)自頂向下”和“基于現(xiàn)狀驅(qū)動(dòng)自底向上”相結(jié)合模式，參照業(yè)界參考模型、行業(yè)最佳實(shí)踐，共同形成數(shù)據(jù)模型。從業(yè)務(wù)需求驅(qū)動(dòng)入手自頂向下，參照業(yè)界參考模型、行業(yè)最佳實(shí)踐搭建數(shù)據(jù)模型整體框架，通過現(xiàn)狀調(diào)研獲取企業(yè)內(nèi)部業(yè)務(wù)流程、設(shè)計(jì)文檔、系統(tǒng)模型、接口規(guī)范等現(xiàn)狀信息，現(xiàn)狀驅(qū)動(dòng)自底向上，細(xì)化和完善數(shù)據(jù)模型的設(shè)計(jì)。
 

數(shù)據(jù)建模主要分為三個(gè)階段：
指定數(shù)據(jù)采集策略，針對(duì)不同類型的數(shù)據(jù)，使用不同的數(shù)據(jù)采集策略：
1、根據(jù)數(shù)據(jù)本身的特性可以將數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。針對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，我們可以采用OGG、JDBC、Kafka、Flume、Socket、SFTP等方式進(jìn)行采集；針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，可以采用SFTP方式進(jìn)行采集。
2、根據(jù)數(shù)據(jù)的時(shí)效性，可以將數(shù)據(jù)分為：流式數(shù)據(jù)、批式數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)。邊緣側(cè)流式數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的采集統(tǒng)一使用網(wǎng)關(guān)進(jìn)行采集；大數(shù)據(jù)平臺(tái)側(cè)流式數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)可采用OGG、MQTT、JDBC、Kafka、Flume、Socket、SFTP等方式進(jìn)行數(shù)據(jù)采集；針對(duì)批式數(shù)據(jù)和歷史數(shù)據(jù)，可以采用SFTP、ETL進(jìn)行采集。
3、根據(jù)數(shù)據(jù)量大小、涉密情況、重要性，可將數(shù)據(jù)采集分為專網(wǎng)采集、公網(wǎng)采集。數(shù)據(jù)量較大，且時(shí)效性要求較高，使用公網(wǎng)采集可能會(huì)造成公網(wǎng)的即時(shí)擁堵和不確定性，建議采用專線進(jìn)行采集；針對(duì)涉密數(shù)據(jù)，可采用專線進(jìn)行采集。
4、根據(jù)數(shù)據(jù)量大小和業(yè)務(wù)類別不同制定錯(cuò)峰采集機(jī)制。在上傳數(shù)據(jù)時(shí)，要考慮時(shí)間段因素，盡量使用夜間網(wǎng)絡(luò)空閑時(shí)間，避免占用公共網(wǎng)絡(luò)帶寬。
5、原則上歷史數(shù)據(jù)采集，采用一次性入庫(kù)方式采集；實(shí)時(shí)數(shù)據(jù)采集則盡量采用增量方式采集。
6、針對(duì)網(wǎng)絡(luò)不能直接打通的方式可以采用前置機(jī)的方式進(jìn)行數(shù)據(jù)采集。
7、針對(duì)信息資源共享交換平臺(tái)中的信息采用滾雪球采集的方式進(jìn)行數(shù)據(jù)采集。

2） 建模原則
保證模型的穩(wěn)定性和對(duì)業(yè)務(wù)支持的靈活性，建模階段將遵循以下的原則：繼承性原則、穩(wěn)定性原則、前瞻性原則、兼顧實(shí)際原則、擴(kuò)展性原則。
3） 模型優(yōu)化
定期分析數(shù)據(jù)依賴，對(duì)各個(gè)關(guān)系模式之間的數(shù)據(jù)依賴進(jìn)行極小化處理，消除冗余。對(duì)動(dòng)態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)進(jìn)行分離，提升數(shù)據(jù)處理性能。對(duì)低性能模型進(jìn)行反范式設(shè)計(jì)，對(duì)涉及多個(gè)關(guān)系模式的數(shù)據(jù)進(jìn)行合并，提升查詢速度。
4） 數(shù)據(jù)模型維護(hù)管理
隨著業(yè)務(wù)開展及需求的不斷變化，數(shù)據(jù)模型也需要持續(xù)維護(hù)，不斷完善，以保證數(shù)據(jù)模型的完整性、前瞻性以及擴(kuò)展性，這是一項(xiàng)長(zhǎng)期持續(xù)的工作。
2.2 數(shù)據(jù)采集
1） 采集范圍
平臺(tái)采集數(shù)據(jù)主要涵蓋能源相關(guān)的各種數(shù)據(jù)源，具體如下：
采集系統(tǒng)包括：工業(yè)數(shù)據(jù)平臺(tái)、設(shè)備管理系統(tǒng)、生產(chǎn)實(shí)時(shí)數(shù)據(jù)、生產(chǎn)管理系統(tǒng)、燃料管理系統(tǒng)、物資管理系統(tǒng)、視頻數(shù)據(jù)、檔案系統(tǒng)、數(shù)據(jù)集成平臺(tái)、OA、人力資源、財(cái)務(wù)共享、全面預(yù)算、財(cái)務(wù)合并、財(cái)務(wù)核算、互聯(lián)網(wǎng)數(shù)據(jù)及第三方的數(shù)據(jù)等。
2） 采集方式
需根據(jù)每類數(shù)據(jù)的特點(diǎn)來定制采集方式，如下：
內(nèi)部數(shù)據(jù)：此類數(shù)據(jù)數(shù)據(jù)源一般都是關(guān)系型數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)，此類數(shù)據(jù)采集方式一般采用數(shù)據(jù)庫(kù)直連的接口方式，例如內(nèi)部系統(tǒng)的OA系統(tǒng)，建議采用直接開放數(shù)據(jù)庫(kù)的方式，由源系統(tǒng)開放數(shù)據(jù)庫(kù)賬戶，進(jìn)行實(shí)時(shí)和定時(shí)的數(shù)據(jù)采集。
互聯(lián)網(wǎng)數(shù)據(jù)：主要通過爬蟲工具等方式從互聯(lián)網(wǎng)指定的網(wǎng)站進(jìn)行數(shù)據(jù)采集。
第三方數(shù)據(jù)購(gòu)買：此類數(shù)據(jù)一般采用的是文件方式，一般是定期或不定期通過拷貝的方式進(jìn)行采集。
3） 數(shù)據(jù)采集保障
數(shù)據(jù)采集保障主要從分階段實(shí)施、制度、人員、技術(shù)等方面去保障數(shù)據(jù)采集。根據(jù)數(shù)據(jù)難易程度、數(shù)據(jù)重要性、數(shù)據(jù)粒度等分出數(shù)據(jù)的采集實(shí)施階段。
制度保障：建立數(shù)據(jù)采集的規(guī)范接口、規(guī)范的數(shù)據(jù)采集流程、數(shù)據(jù)傳輸異常的處理流程、數(shù)據(jù)采集考核標(biāo)準(zhǔn)等方式來保障數(shù)據(jù)采集的及時(shí)性、穩(wěn)定性和數(shù)據(jù)正確性。
人員保障：根據(jù)制定的數(shù)據(jù)采集流程，配備各環(huán)節(jié)的管理人員，保障數(shù)據(jù)采集過程中出現(xiàn)問題有專人及時(shí)發(fā)現(xiàn)和及時(shí)解決。
技術(shù)核驗(yàn)：通過建立數(shù)據(jù)質(zhì)量稽核系統(tǒng)等方式來核驗(yàn)數(shù)據(jù)的準(zhǔn)確性，主要技術(shù)手段有接口的連通性、接口的及時(shí)性、文件名的規(guī)范性、數(shù)據(jù)質(zhì)量的準(zhǔn)確性等。
4） 數(shù)據(jù)抽取
（1）定時(shí)抽取
定時(shí)觸發(fā)主要針對(duì)實(shí)時(shí)性要求不高的大量數(shù)據(jù)抽取，定時(shí)觸發(fā)可在每日晚上進(jìn)行，通過增量式的數(shù)據(jù)抽取方式，可以使得每日進(jìn)行的數(shù)據(jù)傳輸量能夠保持在一個(gè)可控的范疇，避免對(duì)網(wǎng)絡(luò)等資源造成過大的負(fù)擔(dān)。
（2）實(shí)時(shí)抽取
實(shí)時(shí)抽取主要針對(duì)需實(shí)時(shí)同步至平臺(tái)的業(yè)務(wù)數(shù)據(jù)。實(shí)時(shí)抽取需通過OGG、kafka、flume等工具進(jìn)行數(shù)據(jù)的實(shí)時(shí)同步。
（3）時(shí)間觸發(fā)抽取
事件觸發(fā)抽取主要針對(duì)實(shí)時(shí)性要求非常高的具體所需要進(jìn)行的數(shù)據(jù)抽取。事件觸發(fā)通常由業(yè)務(wù)應(yīng)用系統(tǒng)發(fā)起，因此所需要進(jìn)行數(shù)據(jù)抽取也應(yīng)當(dāng)有該業(yè)務(wù)應(yīng)用系統(tǒng)發(fā)起數(shù)據(jù)提交的請(qǐng)求。通過前端的消息接入網(wǎng)關(guān)適配器，可實(shí)現(xiàn)及時(shí)的數(shù)據(jù)提交響應(yīng)。
（4）全量抽取
系統(tǒng)支持全量抽取，類似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來，并轉(zhuǎn)換成平臺(tái)可以識(shí)別的格式。全量抽取通過對(duì)數(shù)據(jù)源的抽取規(guī)則預(yù)定義，直接通過該模塊執(zhí)行抽取邏輯，并將抽取后的數(shù)據(jù)對(duì)應(yīng)插入上層平臺(tái)的目標(biāo)數(shù)據(jù)源中，完成全量抽取的整個(gè)過程。
（5）增量抽取
增量抽取即階段性的對(duì)本階段內(nèi)變更的數(shù)據(jù)進(jìn)行采集上報(bào)，包括新增、刪除、變更的數(shù)據(jù)，只抽取自上次抽取以來數(shù)據(jù)庫(kù)中要抽取的表中新增或修改的數(shù)據(jù)。在業(yè)務(wù)操作過程中，增量抽取較全量抽取應(yīng)用更廣。如何捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。
2.3 數(shù)據(jù)加工處理
（1）數(shù)據(jù)處理流程
目前進(jìn)行云計(jì)算研究與大數(shù)據(jù)處理的較為主流的平臺(tái)有由Apache公司研發(fā)的Hadoop系統(tǒng)，其把復(fù)雜的作業(yè)經(jīng)過算法優(yōu)化進(jìn)行合理切分成若干子作業(yè)，然后將子作業(yè)分配到具有所需數(shù)據(jù)的若干節(jié)點(diǎn)進(jìn)行并行MapReduce計(jì)算，節(jié)點(diǎn)間沒有依賴性且可以根據(jù)運(yùn)行狀況進(jìn)行調(diào)度，提高處理速度和效率。平臺(tái)進(jìn)行并行處理時(shí)，需要位于平臺(tái)底層分布式存儲(chǔ)系統(tǒng)中眾多節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)和節(jié)點(diǎn)具體操作，眾多節(jié)點(diǎn)中有唯一的主節(jié)點(diǎn)控制其他節(jié)點(diǎn)的協(xié)同操作和存儲(chǔ)信息。
1）處理系統(tǒng)需求分析
大數(shù)據(jù)解決方案系統(tǒng)主要分為兩個(gè)子系統(tǒng)：數(shù)據(jù)遷移子系統(tǒng)和數(shù)據(jù)分析挖掘子系統(tǒng)。數(shù)據(jù)遷移子系統(tǒng)把各個(gè)在線業(yè)務(wù)平臺(tái)服務(wù)器的數(shù)據(jù)實(shí)時(shí)遷移到海量數(shù)據(jù)庫(kù)中，解決大數(shù)據(jù)的存儲(chǔ)、備份和共享問題;數(shù)據(jù)分析挖掘子系統(tǒng)利用系統(tǒng)集群并行對(duì)大數(shù)據(jù)進(jìn)行快速分析處理，生成有價(jià)值的報(bào)告。
2）處理系統(tǒng)方案設(shè)計(jì)
本項(xiàng)目大數(shù)據(jù)解決方案系統(tǒng)基于Hadoop平臺(tái)的集群，以面向列存儲(chǔ)的HBase作為海量數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)。數(shù)據(jù)遷移子系統(tǒng)通過基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化整合網(wǎng)絡(luò)異構(gòu)，規(guī)避和減少宕機(jī)，保證在線數(shù)據(jù)遷移時(shí)不需間斷業(yè)務(wù)，遷移后由HBase對(duì)大數(shù)據(jù)進(jìn)行高效管理。數(shù)據(jù)分析挖掘子系統(tǒng)則基于密集型離線數(shù)據(jù)分析，通過建立Hive和HBase無縫連接，Hive提供類似SQL查詢，經(jīng)過系統(tǒng)平臺(tái)編譯HQL，生成執(zhí)行計(jì)劃，交由MapReduce對(duì)HBase管理的數(shù)據(jù)進(jìn)行高效地并行計(jì)算，把深度挖掘到有價(jià)值的結(jié)果反饋給用戶。
3）數(shù)據(jù)分析模塊的主要流程：
①Hive與HBase集成：Hive和Hbase兩個(gè)框架通過HBase Storage Handler實(shí)現(xiàn)無縫接口整合，在Hive建立的表自動(dòng)獲取與其建立通信的Hbase中的對(duì)應(yīng)的表名、列簇和輸入輸出格式等信息。
②數(shù)據(jù)表映射：運(yùn)行HQL命令創(chuàng)建Hive的外表，該外表和HBase的表映射，通過配置信息映射由HBase到Hive，確保HBase和Hive兩者之間列和數(shù)據(jù)類型的一致性。
③HBase表切分：根據(jù)數(shù)據(jù)表對(duì)應(yīng)的HRegion，將Region作為InputSplit單位，根據(jù)拆分?jǐn)?shù)量交給等量的Map操作。
④查詢分析統(tǒng)計(jì)：用戶在系統(tǒng)平臺(tái)中使用Hive提供的組件，根據(jù)業(yè)務(wù)需求進(jìn)行編譯、提交HQL命令，然后編譯器對(duì)HiveQL命令進(jìn)行解析，優(yōu)化，最后系統(tǒng)生成Hadoop的MapReduce任務(wù)，通過構(gòu)建Scanner對(duì)HBase表數(shù)據(jù)進(jìn)行掃描，對(duì)條件進(jìn)行過濾、排序、去重，最后通過next（）獲取數(shù)據(jù)，并且把數(shù)據(jù)生產(chǎn)表格、圖表等形式交付給用戶。
（2）數(shù)據(jù)加工
數(shù)據(jù)加工整合是各類數(shù)據(jù)資源匯聚后，按照平臺(tái)構(gòu)建目標(biāo)和數(shù)據(jù)規(guī)劃，進(jìn)行的標(biāo)識(shí)類、要素類、索引類、標(biāo)簽類、目錄類等各類基礎(chǔ)數(shù)據(jù)的加工和整合，加工整合手段的合理性很大程度上影響了系統(tǒng)建設(shè)質(zhì)量。
以下數(shù)據(jù)加工整合需要建立常態(tài)的異常整合數(shù)據(jù)分析、回收機(jī)制。
加工與整合手段，包括數(shù)據(jù)資源的管理、流程調(diào)度管理、流程監(jiān)控管理功能，其中：
數(shù)據(jù)資源管理
對(duì)ETL過程中使用的各類數(shù)據(jù)資源進(jìn)行配置管理，實(shí)現(xiàn)對(duì)資源的以下管理功能：
資源的增刪改查：對(duì)各資源類型進(jìn)行新增、刪除、修改、查詢操作，如在資源管理中創(chuàng)建、新增、刪除、查詢表。
資源的導(dǎo)入、導(dǎo)出：對(duì)資源類型進(jìn)行導(dǎo)入、導(dǎo)出操作，如在資源管理中對(duì)映射進(jìn)行導(dǎo)入與導(dǎo)出，減少二次開發(fā)資源映射的工作量及起到安全備份的效果。
流程調(diào)度設(shè)計(jì)
通過統(tǒng)一的ETL平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的加工及調(diào)度。設(shè)計(jì)數(shù)據(jù)的映射關(guān)系，數(shù)據(jù)加工過程；設(shè)計(jì)基礎(chǔ)層、匯總層、等各層數(shù)據(jù)的詳細(xì)加工流程以及調(diào)度時(shí)序，通過與ETL的集成，在ETL平臺(tái)上實(shí)現(xiàn)各類加工規(guī)則的配置，實(shí)現(xiàn)數(shù)據(jù)加工過程的統(tǒng)一配置及管理。
流程調(diào)度監(jiān)控
本平臺(tái)設(shè)計(jì)標(biāo)準(zhǔn)的ETL流程監(jiān)控，對(duì)流程調(diào)度的關(guān)鍵點(diǎn)進(jìn)行實(shí)時(shí)監(jiān)控，能夠及時(shí)發(fā)現(xiàn)及處理流程調(diào)度過程中的異常問題，保證數(shù)據(jù)流調(diào)度。監(jiān)控范圍、監(jiān)控點(diǎn)、異常級(jí)別以及異常通知機(jī)制。
轉(zhuǎn)換過程
對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行重新組織排列，按平臺(tái)統(tǒng)一標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)梳理，完成異構(gòu)數(shù)據(jù)的整體規(guī)劃。
數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)
根據(jù)對(duì)與平臺(tái)對(duì)接應(yīng)用內(nèi)容的需求分析，定義出一系列的數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)將反映各個(gè)應(yīng)用所需要的數(shù)據(jù)的結(jié)構(gòu)。同時(shí)在標(biāo)準(zhǔn)中定義的還有數(shù)據(jù)“宿主”位置等信息，表示該塊數(shù)據(jù)將向哪個(gè)業(yè)務(wù)系統(tǒng)請(qǐng)求獲得。
數(shù)據(jù)轉(zhuǎn)換流程
數(shù)據(jù)轉(zhuǎn)換是依據(jù)數(shù)據(jù)轉(zhuǎn)換流程實(shí)現(xiàn)的，針對(duì)不同的數(shù)據(jù)，需要設(shè)定不同的數(shù)據(jù)流轉(zhuǎn)過程。實(shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)過程的定義。
數(shù)據(jù)轉(zhuǎn)換映射
由于數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)并不知道在具體業(yè)務(wù)系統(tǒng)內(nèi)的相應(yīng)數(shù)據(jù)的位置、屬性、名稱等等信息，所以需要在業(yè)務(wù)系統(tǒng)內(nèi)對(duì)數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)中的對(duì)應(yīng)項(xiàng)有一個(gè)映射關(guān)系的定義。功能包括：數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)定義信息的導(dǎo)入；維護(hù)數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)與內(nèi)部數(shù)據(jù)結(jié)構(gòu)間的映射定義表，包括數(shù)據(jù)項(xiàng)與數(shù)據(jù)項(xiàng)的對(duì)應(yīng)或組合對(duì)應(yīng)（公式化）、數(shù)據(jù)類型的匹配或轉(zhuǎn)換關(guān)系、數(shù)據(jù)項(xiàng)位置描述記錄等等。
（3） 數(shù)據(jù)存儲(chǔ)計(jì)算
1）數(shù)據(jù)存儲(chǔ)
按資源庫(kù)類型區(qū)分的數(shù)據(jù)存儲(chǔ)設(shè)計(jì)如下：
資源庫(kù)類型 細(xì)分 存儲(chǔ)設(shè)計(jì)類型
基礎(chǔ)數(shù)據(jù)資源庫(kù)
綜合關(guān)聯(lián)資源庫(kù)
應(yīng)用數(shù)據(jù)資源庫(kù) 結(jié)構(gòu)化數(shù)據(jù) HDFS/Hive/MPP
半結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)化數(shù)據(jù) HBASE
元數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù) Oracle/MySQL
企業(yè)內(nèi)部數(shù)據(jù)、企業(yè)數(shù)據(jù)、政府?dāng)?shù)據(jù)和社會(huì)面數(shù)據(jù)等主要以文本數(shù)據(jù)為主，對(duì)應(yīng)數(shù)據(jù)價(jià)值較高或查詢時(shí)效性較高的數(shù)據(jù)，存放在MPP數(shù)據(jù)庫(kù)中；對(duì)于查詢響應(yīng)時(shí)長(zhǎng)要求較寬松的，存放在HDFS分布式系統(tǒng)。
本著充分利用和共享存儲(chǔ)硬件資源前提，MPP數(shù)據(jù)庫(kù)和HDFS共享、或共用存儲(chǔ)硬件。
視頻、語(yǔ)音和圖片數(shù)據(jù)，如案件音視頻數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)等，原則上不存儲(chǔ)在數(shù)據(jù)中心，此類非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過結(jié)構(gòu)化處理之后的文本數(shù)據(jù)推送緩沖區(qū)，然后實(shí)時(shí)處理或批量處理保存到大數(shù)據(jù)平臺(tái)的HDFS系統(tǒng)上。非結(jié)構(gòu)化數(shù)據(jù)屬于對(duì)象存儲(chǔ)，在HBASE中。
元數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，方便增刪改查的交互處理。
2）計(jì)算機(jī)制
大數(shù)據(jù)平臺(tái)將基于云服務(wù)平臺(tái)搭建數(shù)據(jù)生產(chǎn)加工云計(jì)算環(huán)境，將根據(jù)數(shù)據(jù)源、數(shù)據(jù)類型、數(shù)據(jù)特征以及業(yè)務(wù)上對(duì)數(shù)據(jù)時(shí)效性、安全性等要求，匹配適當(dāng)?shù)挠?jì)算手段。
平臺(tái)按數(shù)據(jù)的價(jià)值特征采取三種生產(chǎn)加工手段：
高價(jià)值密度數(shù)據(jù)：即信息聚合度高、數(shù)據(jù)關(guān)聯(lián)關(guān)系強(qiáng)的數(shù)據(jù)，采用關(guān)系型數(shù)據(jù)庫(kù)技術(shù)，如Oracle、Mysql、MPP，為數(shù)據(jù)加工或服務(wù)提供SQL支持。
低價(jià)值密度數(shù)據(jù)：即批量或海量的大數(shù)據(jù)，將基于Hadoop/Cassandra生態(tài)體系構(gòu)建計(jì)算能力提供批量計(jì)算、海量查詢、和大數(shù)據(jù)存儲(chǔ)以滿足業(yè)務(wù)需要。
流數(shù)據(jù)：主要是指實(shí)時(shí)數(shù)據(jù)處理，將基于Storm、SparkSteaming、Kafka等構(gòu)建實(shí)時(shí)流計(jì)算和分布式消息機(jī)制。
3）數(shù)據(jù)庫(kù)
Hadoop/Cassandra
搭建全套的hadoop/Cassandra組件。依據(jù)Hadoop/Cassandra數(shù)據(jù)框架，建立大數(shù)據(jù)中心，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)化及統(tǒng)一收集、存儲(chǔ)和管理。實(shí)現(xiàn)對(duì)企業(yè)各業(yè)務(wù)應(yīng)用數(shù)據(jù)的統(tǒng)一抽取和管理，能夠?yàn)槠髽I(yè)的綜合統(tǒng)計(jì)、報(bào)表、主題分析和數(shù)據(jù)挖掘等分析決策提供數(shù)據(jù)支持。
分布式時(shí)序數(shù)據(jù)庫(kù)
針對(duì)實(shí)時(shí)數(shù)據(jù)，采用InfluxDB，其是用Java語(yǔ)言編寫的一個(gè)開源分布式時(shí)序、事件和指標(biāo)數(shù)據(jù)庫(kù)，無需外部依賴。也支持類似的數(shù)據(jù)庫(kù)有Elasticsearch、Graphite等。
基于時(shí)間序列，支持與時(shí)間有關(guān)的相關(guān)函數(shù)（如最大，最小，求和等）
可度量性：你可以實(shí)時(shí)對(duì)大量數(shù)據(jù)進(jìn)行計(jì)算
基于事件：它支持任意的事件數(shù)
InfluxDB
無結(jié)構(gòu)（無模式）：可以是任意數(shù)量的列；
可拓展的；
支持min, max, sum, count, mean, median 等一系列函數(shù)，方便統(tǒng)計(jì)；
原生的HTTP支持，內(nèi)置HTTP API；
強(qiáng)大的類SQL語(yǔ)法。
自帶管理界面，方便使用自帶管理界面：
分布式：節(jié)點(diǎn)對(duì)外表現(xiàn)對(duì)等（每個(gè)節(jié)點(diǎn)都可以用來做入口）；加入節(jié)點(diǎn)自動(dòng)均衡
多租戶：可根據(jù)不同的用途分索引；可以同時(shí)操作多個(gè)索引
2.4 數(shù)據(jù)分析算法
1）基于歷史的MBR分析（Memory-Based Reasoning；MBR）
基于歷史的MBR分析方法最主要的概念是用已知的案例（case）來預(yù)測(cè)未來案例的一些屬性（attribute），通常找尋最相似的案例來做比較。記憶基礎(chǔ)推理法中有兩個(gè)主要的要素，分別為距離函數(shù)（distance function）與結(jié)合函數(shù)（combination function）。距離函數(shù)的用意在找出最相似的案例；結(jié)合函數(shù)則將相似案例的屬性結(jié)合起來，以供預(yù)測(cè)之用。記憶基礎(chǔ)推理法的優(yōu)點(diǎn)是它容許各種型態(tài)的數(shù)據(jù)，這些數(shù)據(jù)不需服從某些假設(shè)。另一個(gè)優(yōu)點(diǎn)是其具備學(xué)習(xí)能力，它能藉由舊案例的學(xué)習(xí)來獲取關(guān)于新案例的知識(shí)。較令人詬病的是它需要大量的歷史數(shù)據(jù)，有足夠 的歷史數(shù)據(jù)方能做良好的預(yù)測(cè)。此外記憶基礎(chǔ)推理法在處理上亦較為費(fèi)時(shí)，不易發(fā)現(xiàn)最佳的距離函數(shù)與結(jié)合函數(shù)。其可應(yīng)用的范圍包括欺騙行為的偵測(cè)、客戶反應(yīng)預(yù)測(cè)、醫(yī)學(xué)診療、反應(yīng)的歸類等方面。
2）決策樹（Decision Trees）
決策樹在解決歸類與預(yù)測(cè)上有著極強(qiáng)的能力，它以法則的方式表達(dá)，而這些法則以一連串的問題表示出來，經(jīng)由不斷詢問問題最終能導(dǎo)出所需的結(jié)果。典型的決策 樹頂端是一個(gè)樹根，底部有許多的樹葉，它將紀(jì)錄分解成不同的子集，每個(gè)子集中的字段可能都包含一個(gè)簡(jiǎn)單的法則。此外，決策樹可能有著不同的外型，例如二元 樹、三元樹或混和的決策樹型態(tài)。
3）遺傳算法（Genetic Algorithm）
遺傳算法學(xué)習(xí)細(xì)胞演化的過程，細(xì)胞間可經(jīng)由不斷的選擇、復(fù)制、交配、突變產(chǎn)生更佳的新細(xì)胞。基因算法的運(yùn)作方式也很類似，它必須預(yù)先建立好一個(gè)模式，再經(jīng) 由一連串類似產(chǎn)生新細(xì)胞過程的運(yùn)作，利用適合函數(shù)（fitness function）決定所產(chǎn)生的后代是否與這個(gè)模式吻合，最后僅有最吻合的結(jié)果能夠存活，這個(gè)程序一直運(yùn)作直到此函數(shù)收斂到最佳解。基因算法在群集 （cluster）問題上有不錯(cuò)的表現(xiàn)，一般可用來輔助記憶基礎(chǔ)推理法與類神經(jīng)網(wǎng)絡(luò)的應(yīng)用
4）聚類分析（Cluster Detection）
這個(gè)技術(shù)涵蓋范圍相當(dāng)廣泛，包含基因算法、類神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)中的群集分析都有這個(gè)功能。它的目標(biāo)為找出數(shù)據(jù)中以前未知的相似群體，在許許多多的分析中，剛開始都運(yùn)用到群集偵測(cè)技術(shù)，以作為研究的開端。
5）鏈路分析（Link Analysis）
鏈路分析是以數(shù)學(xué)中心圖形理論（graph theory）為基礎(chǔ)，藉由記錄之間的關(guān)系發(fā)展出一個(gè)模式，它是以關(guān)系為主體，由人與人、物與物或是人與物的關(guān)系發(fā)展出相當(dāng)多的應(yīng)用。例如電信服務(wù)業(yè)可借鏈路分析收集到顧客使用電話的時(shí)間與頻率，進(jìn)而推斷顧客使用偏好為何，提出有利于公司的方案。除了電信業(yè)之外，愈來愈多的營(yíng)銷業(yè)者亦利用鏈路分析做有利于企業(yè)的研究。
6）OLAP分析（On-Line Analytic Processing；OLAP）
嚴(yán)格說起來，OLAP分析并不算特別的一個(gè)數(shù)據(jù)挖掘技術(shù)，但是透過在線分析處理工具，使用者能更清楚的了解數(shù)據(jù)所隱藏的潛在意涵。如同一些視覺處理技術(shù)一般，透過圖表或圖形等方式顯現(xiàn)，對(duì)一般人而言，感覺會(huì)更友善。這樣的工具亦能輔助將數(shù)據(jù)轉(zhuǎn)變成信息的目標(biāo)。
7）神經(jīng)網(wǎng)絡(luò)（Neural Networks）
神經(jīng)網(wǎng)絡(luò)是以重復(fù)學(xué)習(xí)的方法，將一串例子交與學(xué)習(xí)，使其歸納出足以區(qū)分的樣式。面對(duì)新的例證，神經(jīng)網(wǎng)絡(luò)即可根據(jù)其過去學(xué)習(xí)的成果歸納后，推導(dǎo)出新的結(jié)果，屬于機(jī)器學(xué)習(xí)的一種。數(shù)據(jù)挖掘的相關(guān)問題也可采類神經(jīng)學(xué)習(xí)的方式，其學(xué)習(xí)效果十分正確并可做預(yù)測(cè)功能。
8）判別分析（Discriminant Analysis）
當(dāng)所遭遇問題它的因變量為定性（categorical），而自變量（預(yù)測(cè)變量）為定量（metric）時(shí)，通常應(yīng)用在解決分類的問題上面。若因變量由兩個(gè)群體所構(gòu)成，稱之為雙群體 —判別分析 （Two-Group Discriminant Analysis）；若由多個(gè)群體構(gòu)成，則稱之為多元判別分析（Multiple Discriminant Analysis；MDA）。
9）羅吉斯回歸分析（Logistic Analysis）
當(dāng)判別分析中群體不符合正態(tài)分布假設(shè)時(shí)，羅吉斯回歸分析是一個(gè)很好的替代方法。羅吉斯回歸分析并非預(yù)測(cè)事件（event）是否發(fā)生，而是預(yù)測(cè)該事件的機(jī) 率。它將自變量與因變量的關(guān)系假定是S行的形狀，當(dāng)自變量很小時(shí)，機(jī)率值接近為零；當(dāng)自變量值慢慢增加時(shí)，機(jī)率值沿著曲線增加，增加到一定程度時(shí)，曲線協(xié) 率開始減小，故機(jī)率值介于0與1之間。
2.5 網(wǎng)絡(luò)安全系統(tǒng)
（1）網(wǎng)絡(luò)安全原則與策略
1）安全原則
安全原則體現(xiàn)在五個(gè)方面：動(dòng)態(tài)性、唯一性、整體性、專業(yè)性和嚴(yán)密性。
1、動(dòng)態(tài)性：不要把安全的靜態(tài)化，動(dòng)態(tài)性是安全的一個(gè)重要的原則。網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用會(huì)不斷出現(xiàn)新的風(fēng)險(xiǎn)和威脅，決定了安全動(dòng)態(tài)性的重要性。
2、唯一性：安全的動(dòng)態(tài)性決定了安全的唯一性，針對(duì)每個(gè)網(wǎng)絡(luò)系統(tǒng)安全的解決，都應(yīng)該是獨(dú)一無二的。
3、整體性：對(duì)于網(wǎng)絡(luò)系統(tǒng)所遇到的風(fēng)險(xiǎn)和威脅，要從整體來分析和把握，不能那里有問題就補(bǔ)那里，要做到全面的保護(hù)和評(píng)估。
4、專業(yè)性：對(duì)于用戶的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用，要從專業(yè)的角度來分析和把握，不能是一種大概的做法。
5、嚴(yán)密性：整個(gè)解決方案，要有一種很強(qiáng)的嚴(yán)密性，不要給人一種虛假的感覺，在設(shè)計(jì)方案的時(shí)候，需要從多方面對(duì)方案進(jìn)行論證。
2）安全技術(shù)實(shí)施策略
技術(shù)實(shí)施策略需要從八個(gè)方面進(jìn)行闡述：
1、網(wǎng)絡(luò)結(jié)構(gòu)安全：通過上一節(jié)的風(fēng)險(xiǎn)分析，找出網(wǎng)絡(luò)結(jié)構(gòu)可能存在的問題，采用相關(guān)的安全產(chǎn)品和技術(shù)，解決網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的安全風(fēng)險(xiǎn)和威脅。
2、主機(jī)安全加固：通過上一節(jié)的風(fēng)險(xiǎn)分析，找出主機(jī)系統(tǒng)可能存在的問題，采用相關(guān)的安全產(chǎn)品和技術(shù)，解決主機(jī)系統(tǒng)的安全風(fēng)險(xiǎn)和威脅。
3、防病毒：闡述如何實(shí)施桌面防病毒、服務(wù)器防病毒、郵件防病毒、網(wǎng)關(guān)防病毒以及統(tǒng)一的防病毒解決方案。
4、訪問控制：三種基本的訪問控制技術(shù)為路由器過濾訪問控制、防火墻訪問控制技術(shù)和主機(jī)自身訪問控制技術(shù)。
5、傳輸加密：通過采用相關(guān)的加密產(chǎn)品和加密技術(shù)，保護(hù)卓越信息集團(tuán)公司的信息傳輸安全，實(shí)現(xiàn)信息傳輸?shù)臋C(jī)密性、完整性和可用性。
6、身份認(rèn)證：通過采用相關(guān)的身份認(rèn)證產(chǎn)品和技術(shù)，保護(hù)重要應(yīng)用系統(tǒng)的身份認(rèn)證，實(shí)現(xiàn)信息使用的加密性和可用性。
7、入侵檢測(cè)技術(shù)：通過采用相關(guān)的入侵檢測(cè)產(chǎn)品和技術(shù)，對(duì)網(wǎng)絡(luò)和重要主機(jī)系統(tǒng)進(jìn)行實(shí)時(shí)的監(jiān)控。
8、風(fēng)險(xiǎn)評(píng)估：通過采用相關(guān)的風(fēng)險(xiǎn)評(píng)估工具和技術(shù)，對(duì)網(wǎng)絡(luò)和重要的主機(jī)系統(tǒng)進(jìn)行連續(xù)的風(fēng)險(xiǎn)和威脅分析。
3）安全管理工具
對(duì)安全項(xiàng)目中所用到的安全產(chǎn)品進(jìn)行集中、統(tǒng)一、安全的管理和培訓(xùn)的產(chǎn)品和技術(shù)。
1、緊急響應(yīng)
制定詳細(xì)的緊急響應(yīng)計(jì)劃，及時(shí)的響應(yīng)用戶的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用可能會(huì)遭到的破壞。
2、災(zāi)難恢復(fù)
制定詳細(xì)的災(zāi)難恢復(fù)計(jì)劃，及時(shí)的把用戶遇到的網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用的破壞，恢復(fù)到正常狀態(tài)，并且能夠消除產(chǎn)生風(fēng)險(xiǎn)和威脅的根源。
在充分滿足合規(guī)要求的同時(shí)，云安全管理平臺(tái)致力于為云用戶提供立體的、全面的安全防護(hù)能力，保護(hù)云計(jì)算用戶在云上資產(chǎn)的訪問、使用、數(shù)據(jù)的安全
（2）遠(yuǎn)程接入安全
對(duì)擁有大量租戶的云系統(tǒng)來說，云租戶選擇將企業(yè)內(nèi)部的業(yè)務(wù)系統(tǒng)部署在云上，需要為租戶在云上的業(yè)務(wù)提供安全可靠的遠(yuǎn)程訪問，建立企業(yè)分支與云之間的具有保密性的網(wǎng)絡(luò)連接是十分必要的，以提高溝通效率和資源利用效率。此外，云租戶的工作人員出差時(shí)也需要訪問系統(tǒng)內(nèi)部的一些信息資源，這時(shí)同樣需要建立保密的網(wǎng)絡(luò)連接。虛擬專用網(wǎng)（Virtual Private Network，VPN）技術(shù)以其靈活、安全、經(jīng)濟(jì)、易擴(kuò)展的特點(diǎn)，滿足了這部分需求。
VPN解決方案，可提供的安全解決能力包括IPsec VPN、SSL VPN等遠(yuǎn)程接入方式。IPSec是業(yè)界標(biāo)準(zhǔn)的網(wǎng)絡(luò)安全協(xié)議，可以為IP網(wǎng)絡(luò)通信提供加密服務(wù)，保護(hù) TCP/IP 通信免遭竊聽和篡改，從而有效抵御網(wǎng)絡(luò)攻擊。IPSec VPN幫助云上租戶解決了分支安全接入云平臺(tái)的問題。但是它對(duì)移動(dòng)辦公用戶（出差人員）遠(yuǎn)程接入的問題無法解決，SSL VPN解決方案正好滿足了這部分需求，而且SSL VPN具有細(xì)粒度控制、免客戶端軟件安裝等其它特點(diǎn)。
VPN接入網(wǎng)關(guān)是整個(gè)VPN解決方案的核心部分。它支持多種VPN業(yè)務(wù)，如L2TP VPN、IPSec VPN、GRE VPN等，它可以針對(duì)客戶需求通過互聯(lián)網(wǎng)線路、租用線等方式接入到云網(wǎng)絡(luò)內(nèi)部，構(gòu)建Internet、Intranet、Extranet等多種形式的VPN。SSL VPN解決方案的特點(diǎn)：
接入靈活：采用B/S架構(gòu)，直接使用“瀏覽器”完成VPN接入。當(dāng)員工需要進(jìn)行遠(yuǎn)程接入時(shí)，其移動(dòng)終端不需要特別配置，降低了維護(hù)成本和使用難度。
細(xì)化控制：能夠根據(jù)用戶個(gè)人身份和主機(jī)安全狀態(tài)授予其不同的訪問權(quán)限。在面向合作伙伴時(shí)，也可以根據(jù)情況，靈活地授予合作伙伴不同的訪問權(quán)限。
在實(shí)際的組網(wǎng)中，租戶可以根據(jù)云上業(yè)務(wù)的特點(diǎn)和并發(fā)訪問數(shù)量，采用IPsec、SSL結(jié)合靈活多樣的組網(wǎng)方式，用最合適的方案滿足租戶在云上的VPN接入需求。
隨著云上的業(yè)務(wù)越來越多，租戶IT應(yīng)用的不斷增加以及來自外部訪問的增多，邊界安全依舊是最重要的安全問題之一。傳統(tǒng)的將網(wǎng)絡(luò)劃分內(nèi)網(wǎng)辦公區(qū)、數(shù)據(jù)中心區(qū)、外聯(lián)數(shù)據(jù)區(qū)、互聯(lián)網(wǎng)連接區(qū)等分區(qū)保護(hù)的方式已經(jīng)不再適合云上的安全需求。云內(nèi)的訪問流量包括虛擬網(wǎng)絡(luò)內(nèi)部的東西向訪問流量和來自外部網(wǎng)絡(luò)的南北向流量，需要分別為這兩種流量提供安全防護(hù)手段。
考慮到云上網(wǎng)絡(luò)流量的變化，我們提出以下一代防火墻、防病毒模塊、入侵防御（IPS）模塊為支撐的南北向防護(hù)方案和以主機(jī)防火墻、主機(jī)IPS為核心的東西向邊界安全解決方案。網(wǎng)絡(luò)邊界安全關(guān)注的來自外部的南北向流量中的安全威脅。

（3）防病毒
防火墻內(nèi)置的防間諜軟件功能可以對(duì)500余萬(wàn)種間諜軟件實(shí)現(xiàn)防護(hù)，利用雙向攔截C&C（命令與控制）通信，避免失陷服務(wù)器進(jìn)一步造成危害。作為漏洞防護(hù)有效的補(bǔ)充，除了預(yù)防木馬后門、病毒蠕蟲、僵尸網(wǎng)絡(luò)之以外，支持自定義簽名的方式識(shí)別間諜軟件的特征。智慧防火墻深度集成漏洞防護(hù)、間諜軟件防護(hù)等應(yīng)用層安全功能，通過單引擎一次性數(shù)據(jù)處理對(duì)穿越數(shù)據(jù)中心出口的所有流量進(jìn)行深度威脅檢測(cè)。啟用智慧防火墻的漏洞可對(duì)緩沖區(qū)溢出、跨站腳本、拒絕服務(wù)等3000余種漏洞利用攻擊進(jìn)行防護(hù)。
內(nèi)置的防間諜軟件功能可以對(duì)500余萬(wàn)種間諜軟件實(shí)現(xiàn)防護(hù)，利用雙向攔截C&C（命令與控制）通信，避免失陷服務(wù)器進(jìn)一步造成危害。作為漏洞防護(hù)有效的補(bǔ)充，除了預(yù)防木馬后門、病毒蠕蟲、僵尸網(wǎng)絡(luò)之以外，支持自定義簽名的方式識(shí)別間諜軟件的特征。
3 系統(tǒng)總體架構(gòu)設(shè)計(jì)
3.1 系統(tǒng)架構(gòu)概述
在技術(shù)架構(gòu)層面，我公司提出以大數(shù)據(jù)+企業(yè)+政務(wù)的創(chuàng)新模式，并融合云計(jì)算、移動(dòng)互聯(lián)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等相關(guān)技術(shù)而形成開放式的云化操作系統(tǒng)。其整體架構(gòu)分為采集層（邊緣層）、IaaS層、PaaS層、SaaS層共4層的體系架構(gòu)，如下圖所示：

采集層（邊緣層）是基礎(chǔ)，支持?jǐn)?shù)十種的相關(guān)協(xié)議數(shù)據(jù)采集能力，可與企業(yè)端設(shè)備有機(jī)整合，可通過智能網(wǎng)關(guān)或工控機(jī)實(shí)現(xiàn)邊緣端的配置、數(shù)據(jù)、模型與云端的互聯(lián)互通。
IaaS層是支撐，本平臺(tái)采用招標(biāo)人自建的IT基礎(chǔ)設(shè)施，可與其完美適配。
PaaS層是核心，按照平臺(tái)架構(gòu)職責(zé)分為三大子平臺(tái)：
1、PaaS-D大數(shù)據(jù)平臺(tái)，是以國(guó)產(chǎn)Hadoop（BEH）或Cassandra為底層數(shù)據(jù)服務(wù)環(huán)境，整合關(guān)系型數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)、文本數(shù)據(jù)庫(kù)等多款產(chǎn)品，提供工業(yè)大數(shù)據(jù)存儲(chǔ)、管理、計(jì)算、分析和服務(wù)能力。
2、PaaS-P通用應(yīng)用開發(fā)平臺(tái)，提供支持傳統(tǒng)工業(yè)軟件快速云化的自研軟件如動(dòng)態(tài)模型引擎、流程引擎、動(dòng)態(tài)表單工具、開發(fā)平臺(tái)與IDE插件等，和支持構(gòu)建新型工業(yè)APP的自研工具如微服務(wù)治理平臺(tái)、工業(yè)建模工具、數(shù)據(jù)挖掘工具、二三維組態(tài)軟件等，同時(shí)大量融合了工業(yè)領(lǐng)域常用的流程工具、仿真工具和行業(yè)知識(shí)和機(jī)理基礎(chǔ)工具。
3、PaaS-B通用業(yè)務(wù)平臺(tái)，提供基于工業(yè)的常見業(yè)務(wù)能力服務(wù)。包含常見的設(shè)備管理、設(shè)備監(jiān)控、設(shè)備事件、設(shè)備分析、設(shè)備組態(tài)等組件能力。
SaaS層是關(guān)鍵，圍繞政務(wù)服務(wù)系統(tǒng)、企業(yè)服務(wù)系統(tǒng)和公眾服務(wù)系統(tǒng)等應(yīng)用場(chǎng)景，構(gòu)建市級(jí)智慧能源管理節(jié)能云平臺(tái)。
3.2 系統(tǒng)應(yīng)用拓?fù)?/strong>
按照實(shí)用性和易用性原則，針對(duì)不同使用者，應(yīng)用架構(gòu)涉及政務(wù)服務(wù)系統(tǒng)、企業(yè)服務(wù)系統(tǒng)和公眾服務(wù)系統(tǒng)等三類應(yīng)用。
運(yùn)銷管理系統(tǒng)包括基礎(chǔ)設(shè)置、合同管理、煤質(zhì)管理、運(yùn)銷計(jì)劃、運(yùn)銷管理、運(yùn)銷報(bào)表、運(yùn)銷開票等模塊。
本運(yùn)銷系統(tǒng)主要以基礎(chǔ)設(shè)置、合同管理、煤質(zhì)管理、運(yùn)銷計(jì)劃、運(yùn)銷管理、運(yùn)銷報(bào)表、運(yùn)銷開票等七個(gè)子系統(tǒng)，涵蓋了運(yùn)銷業(yè)務(wù)的全過程和全部信息，本文以其中幾個(gè)典型模塊為例，具體介紹本系統(tǒng)的詳細(xì)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)要點(diǎn)。
基礎(chǔ)設(shè)置子系統(tǒng)功能結(jié)構(gòu)如圖。本部分功能是整個(gè)運(yùn)銷系統(tǒng)的基礎(chǔ)常用信息部分。根據(jù)運(yùn)銷業(yè)務(wù)的特點(diǎn)，我們對(duì)常用的信息進(jìn)行了編碼并進(jìn)行了相關(guān)的設(shè)置，在界面上采用統(tǒng)一的輸入風(fēng)格，其中包括買方信息、煤礦信息、產(chǎn)品信息、行業(yè)信息等，這樣便于使用、修改和維護(hù)。整個(gè)基礎(chǔ)設(shè)置部分業(yè)務(wù)比較簡(jiǎn)單，在此以買方設(shè)置為例介紹基礎(chǔ)信息部分的設(shè)計(jì)。
基礎(chǔ)設(shè)置子系統(tǒng)包括買方設(shè)置、煤炭設(shè)置、產(chǎn)品設(shè)置、車站設(shè)置、行業(yè)設(shè)置、電力部門、運(yùn)輸類型、鐵運(yùn)歸口等模塊。
合同管理系統(tǒng)管理各類合同的申請(qǐng)、審批以及合同變更等。
通過合同中心，將合同的所有相關(guān)資料歸集在一起,建立合同檔案，管理合同的附件、協(xié)議等。
自動(dòng)記錄合同的變更歷史，自動(dòng)記錄合同發(fā)票、合同結(jié)算細(xì)節(jié)；自動(dòng)記錄合同入庫(kù)信息，跟蹤供應(yīng)商合同執(zhí)行情況。
合同文本可以包括WORD、EXCEL等文檔，包括掃描，鏈接附件。
合同付費(fèi)申請(qǐng)：完成合同付款申請(qǐng)操作。
合同付費(fèi)審查：主要功能是完成合同付款的審查操作。
合同查詢及報(bào)表主要功能特性：
可按合同編號(hào)查詢合同的整體情況,包括審批、基本情況、執(zhí)行情況。
可按合同種類、執(zhí)行情況、簽訂日期等條件查詢。
可打印相關(guān)合同臺(tái)帳、報(bào)表。
運(yùn)銷報(bào)表是煤炭行業(yè)運(yùn)銷管理系統(tǒng)中運(yùn)銷業(yè)務(wù)過程及結(jié)果的直接反映，它能具體反映當(dāng)日（月）煤炭銷售的實(shí)際情況，為煤炭銷售提供決策支持。正因?yàn)槿绱耍鶕?jù)運(yùn)銷業(yè)務(wù)的過程、性質(zhì)的不同，面對(duì)不同決策需求,在運(yùn)銷系統(tǒng)中，分為各種各樣的報(bào)表，完成不同類型、不同格式數(shù)據(jù)的統(tǒng)計(jì)和匯總功能。運(yùn)銷報(bào)表功能結(jié)構(gòu)如圖，運(yùn)銷報(bào)表子系統(tǒng)包括產(chǎn)銷運(yùn)報(bào)表、運(yùn)銷日?qǐng)?bào)等。