大数据实验室建设方案和内容

一、大数据实验室建设方案

为了保证项目的顺利进行和建设目标的可行性，可采取如下几种大数据实验室建设方案。

1、大数据采集方案。

统一信息资源标准规范，建立多维度数据库，拓宽数据来源，通过不同的方式汇聚数据，增强分析力度，提高监测预警的准确性和时效性。

1)、预留接口，支持其它系统各种数据的上传导入处理。将现存有关经济运行业务系统中的历史数据和时效数据，通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来，在本平台上复用。

2)、支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。

3)、支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方式采集起来，在本平台上复用。

2、大数据分析方案。

物联网大数据之大并不是难点所在，其真正难以对付的挑战来自于数据类型多样、要求及时响应和数据的不确定性，而所面临的也正是如此。采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。

3、业务整合方案。

在对社会发展相关业务子系统充分调研基础上，结合项目需求，可对其进行整合或嵌入处理（本方案整合公共信用信息服务平台、投资项目信息管理平台等）。

1)、嵌入处理。

以单点登录的方式将原有系统链接嵌入到本平台中，作为子系统单独存在。缺点在于数据共享难以实现。

2)、整合处理。

将原有数据通过上传或导入方式进行采集，原有功能模块整合到本平台中，合二为一，wan美的将数据汇聚起来。缺点是耗时较长。

二、大数据实验室建设内容

1、建立食品安全风险监测大数据分析平台

国家应制定相关法规，强制推行在农、林、牧、副、渔及食品生产企业和相关主体建立覆盖食品生产全过程的食品安全风险监测网点，进行动态数据的标示与感知，设立食品安全风险监测省级及地方大数据分平台，负责动态收集、分析本省及地方的食品安全监测数据，对本省及地方的食品安全状况做出评估，对监测发现的可能存在的食品安全隐患及时发布预警，并将数据及时汇总到食品安全风险监测管理部门。食品安全风险监测大数据平台的基础是感知、收集、分析和共享覆盖食品生产全过程的相关数据。

2、宏观经济监测预测及可视化平台

为了提高宏观调控决策水平，必须从依靠传统统计数据向依靠物联网非统计数据转变，从监测预测宏观经济总量向监测预测宏观经济先行指标转变，从中长期监测预测向实时监测预测转变。政府信息化的Z终目标是提高政府的决策水平，其中经济决策是核心内容。

积极拓宽信息发布渠道，建立可视化平台，如采用Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量数据，通过数据处理、存储管理、可视化交互分析等技术，实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。利用预测信号灯系统，形象地刻画出宏观经济总体运行状况，分析经济波动原因，及时了解各地区经济发展的不平衡性，准确判断和测定经济景气循环运行状态，提高宏观经济决策水平。

宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资源，建设以“容量大、形式多、分类细、响应快”为目标的宏观经济监测预测数据库，构建基于互联网数据的宏观经济非统计指标监测预测应用平台。  围绕ZD产业活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、外贸订单变化趋势等方面，大数据实验室构建物联网大数据宏观经济先行指标和现时预测指标库，研究能客观、准确反映我省宏观经济运行状况的指标体系，编制“山东指数”。  在健全完善监测预警数据库的基础上，充分运用大数据技术和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析系列模型，切实提高预测分析的前瞻性、准确性和可靠性。

3、建立物联网数据共享交换平台

建设物联网数据共享交换平台的首要目标就是要创造一个信息交换、信息共享的方式和环境，按照统一标准和规范，建立信息资源整合机制，规范数据采集口径、采集方式，规范数据的服务方式，建立统一的资源信息整合与交换机制。

物联网数据共享交换平台是各个平台中的基础性和综合性平台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于提高各类信息资源整合共享，以及信息资源的综合利用。

按照统一、集约、GX的数据开发利用理念，通过研究建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，通过以应用为抓手，进一步打通数据流，满足政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务。通过分布式部署和集中式管理架构，有效解决各节点间数据的及时、GX上传下达，在安全、快捷、方便的进行信息交换的同时jing准的保证数据的一致性和准确性。

物联网数据共享交换平台的全局目标是建立一个可扩展、可集成、有统一数据模型、可交换和安全可靠的分布式系统，对各类物联网资源进行组织和管理。解决物联网信息资源的发现与定位问题，解决物联网信息资源规划与整理问题。支持物联网信息集成整合应用、各业务部门办公应用和政府职能决策应用。面向政务协作、宏观决策、市场监管和社会管理服务。