大数据时代的七大挑战和八大趋势

大数据挑战和机遇并存。未来几年大数据的发展将从前几年的预期扩张阶段和炒作阶段转向理性发展阶段和落地应用阶段。未来几年大数据将逐渐进入理性发展期。大数据未来的发展还有很多挑战，但是前景还是很乐观的。？

大数据发展的挑战

目前，大数据发展仍面临诸多挑战，包括七大挑战:业务部门对大数据没有明确需求，导致数据资产逐渐流失；企业内部数据孤岛严重，导致数据价值挖掘不足；数据可用性低，数据质量差，使数据无法使用；数据相关管理技术和架构落后，导致大数据处理能力不足；数据安全能力和防范意识差，导致数据泄露；大数据人才缺乏，大数据工作难以开展；大数据越开放，越有价值。而大数据相关政策法规的缺失，使得数据开放和隐私难以平衡，也难以更好的开放。

挑战1:业务部门没有明确的大数据需求。

很多企业业务部门不懂大数据，不了解大数据的应用场景和价值，所以很难提出大数据的精准需求。由于业务部门需求不明确，而大数据部门是非盈利部门，企业决策者担心成本相对较高，导致很多企业在建设大数据部门时犹豫不决，或者很多企业处于观望状态，从根本上影响了企业向大数据方向发展，也阻碍了企业对自身数据资产的积累和挖掘。甚至因为数据没有应用场景，很多有价值的历史数据被删除，造成企业数据资产的流失。因此，需要大数据从业者和专家共同努力，推广和分享大数据应用场景，让更多的商业人士了解大数据的价值。

挑战2:企业内部严重的数据孤岛

企业启动大数据最大的挑战是数据的碎片化。在很多企业，尤其是大型企业，数据往往分散在不同的部门，这些数据存在于不同的数据仓库中，不同部门的数据技术可能不一样，导致无法打通自己的数据。如果不打通这些数据，大数据的价值是很难挖掘的。大数据需要不同数据的关联和整合，才能发挥了解客户和业务的优势。如何打通不同部门的数据，实现技术和工具的共享，才能更好的发挥企业大数据的价值。

挑战3:数据可用性低，数据质量差。

很多中大型企业也是每时每刻都在产生大量的数据，但是很多企业对大数据的预处理阶段重视不够，导致数据处理不规范。在大数据的预处理阶段，需要提取数据，将数据转换成便于处理的数据类型，并对数据进行清洗去噪，提取有效数据。甚至很多企业在上报数据时存在很多不规范、不合理的情况。以上原因导致可用性差，数据质量差，企业数据不准确。大数据的意义不仅在于收集大规模的数据信息，还在于对收集到的数据做好预处理，让数据分析师和数据挖掘者从高可用性的大数据中提取有价值的信息。Sybase数据显示，高质量数据的应用可以显著提升企业的业务绩效，数据可用性可以提升10%，企业的业绩至少可以提升10%。

挑战4:与数据相关的管理技术和架构

技术架构的挑战包括以下几个方面:(1)传统数据库部署无法处理TB级数据，快速增长的数据超出了传统数据库的管理能力。如何构建一个分布式数据仓库，轻松扩展大量服务器，成为很多传统企业面临的挑战。(2)很多企业采用传统的数据库技术，在设计之初没有考虑数据类别的多样性，尤其是结构化数据、半结构化数据和非结构化数据的兼容性；(3)传统企业的数据库对数据处理时间要求不高，这些数据的统计结果往往滞后一两天才被统计出来。但是大数据需要实时处理数据，进行分钟级甚至秒级的计算。传统的数据库架构师缺乏实时数据处理能力；(4)海量数据需要良好的网络架构和强大的数据中心来支撑，数据中心的运维也将成为挑战。如何在保证数据稳定、支持高并发的同时，降低服务器的低负载，成为海量数据中心运维的关键工作。

挑战5:数据安全

网络生活让犯罪分子更容易获取人的信息，不容易被跟踪和防范的犯罪手段也更多，可能会有更巧妙的骗局。如何保证用户的信息安全，已经成为大数据时代非常重要的问题。网上数据越来越多，黑客犯罪的动机比以往任何时候都强烈。一些知名网站密码泄露、系统漏洞导致用户数据被盗等个人敏感信息的泄露，警醒我们加强大数据网络安全建设。此外，随着大数据的增多，对数据存储的物理安全要求会越来越高，这也对数据的多副本和容灾机制提出了更高的要求。目前很多传统企业的数据安全堪忧。

挑战六:缺乏大数据人才

大数据建设的每一个环节都需要专业人员来完成。因此，需要培养和造就一支具有大数据技术、管理和大数据应用经验的大数据建设专业队伍。目前大数据相关人才的缺乏会阻碍大数据市场的发展。根据Gartner的预测，到2015年，全球将创造440万个与大数据相关的工作岗位，25%的组织将设立首席数据官职位。大数据相关的岗位需要能够综合驾驭数学、统计学、数据分析、机器学习、自然语言处理的复合型人才。未来大数据将出现约654.38+0万的人才缺口，大数据中高端人才将成为各行业最热门的人才，涵盖数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。所以需要高校和企业共同努力培养和挖掘。目前最大的问题是很多高校缺乏大数据，有大数据的企业要和学校联合培养人才。

挑战7:数据公开和隐私之间的权衡

在大数据应用越来越重要的今天，数据资源的开放和共享已经成为在数据战争中保持优势的关键。商业数据和个人数据的应用不仅可以促进相关行业的发展，也给我们的生活带来了极大的便利。由于政府、企业、行业信息系统建设缺乏统一规划和标准，形成了许多“信息孤岛”，且受行政垄断和商业利益的限制，数据开放程度低，对数据利用造成了很大障碍。制约我国数据资源开放和共享的另一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。保证* * *享受和防止滥用是不可能的。因此，建立良性的数据共享生态系统是中国国家数据发展的一大进步。同时，如何平衡开放和隐私也是大数据开放过程中最大的问题。如何在促进数据充分开放、应用和享用的同时，有效保护公民和企业的隐私，并逐步加强隐私立法，将是大数据时代的一大挑战。

大数据的发展趋势

虽然大数据还处于起步阶段，挑战也很多，但是未来的发展还是很乐观的。大数据的发展呈现八大趋势:数据资源将成为最有价值的资产；大数据在更多传统行业的企业管理中落地；随着大数据与传统商业智能的融合，行业定制化解决方案将会出现；数据会越来越开放，数据共享联盟出现；大数据安全越来越受重视，大数据安全市场会越来越重要；大数据推动智慧城市发展，是智慧城市的引擎；大数据会催生一批新的工作岗位和相应的专业；大数据正在许多方面改善我们的生活。

趋势1:数据资源将成为最有价值的资产。

随着大数据应用的发展，大数据的价值才能得到充分体现。大数据已经成为企业和社会层面的重要战略资源。数据成为新的战略制高点，成为大家抢夺的新焦点。在一份题为“大数据，大影响”的报告中，华尔街日报宣称数据已经成为一种新的资产类别，就像金钱或黄金一样。谷歌、脸书、亚马逊、腾讯、百度、阿里巴巴和360等公司正在利用大数据取得更大的商业成功，金融和电信公司也在利用大数据提升竞争力。我们有理由相信，大数据将继续成为机构和企业的资产，成为提升竞争力的有力武器。

趋势二:大数据在更传统的行业被管理。

一项新技术往往在少数行业应用并取得良好效果，对其他行业有很强的示范作用。目前，大数据已经在大型互联网公司得到了很好的应用，其他行业尤其是电信、金融的大数据也逐渐在各种应用场景下取得成效。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将在很多行业的企业中得到应用，并带来广泛的社会价值。大数据将帮助企业更好地了解和满足客户需求和潜在需求，更好地应用于业务运营的智能监控、企业精细化运营、客户生命周期管理、精细化营销、业务分析和战略分析。企业管理既有艺术又有科学。相信大数据对企业的科学管理有更显著的促进作用，让更多拥抱大数据的企业实现智慧企业管理。

趋势三:大数据与传统商业智能融合，行业定制化解决方案将出现。

传统商业智能领域的人将大数据视为新的数据源，而大数据从业者则认为传统商业智能只是在处理其领域内少量数据时的一种方法。大数据用户希望得到一个整体的解决方案，即不仅要收集、处理和分析企业内部的业务数据，还要引入互联网上的网页浏览、微博、微信等非结构化数据。另外，我们希望结合移动设备的位置信息，让企业形成一个全面完整的数据价值开发平台。毕竟无论是大数据还是商业智能，目的都是为分析服务的，数据的全面整合更有利于发现新的商机。这就是大数据商业智能。同时，由于行业的差异，很难开发出一套适合各行业的大数据商业智能分析系统。因此，在一些大规模的行业市场，大数据服务商会为大数据服务提供更加定制化的商业智能解决方案。我们相信，电信、金融、零售等行业将会出现更多的大数据商业智能定制解决方案。

趋势四:数据会越来越开放，数据共享联盟会出现。

越相关的大数据越有价值，越开放。特别是公共企业和互联网公司的开放数据会越来越多。我们可以看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业的数据上下了功夫。而国内一些城市和部门也在逐步开放数据。如北京市于2012开始政府数据资源网试运行，2013年底正式开通；上海于2012启动政府数据资源开放试点，数据涉及地理位置、交通、经济统计、资质等。2014年，贵州省也加入了数据开放，10年，贵州正式上云。对于不同的行业，你享受的数据越多，它就越有价值。如果每个医院都想获得更多的疾病特征和疗效信息，就需要享受全国乃至全球的医疗信息，这样才能通过平台进行分析，获得更多的价值。我们相信数据会呈现共享的趋势，不同领域的数据联盟会出现。

趋势五:大数据安全越来越受重视，大数据安全市场会越来越重要。

随着数据的价值越来越重要，大数据的安全性和稳定性也会逐渐被重视。网络和数字生活也让犯罪分子更容易获取他人信息，有了更多的伎俩和犯罪手段。因此，在大数据时代，无论是对于数据本身的保护，还是对于由数据演化而来的一些信息的安全性，对大数据分析要求较高的企业都将至关重要。大数据安全对应的是大数据业务。与传统安全相比，大数据安全最大的不同在于，安全厂商在思考安全问题时，首先要对业务进行分析，找出大数据业务面临的威胁，然后提出针对性的解决方案。比如对于数据存储场景，目前很多企业使用Hadoop技术等开源软件来解决大数据问题。由于其开源性，其安全问题也很突出。因此，市场需要更专业的安全厂商，针对不同的大数据安全问题提供专业服务。

趋势六:大数据推动智慧城市发展，是智慧城市的引擎。

随着大数据的发展，大数据将在智慧城市中发挥越来越重要的作用。由于人口聚集给城市在交通、医疗、建筑等方面带来的压力，需要城市更加合理地安排和分配资源，智慧城市是治理转型城市的最佳解决方案。智慧城市就是通过物与物、物与人之间的互联能力、综合感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现高效的政府管理、便捷的民生服务和可持续的产业发展。与之前的数字城市概念相比，智慧城市最大的区别在于对感知层获取的信息进行智能化处理。从城市数字化到城市智能化，关键是实现数字信息的智能处理，其核心是大数据处理技术的引入。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城市管理，都是基于大数据的智慧城市应用领域。

趋势七:大数据将催生一批新的工作岗位和相应的专业。

一个新行业的出现必然会有新的岗位需求，大数据的出现也会创造出一批新的岗位，比如大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。有经验的数据分析师将成为稀缺资源，数据驱动的工作将呈现爆发式增长。由于市场需求旺盛，高校会逐步开设大数据相关专业，培养相应的专业人才。企业也会和高校紧密合作，帮助他们共同培养大数据人才。例如，2014年，IBM全面推进与高校在大数据领域的合作，引入强大的R&D团队和业务合作伙伴，推进面向行业的产学研“大数据平台”和“大数据分析”创新合作，构建系统的知识体系和培养高价值人才，建设符合中国教学特点和人才需求的大数据相关学分课程，为未来特色专业建设做准备。

趋势8:大数据正在多方面改善我们的生活。

大数据不仅用在企业和政府中，也用在我们的生活中。在健康方面:我们可以使用智能手环监测追踪我们的睡眠模式，了解睡眠质量；我们可以使用智能血压计、智能心率仪，远程监控家中老人的异地健康状况，让远在外地的农民工更安心；出行方面，可以利用智能导航的GPS数据了解交通情况，根据拥堵情况实时调整路线。家居生活方面，大数据将成为智能家居的核心，智能家电将实现拟人智能。产品可以通过传感器和控制芯片捕捉和处理信息，并可以根据居住空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议。例如，我们的冰箱会在每天清晨提示我们当天的食谱。

以上是边肖为您分享的大数据时代的七大挑战和八大趋势。更多信息可以关注全球常春藤分享更多干货。