登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
传统典型数据仓库体系结构
作为一个数据仓库系统,从数据源(一般为业务系统或其它外购数据)到最终展现给最终用户,中间需要经过一系列过程:
抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积,简单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。
转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策的,必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往与业务系统中的数据结构是有非常大差异的。
建立海量、高效的企业级数据仓库。这个数据仓库必须能够在海量数据基础上服务于大量并发用户,并且无论是数据处理速度还是查询速度都应该满足一定的速度要求。依靠数据仓库应该能够完成设计范围内的一切分析。
针对特定的分析主题,建立专门的数据集市。仅仅依靠数据仓库进行分析,其速度往往不足够快。为了使某些常用分析的速度足够快,有必要为这些分析问题分别单独进行进一步的数据重组和优化,即建立数据集市以加快分析速度。
针对特定业务问题,使用特殊的数理统计算法进行数据挖掘。数据挖掘技术以建立在概率论和数理统计基础之上。特定的数据挖掘算法需要特定格式的数据输入,这种特定的格式往往不是数据仓库中直接具有的,需要大量的数据加工准备过程。模型挖掘、模型验证等过程也是一个需要反复进行的过程。另外,挖掘的结果--模型,必须作用到样本上--在样本上打分--才能真正发挥作用。
元数据管理--整个数据仓库的所有描述性信息、管理信息、调度信息等都是数据仓库的元数据。一个数据仓库要想得到很好的持续性建设和被很好地使用,元数据管理是必不可少的。
前端展现应用--最终用户的界面,这个界面必须简单易用且功能强大,必须具有良好的权限控制;两外,前端展现应用必须维护简单。
IBM数据仓库解决方案的体系结构IBM数据仓库的体系结构在上一节中描述的各个方面都具有卓越的表现。
核心技术
IBM数据仓库/商业智能解决方案是一个完整的端到端的解决方案,其核心技术包括:
1.IBM DB2 UDB作为海量数据仓库引擎
高扩展性
在单UNIX主机CPU扩展方面,TPC-C(OLTP)和TPC-H(Ad-Hoc Query),显示了DB2在扩展性方面的能力。
在集群技术方面,采用Share Nothing的MPP体系结构,每个节点独享各自的硬盘空间,各个节点间通过网络交换数据。可伸缩性强,最多可以扩充到2000个节点。国外有512节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球范围有许多TB级的数据仓库。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,长春联通携手国网长春供电公司、华为在吉林省电力5G+能源实验室开通全国首个电力行业5G-A3CC(三载波聚合)测试站点,成功完成5G-A3CC测试验证。3CC作为5G-A的关键技术,聚合三个不同频段的无线频谱资源,升级用户无线带宽。此次验证中,采用3.5GHz32TR200M+2.1GHz8TR40M的三载波聚合组网方案,
2024年3月,国家能源局12398能源监管热线(以下简称12398热线)共接收投诉举报457件,办结投诉举报530件(含往期结转)。现将有关情况通报如下:一、当月接收情况2024年3月,12398热线共接收投诉举报457件,同比下降28.44%、环比增长5.79%。其中:投诉383件,同比下降28.54%、环比下降4.73%;举报74件
3月份,规模以上工业增加值同比实际增长4.5%(增加值增速均为扣除价格因素的实际增长率)。从环比看,3月份,规模以上工业增加值比上月下降0.08%。1—3月份,规模以上工业增加值同比增长6.1%。分三大门类看,3月份,采矿业增加值同比增长0.2%,制造业增长5.1%,电力、热力、燃气及水生产和供应业增长4.
·ABB与多所优质职业院校共同开发《智能供配电技术》教材正式出版·加强校企合作,深化产教融合,持续为电力行业培养复合型人才z在我国迈向能源强国、制造强国的过程中,数字技术和绿色低碳成为实现高质量发展的两大核心。推进绿色发展,离不开绿色产业和相关人才的支撑。因此,加快“双碳”人才队伍建
4月9日,中国电力设备管理协会在北京召开电力行业推动大规模设备更新改造工作座谈会。本次会议旨在贯彻中央财经委员会第四次会议关于推动大规模设备更新的重大决策精神,落实国务院印发的《推动大规模设备更新和消费品以旧换新行动方案》的部署安排,进一步推动电力行业开展新一轮大规模设备更新改造,
一张图带你看电气行业执业资格考试的各等级证书,看看你能考下来哪一个!一入电气深似海,从此休假是路人,加班加到心累,考证考到白头。1.电工证、安全员等:适合刚入行的,中专高中等学历、工地施工等人员考取,入门白送级证书。2.二级建造师:从业人数多且需求大,每年考试人数几百万人,各省考试难
电力行业证书种类繁多,为了帮助各位“电力人”详细了解,小编特别整理了以下内容,希望能够帮助到您~电力行业相关的证书主要包括以下几类:注册建造师证书:该证书涉及工程建设项目管理,对于晋升经理职位非常有帮助。注册造价师证书:该证书市场需求大,资深造价师是企业争抢的对象。注册监理师证书
日前,工业和信息化部、国家发展改革委等七部门近日联合印发《推动工业领域设备更新实施方案》,提出到2027年,工业领域设备投资规模较2023年增长25%以上,规模以上工业企业数字化研发设计工具普及率、关键工序数控化率分别超过90%、75%,工业大省大市和重点园区规上工业企业数字化改造全覆盖,重点行
电力工程施工需要哪些资质证书电力工程施工是一个高风险、高安全要求的行业,需要具备相应的资质证书。根据中华人民共和国建筑法规定,所有进行建筑施工的单位,必须获得相应资质审定机构颁发的资质证书。对于电力工程施工而言,相关的证书主要包括以下几个方面:电力施工总承包资质电力施工总承包资质
俗话说,术业有专攻。作为一名电工,电工上岗证是必须需要考的,电工是特殊工种,也是高危危险职业,电工必须要具备上岗证才可以上岗。国家安监部门要求各企业特种作业人员持让上岗,是对在企业工作的特种作业人员的一种保护。电工证书等级是衡量电力技能和知识的重要标准,它不仅关系到职业发展和收入
电力/电气类相关的证书有注册电气工程师、高级工程师、电工证、高压电工证、电气监理工程师证等。其中,注册电气工程师证书的含金量是非常高的,因其报考条件严格,考试难度大,每年能够获得注册电气工程师证书的人少之又少。下面带大家详细了解一下~注册电气工程师《注册电气工程师执业资格制度暂行规
大数据技术日益成熟,在各行业发挥了巨大的作用,与水务行业的深度融合亦是智慧水务创新发展的趋势。智慧水务大数据分析标准以大数据构建和分析标准为主要内容进行研究,提出智慧水务大数据三层架构,初步构建分析标准体系,为水务企业智慧水务大数据建设和分析应用提供参考资料。
在竞争激烈的网络经济时代,随着Internet以及Web的商业迅速发展、营销理念的更新,企业保持客户所面临的困难越来越大,企业竞争的重点是“以客户为中心”,如何加强对企业客户资源的管理、开发与利用变得更加重要。客户关系管理(CRM)自产生以来,它的相关研究与应用得到了快速发展,但在企业中CRM应用失败的案例也比比皆是。究其原因主要有两点:一是人们对CRM核心思想的理解认识不准确,二是现有企业CRM应用的体系结构不完善。因此,企业的当务之急是如何进行有效的客户关系管理,以便能够深层分析数据仓库中储存的大量客户信息,从而获得有利于企
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?有效的数据仓库由于一直增长的大量数据确实变得越来越复杂
IBM公司宣布,计划到2030年摆脱其运营中排放的对地球有加热作用的二氧化碳。而与其他一些科技公司近来大张旗鼓地做出环保承诺不同,IBM的承诺强调的是要防止排放,而不是在二氧化碳排放后再开发捕捉二氧化碳的补救方法。IBM承诺到本年代末实现温室气体净排放为零,并承诺在转向可能能够在二氧化碳排放
在全球推进可持续能源发展进程中,锂离子电池被视为一项至关重要的关键技术。在电动汽车、商用航天等领域广泛应用的同时,它所用的钴、镍等重金属材料也带来严重的负面影响。为此,IBM宣布成功开发出了一种新电池,主要依赖从海水中提取的三种材料,而且从初期测试来看在性能上也没有妥协。通过和戴姆
今年的诺贝尔物理学奖颁给了锂电池发展史中三位杰出科学家,如今,锂电池已经走入各行各业。俗语道“不破不立”,学界努力多年,致力于开发出比锂电池更优秀的替代者。据外媒报道,“蓝色巨人”、专利和创新技术傍身的IBM宣布,将以一种海水提取物为原料,打造全新电池产品,再满足生产生活需求的同时
日前,IBM与特变电工新疆新能源股份有限公司(以下简称:特变电工新能源公司)签订了能源互联网科技创新项目。IBM绿色地平线团队将利用物联网、大数据分析和人工智能等核心技术,结合高精度气象预测数据,助力特变电工新能源公司能源互联网业务加速成长。IBM绿色地平线总经理徐海龙博士和特变电工新能源
近日,天合光能股份有限公司宣布和IBM合作,实现对全球九大制造基地的海量光伏制造数据的存储整合以及集中统一管理。天合光能正在向全球能源物联网引领者积极转型布局,此次合作将成为天合光能在智能化建设上又一里程碑式的项目。天合光能全球各制造基地在生产过程中积累了大量生产数据,其中光伏产品
2017城市能源互联网发展(北京)论坛暨能源互联网示范项目建设与合作研讨会于2017年12月1日在北京举办。主题报告环节,IBM能源与电力行业解决方案总监张永平发表演讲,主题是:建设城市能源互联网推动行业数字化转型。下面由电力头条APP为您带来张永平的精彩演讲张永平:我是来自于IBM公司,负责能源与
2017年10月17日-19日,2017中国光伏大会暨展览会(PVCEC2017)在北京隆重召开。IBM大中华区能源行业拓展总监吴如虎在数字化时代的可再生能源发展趋势论坛上发表了题为大数据解决方案助力可再生能源发展的主旨演讲。吴如虎表示IBM希望能够打造一个平台,实际上已经在实践过程中了,通过底层的物联网、大数
第二届能源互联网暨一带一路高峰论坛2017(EIS)于9月21日在上海隆重召开,该论坛由上海决策者经济顾问股份有限公司主办。本次论坛以能源互联网海内外示范项目以及能源互联网分布式能源发展现状(光伏、风电)及存在的问题为落脚点,从最新示范项目着手、针对智能储能领域能源互联网发展前景与实现路径、多
IBM与丹麦能源公司VestasWindSystems展开合作。该公司使用了IBM大数据分析软件和强大的IBM超级计算机系统,以提升风力发电机精准定位、实现最优能源输出的效果。众所周知,对于可再生能源产业来说,如何安放发电机是个重大挑战。Vestas寄希望于采用风能加速其国际化进程,并通过克服这些挑战将其业务扩
浩亭推出MICAreg;(模块化工业计算架构)ndash;一种用于缓冲、评估和处理设备及设施即时环境数据的解决方案。大批量长时间采集的数据在云端传输也将成为可能。浩亭技术集团已经与IBM密切合作数月。他们的合作已经获得了一个利用浩亭注塑机记录能源消耗的项目成果。数据被采集到IBMBluemix创新平台,然
ABB与IBM宣布进行战略合作,ABB行业领先的数字化解决方案ABBAbility将与IBMWatson物联网认知计算技术联手为电力、工业、交通和基础设施领域的客户创造新的价值。ABB拥有深厚的行业专长以及跨行业的数字化解决方案,IBM是人工智能、机器学习及不同垂直行业领域的专家,双方的合作将使客户受益。ABBAbili
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!