译者|张锋策划|云昭不同项目都有各自的难点,数据流、分析和其他软件开发都是如此。下面显示了三个案例研究,它们具有显著不同的数据仓库现代化体系结构和技术。这些例子来自不同的垂直行业:软件和云业务,金融服务,物流和运输,以及旅游住宿业。1、Confluent从使用Stitch的批量ETL到使用Kafk
由于数据应用开发和功能性软件系统开发存在很大的不同,在我们实践过程中,在开发人员和质量保证人员间常常有大量关于测试如何实施的讨论。下文将尝试总结一下数据应用开发的特点,并讨论在这些特点之下,对应的测试策略应该是怎么样的。功能性软件的测试先来回顾一下功能性软件系统开发中的测试。测试一般分为自动化测试和
概述ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少。最近用kettle做数据处理比较多,所以也就介绍下这方面内容,这里先对比下几款主
概述Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行。说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用。今天主要先描述ETL工具的通用功能。ETL工具的功能之一:连接任何ETL工具都应该有能力连接到类型
【51CTO.com快译】在商业环境中,随着各类数据量的不断猛增,企业对于那些以ETL为基本要素的数据仓库项目和高级分析系统的需求也在不断增多。此处ETL所对应的是数据仓库的三个概念:提取(Extracting)、转换(Transforming)和加载(Loading)。其主要流程包括:从不同的外部