深圳幻海软件技术有限公司

数据处理的工作时间占据了整个数据分析项目的70%以上。因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法有哪些呢？比如数据清洗、数据集成、数据规约、数据变换等，其中最常用到的是数据清洗与数据集成，下面小编将来详细介绍一下这2种方法。1、数据清洗数据清洗是通过填补缺失值，平滑或删除离群

1.背景介绍2018年B站基于Hadoop开始搭建离线计算服务，计算集群规模从最初的两百台到发展到目前近万台，从单机房发展到多机房。我们先后在生产上大规模的使用了Hive、Spark、Presto作为离线计算引擎，其中Hive和Spark部署在Yarn上，具体的架构如下，目前每天有约20w的离线批作

​作者｜霖雾，携程数据开发工程师，关注图数据库等领域。​背景2017年9月携程金融成立，在金融和风控业务中，有多种场景需要对图关系网络进行分析和实时查询，传统关系型数据库难以保证此类场景下的关联性能，且实现复杂性高，离线关联耗时过长，因此对图数据库的需求日益增加。携程金融从2020年开始引入大规模图

大家好，我是Tom哥5G时代，运营商网络不断提速，成本越来越低，流量越来越便宜。给互联网、物联网、互联网+各个行业的高速发展创造了非常好的有利条件，同时也产生了海量数据。如何做好数据分析，计算，提取有价值信息，大数据技术一直是一个热门赛道。今天我们就对Hadoop、Hive、Spark做下分析对比。

今日分享主题：PythonPyecharts模块实现数据动态可视化分析前言Echarts是百度开源的一款数据可视化JS工具，数据可视化类型十分丰富，但是得通过导入js库在JavaWeb项目上运行。作为工作中常用Python的选手，不能不知道这款数据可视化插件的强大。那么，能否在Python中也能用到

 01数据仓库选型数据仓库选型是整个数据中台项目的重中之重，是一切开发和应用的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的较量。Hive数仓以Hive为核心，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用于分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验，更有利于公司的科学决策，因此获取数据的实时性尤为重要。目前企业的数仓建设大多是离线一套，实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分

 1.计算框架Hadoop是一个计算框架，目前大型数据计算框架常用的大致有五种：仅批处理框架：Apachehadoop.仅流处理框架：ApacheStorm、ApacheSamza.混合框架：ApacheSpark、ApacheFlink.这其中名气最大、使用最广的当属Hadoop和Spa

我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。一、概念Hadoop诞生于2006年，是一款支持数据密集型分布式应用并以Apache2.0许可协

我相信每一个集群管理员，在长期管理多个不同体量及应用场景的集群后，都会多少产生情绪。其实这在我看来，是一个很微妙的事，即大家也已经开始人性化的看待每一个集群了。既然是人性化的管理集群，我总是会思考几个方向的问题：集群的特别之处在哪儿?集群经常生什么病?对于集群产生的突发疾病如何精准地做到靶向定位?应