:::: MENU ::::

TalkingData's Blog

现在开始,用数据说话。

Posts Categorized / Tech

  • 六 15 / 2015
  • 0
News, Tech

LinkedIn Pinot初探

images

在大数据技术圈,本周发生了两件比较重要的技术事件。事件一:LinkedIn开源了其实时分布式OLAP存储系统Pinot。事件二:Spark正式发布了Spark1.4。作为国内一直在大数据技术领域进行积极探索和实践的公司,TalkingData也一直在关注的国内外大数据技术的进展,让我们第一时间对LinkedIn的Pinot进行一下探索。 Continue Reading

  • 六 15 / 2015
  • 0
News, Tech

Kafka介绍及升级经验分享

kafka

  • 背景

当时的现状:开始使用Kafka的时候,使用的版本是0.7.2,当时的目的是为了替代kestrel,主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题:吞吐量、数据量、一份数据多次消费。 Continue Reading

  • 六 15 / 2015
  • 0
News, Tech

VoltDB分享

voltdb

简介

VoltDB是一个内存中的开源OLTP SQL数据库,能够保证事务的完整性(ACID)。VoltDB是Postgres和Ingres联合创始人Mike Stonebraker领导开发的下一代开源数据库管理系统。 Continue Reading

  • 一 26 / 2015
  • 0
Tech

Spark at TalkingData

本文是TalkingData程序猿田永军在多年的工作实践中总结的一些经验,主页君在此分享给大家。看完此文有兴趣与作者本人交(gou)流(da)的筒子,可以关注TalkingData微信并给留言给主页君哦~

历史演变

  • 数据量:以前一天1-2TB,现在一天3-4TB
  • 数据格式JSON(解析非常慢)
  • Hadoop跑一天需要几个小时。一个月的数据无法跑,只能每天处理好再合并后处理月的,还是需要很长时间。
  • 用Spark跑,一天需要1-2个小时,量大后到2、3个小时,一个月的数据也可以跑,但是经常会OOM
  • 现在方法可以使ad-hoc,一天的量需要2min,一个月的一个小时。我们把每天的数据提前处理一天生成Parquet格式,大概需要就是用3个小时,以后的任务都从这个Parquet里面出,速度非常快。

Continue Reading

  • 十一 13 / 2014
  • 0
Tech

Bitmap的秘密——周海鹏 TalkingData研发副总裁

之前已经参加过几次QCon峰会,不过今年QCon 2014 上海峰会对我来说比较特别,不再只是一名听众,而是第一次登台演讲。感觉的确不太一样,一来是身份从听众变成了讲师,二来是因为成了讲师,让我接触到更多的业内朋友,也遇到了更多的提问、咨询。会后已经有一段时间了,还有朋友提出想了解更多的技术知识。看来会上行云流水的半个小时,未能把一个技术点讲述明白,我想还是总结一下,让技术圈朋友们对Bitmap这个技术点加深点理解。 Continue Reading

  • 十一 11 / 2014
  • 0
Tech

【TalkingData技术分享】移动互联网遇到大数据

1025日下午,北理大数据公开课系列活动第二期在北京理工大学(校本部)中心教学楼综合报告厅成功开讲。TalkingData研发副总裁阎志涛同大家分享了《当移动互联遇到大数据》,通过移动互联大数据的技术架构特点和数据的分析利用,探寻移动互联网大数据的落地应用以及未来的挑战。

演讲包括五个部分:中国移动互联网现状,移动互联网大数据特点、移动互联网大数据价值和利用,移动互联网大数据技术,移动互联网大数据的未来和挑战。通过TalkingData移动观象台的平台监测,从设备、运营商、APP安装覆盖率与用户活跃度等数据,配合实际应用案例,发掘移动互联网的数据应用价值;而技术层面则包括了前沿数据处理技术、大数据企业技术架构、数据处理流程等干货内容分享。

当移动互联网遇到大数据-1

Continue Reading

  • 十 30 / 2014
  • 0
Tech

Java Cache性能分析

在高并发的应用中,大量(访问文件、DB、远端服务调用等)操作会严重影响性能。使用Cache是一种比较常见的手段。本文对比较常用的几种Cache做了一个性能测试,分享一下在不同场景下,使用什么样的Cache。 Continue Reading

页面:1234
随时欢迎您 联系我们