:::: MENU ::::

TalkingData's Blog

现在开始,用数据说话。

Monthly Archives / 一月 2015

  • 一 26 / 2015
  • 0
Tech

Spark at TalkingData

本文是TalkingData程序猿田永军在多年的工作实践中总结的一些经验,主页君在此分享给大家。看完此文有兴趣与作者本人交(gou)流(da)的筒子,可以关注TalkingData微信并给留言给主页君哦~

历史演变

  • 数据量:以前一天1-2TB,现在一天3-4TB
  • 数据格式JSON(解析非常慢)
  • Hadoop跑一天需要几个小时。一个月的数据无法跑,只能每天处理好再合并后处理月的,还是需要很长时间。
  • 用Spark跑,一天需要1-2个小时,量大后到2、3个小时,一个月的数据也可以跑,但是经常会OOM
  • 现在方法可以使ad-hoc,一天的量需要2min,一个月的一个小时。我们把每天的数据提前处理一天生成Parquet格式,大概需要就是用3个小时,以后的任务都从这个Parquet里面出,速度非常快。

Continue Reading

  • 一 23 / 2015
  • 0
Data

【TalkingData数据报告】2014中国手游市场发展趋势

继《TalkingData 2014移动互联网数据报告》发布之后,又一重磅报告《2014中国手游市场发展趋势(完整版)》在今天的2015游戏葡萄Gamer大会上发布,TalkingData业务拓展副总裁高铎就移动游戏行业的发展情况、玩家属性、玩家行为等方面盘点了2014移动游戏行业的发展趋势。 Continue Reading

随时欢迎您 联系我们