`
囧囧有神
  • 浏览: 204679 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

加载distribute cache过大

 
阅读更多

为了节省一步join的MR,使用distribute cache把小文件加载到内存,分析的数据实在过大,导致特征词统计的小文件也可能要达到600M左右,解决办法两种:1.调整数据结构,减少内存中的数据条数;2.改用join的方式加载入数据

0
4
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics