【用python + hadoop编写分布式程序（一）：原理介绍】 Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System，并发布了相关论文。 在开发搜索引擎Nutch时对这两篇论文做了自己的实现，即同名的MapReduce和HDFS，合起来就是Hadoop🔗 网页链接 展开全文 【百度大数据黄金周预测：泰国为最热门出境游地点】百度大数据发布2014 年中国黄金周旅游预测，北京、上海、杭州为热门目的地前三名，泰国则是大陆游客最热衷的出境游目的地。在过去几年中，百度大数据的预测数量与实际游客到访数量对比，准确率高达九成。 🔗 网页链接 【大数据时代的隐私与第二脑】某一天早上，你手机给你发了这样信息：“下午你将在某个街区遇 到你的十五年前的女友，记得要假装惊讶噢。”这不是科幻小说，而是你的智能手机截获了她在社交平台上的信息。你打算看一场电影，手机告诉你，你不喜欢概率为73%。未来5年你中风概率60% 🔗 网页链接 【案例！百度借大数据试水影视剧创作】将大数据基因成功引入影视剧的实时创作，百度在国内开了先河。昨日由百度和湖南卫视携手推出的大数据试水之作《不一样的美男子》在北京举行发布会，宣布网友可登录百度专门为该剧开放的公共平台和贴吧参与互动，票选最终的大结局。🔗 网页链接 【私有云对开源意味着什么？】在今天较为流行的SaaS模型中，独立开发者不借助外力是不可能取得成功的。尽管这些百折不挠的人们还是在继续开发，但是有一个问题就是：他们开发出来的软件根本不可能到达广大用户的手中。🔗 网页链接 【Hadoop的辉煌还能延续多久】Hadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。看来，不仅现在Hadoop是企业大数据的标准，而且在未来，它的地位似乎一时难以动摇。 🔗 网页链接 【不一样的世界杯：从IBM的社交大数据分析谈起】一场世界杯，让我这样的伪球迷认识了苏牙、奥乔亚和罗格里格斯，而在熟知每一支球队球员和风格的真球迷脑中，想必也出现了一个新的词汇——“大数据”。同时，在本届世界杯上，也是大数据和媒体的结合”。🔗 网页链接 【Google佩奇:未来的劳动力将会趋向于兼职】佩奇认为:随着机器人科学、人工智能技术的进步,一部分劳动力人口会被科技驱逐,面临失业的风险。未来许多人只能干更少的活,用兼职工作代替全职。但Google的布林认为,短期市场对劳动力的需求不会消失,而会从一个领域,转移到另一个🔗 网页链接 【百度大数据助央视收视率创新高】从CCTV4引入百度大数据的图表和排行榜来看，先后三次引入了大数据的预测结果。首先是端午关注热点排行，划龙舟、吃粽子、放风筝等习俗排在前三位，人们关注端午节的来历、习俗、包粽子的方法等热点---🔗 网页链接 【值得在Twitter上关注的十位大数据专家】值得在Twitter上关注的十位大数据专家！大家不妨在评论中写下自己喜爱的大数据技术大师，从而让他们的真知灼见能为更多人带来启发。 @何春银微想 @杨静Lillian 详见： 🔗 网页链接 【大揭密部署hadoop MongoDB运行环境】运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图：mongodb中的数据。🔗 网页链接 【12种hadoop配置、运行错误总结！总有一种是你用得着的】新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。🔗 网页链接 【Apache Spark源码走读】Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，立足于内存计算，性能超过Hadoop百倍，即使使用磁盘迭代类型的计算也会有10倍速度提升。分享许鹏的“Apache Spark源码走读”系列博文，从源码方面对这个流行大数据计算框架进行深度了解。🔗 网页链接 展开全文 【新鲜的干货！hadoop备战：hbase的分布式安装经验】配置HBase时，首先考虑的肯定是Hbase版本与你所装的hadoop版本是否匹配，这一点我在之前的博客中已经说明清楚，hadoop版本与hbase版本的匹配度，那是官方提供的。下面的实验就是本人没参照版本匹配尝试投机的方法，出现了错误。🔗 网页链接 展开全文 【hadoop备战：hbase的分布式安装经验】配置HBase时，首先考虑的肯定是Hbase版本与你所装的hadoop版本是否匹配，hadoop版本与hbase版本的匹配度，那是官方提供的。下面的实验就是本人没参照版本匹配尝试投机的方法，出现了错误。详见：🔗 网页链接 【新出炉的干货大分享！超越Hadoop的大数据分析之图形处理尺寸】另一个来自Google的重要工具，看起来超越了Hadoop MR——Pregel框架实现了图形计算(Malewicez et al.2010)。在Pregel中的计算是由一系列迭代组成的，被称为supersteps。🔗 网页链接 展开全文 【干货来了！第六届中国云计算大会PPT推荐】第六届中国云计算大会PPT推荐：14位专家分享架构与应用，下载地址：🔗 网页链接 【草根不能少了真正的大数据思维】第一，自己虽然谈不上拥有大数据，但可以利用其思维来管理及分析日常数据。第二，利用外部真正的大数据来指导自己的决策。 第三，让自己更加重视数据，决策有理有据。 🔗 网页链接 【什么是Hadoop】Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是Google一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)，为分布式计算存储提供支持。🔗 网页链接 展开全文 【浅谈Hive vs. HBase】对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。详见：🔗 网页链接 【纯干货！hadoop基础知识】Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等)的能力。但这与之前有什么不同?本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。🔗 网页链接 【支付宝钱包启动"未来医院计划"！】支付宝钱包宣布，推出"未来医院计划"，帮助医院建立移动医疗服务体系，构建基于大数据的健康管理及疾病预防平台。通过支付宝钱包服务窗，病人可以直接完成预约挂号、候诊叫号、缴费取药、查看检查报告、与医生互动、评价医院等流程.. 【未来的信息安全专家，可能是数据科学家，甚至社会学家、心理学家！读《大数据时代》】读一本书，若能让你于字里行间的穿透中迸出些灵感，就此展开脑力激荡，最终思绪若涓涓细流汇聚成川，定然是绝妙的体验。妥当与否，有无缺漏，我就当抛砖引玉了。🔗 网页链接 【大数据的收集和处理】 实际上，之所以大数据这个概念能够在近3年突然引爆，恰恰就是因为处理和收集大数据的能力发生了质变，使得人类社会走进了大数据应用普及的时代：🔗 网页链接 【高温险是大数据时代下的一次商业噱头】“中秋节赏月险”、“光棍节脱光险”，随着互联网金融的兴起，一个又一个另类的保险产品出现在网络销售渠道。如今，炎热的高温季节一步步临近，又有保险公司推出了“高温险。🔗 网页链接 【如何准确又通俗易懂地解释大数据及其应用价值?】大数据是因为对它的分析使用，才产生和体现它的价值，而不是因为其用到了NB的技术和算法才体现了它的价值。(虽然NB的技术确实很NB,我曾经在另外一个答案中视海杜普位划时代的计算产品之一)。🔗 网页链接 【谷歌分享员工多样性数据报告】谷歌对外公布了其员工多样性的数据报告。数据显示，在全球范围内谷歌70%员工都是男性，而在美国61%员工都是白人，亚洲人次之占30%,而拉美裔和黑人最少只有3%和2%.为了提高公司的多样性，2010年谷歌为女性计算机科学教育事业投资了4000万美元。详见🔗 网页链接 展开全文 【李彦宏：企业级软件和大数据是未来趋势】李彦阿宏预测的另一个未来方向则是大数据。李彦宏直言，“数据爆炸”是一个伪命题，因为目前很多数据其实是没有价值的数据。 🔗 网页链接 【大数据议题：人类直觉和分析的“较量”】大数据技术的下一轮推进是否会彻底抹去人类直觉在关键性业务决策中的作用，从而让企业的运作完全依赖于由数据驱动的分析机制? 🔗 网页链接 【李彦宏：大数据有点“误导”大众】李彦宏说，经常有人说，过去两年人类产生的数据占到全部人类文明的90%，现在处于数据爆炸时代，非常多，也解决了很多问题，这种观点有点“误导”大众的感觉。现在每天产生大量数据，但很多是没有价值的数据，这些数据没有显示出足够的威力。 🔗 网页链接 