MapReduce实践 Uber数据分析

栏目: 编程工具 · 发布时间: 5年前

内容简介:这篇博客是关于如何在Hadoop MapReduce中进行Uber数据分析的。该数据有4列:

这篇博客是关于如何在Hadoop MapReduce中进行Uber数据分析的。

数据

数据下载

数据展示

MapReduce实践 Uber数据分析

数据说明

该数据有4列:

  1. dispatching_base_number
  2. date
  3. active_vehicles
  4. trips

问题描述

计算每个Basement每个周几总共有多少trips

MapReduce实现

Mapper

在Mapper中 使用 java.time.LocalDate 来获取每个年月日具体是星期几,并将 Basement_number+dayofweek 作为keys, tripNum 作为value。

public static class ExtractTripMapper extends Mapper<Object, Text, Text, IntWritable>
{
    private IntWritable tripNum; // trip 值
    String specifyDate = "MM/DD/YYYY";
    DateTimeFormatter formatter = DateTimeFormatter.ofPattern("M/d/y");  // date转化格式
    LocalDate date;
    String dayOfWeek;

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException
    {
        String[] splitArray = value.toString().split(","); // 对字符串进行切分
        specifyDate = splitArray[1];
        // 使用try来处理不和谐的数据
        try{
            date = LocalDate.parse(specifyDate,formatter);
            dayOfWeek = date.getDayOfWeek().toString();
            tripNum =  new IntWritable(new Integer(splitArray[3]));
        }
        catch (DateTimeParseException e){
            e.printStackTrace();
            return;
        }

        context.write(new Text(splitArray[0] + "+" + dayOfWeek), tripNum);
    }
}

Combiner&Reducer

之后就与WordCont相同,进行简单的统计和合并。

public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable>
{
    public void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException
    {
        int sum = 0;
        for (IntWritable val : values)
        {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据结构与算法

数据结构与算法

2009-8 / 32.00元

《数据结构与算法》系统地介绍了数据结构的基本概念和基本算法,主要内容包括:绪论,线性表,栈与队列,串,数组、特殊矩阵和广义表,树,图,排序,查找,算法的分析与设计,实验与上机指导。《数据结构与算法》特别注重突出应用性和实践性,实例和习题丰富,并在附录中给出了各章习题的答案。 《数据结构与算法》适合作为应用型本科院校和成人教育计算机专业数据结构课程的教材,也可作为数据结构培训班的教材以及软件从......一起来看看 《数据结构与算法》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具