1、Hadoop Pipes简介
Hadoop Pipes是Hadoop MapReduce的C++接口代称。不同于使用标准输入和输出来实现的map代码和reduce代码之间的Streaming编程,Pipes使用Socket作为TaskTracker与C++进程之间数据传输的通道,数据传输为字节流。
2、Hadoop Pipes编程初探
Hadoop Pipes可供开发者编写RecordReader、Mapper、Partitioner、Reducer、RecordWriter五个组件,当然,也可以自定义Combiner。
WordCount.cc 示例,也可以参考该git项目https://github.com/alexanderkoumis/hadoop-wordcount-cpp/tree/master: