个性化阅读
专注于IT技术分析

Apache Pig运行模式

本文概述

Apache Pig以两种模式执行:本地模式和MapReduce模式。

Apache Pig运行模式

本地模式

  • 它在单个JVM中执行, 并用于开发实验和原型设计。
  • 在这里, 文件是使用本地主机安装和运行的。
  • 本地模式适用于本地文件系统。输入和输出数据存储在本地文件系统中。

本地模式grunt shell的命令:

$ pig-x local

MapReduce模式

  • MapReduce模式也称为Hadoop模式。
  • 这是默认模式。
  • 在此Pig中, 将Pig Latin呈现为MapReduce作业, 并在集群上执行它们。
  • 它可以针对半分布式或全分布式Hadoop安装执行。
  • 此处, 输入和输出数据存在于HDFS上。

Map reduce模式的命令:

$ pig

要么,

$ pig -x mapreduce

执行Pig程序的方法

以下是在本地和MapReduce模式下执行Pig程序的以下方式:-

  • 交互模式-在此模式下, Pig在Grunt shell中执行。要调用Grunt shell, 请运行pig命令。一旦执行了Grunt模式, 我们就可以在命令行中提供Pig Latin语句并以交互方式进行命令。
  • 批处理模式-在此模式下, 我们可以运行扩展名为.pig的脚本文件。这些文件包含Pig Latin命令。
  • 嵌入式模式-在此模式下, 我们可以定义自己的功能。这些功能可以称为UDF(用户定义功能)。在这里, 我们使用Java和Python等编程语言。
赞(0) 打赏
未经允许不得转载:srcmini » Apache Pig运行模式
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!

 

觉得文章有用就打赏一下文章作者

微信扫一扫打赏