在Mac上安装ApacheSpark最新版本 在Mac(macOS)上安装最新版本的ApacheSpark的只需要五个简单步骤 使用Homebrew在MacOS上安装ApacheSpark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装ApacheSpark。 下面我解释了使用Homebrew在MacOS上逐步安装ApacheSpark,验证安装,运行sparkshell,并创建一个SparkDataFrame。 在MacOS上安装最新版本的ApacheSpark的步骤 第1步安装Homebrew第2步安装Java第3步安装Scala第4步安装ApacheSpark最新版本第5步SpartSparkshell和验证安装1。在Mac上安装ApacheSpark最新版本 Homebrew是一个macOS的软件包管理器,用于在Mac(macOS)上安装第三方软件包,如Java,和ApacheSpark。为了使用Homebrew,首先,你需要通过使用以下命令来安装它。安装Homebrewbinbashc(curlfsSLhttps:raw。githubusercontent。comHomebrewinstallHEADinstall。sh) 这将提示你输入管理员密码。你将需要输入你的管理员密码来运行这个命令。在个人笔记本电脑上,这与你登录Mac时输入的密码相同。如果你没有root权限,请联系你的系统管理员。在成功安装homebrew后,你应该看到类似下面这样的东西。 安装后,你可能需要运行下面的命令,将brew设置为你的PATH。设置path环境echoeval(opthomebrewbinbrewshellenv)Usersadmin。zprofileeval(opthomebrewbinbrewshellenv) 如果上述命令有问题,你可以从Homebrew找到最新的命令。2。安装Java Spark使用Java的底层来驱动,因此你的Mac上需要有Java。由于Java是第三方的,你可以使用Homebrew命令brew来安装它。由于OracleJava不再是开源的了,我使用的是OpenJDK11版本。在终端运行下面的命令来安装它。安装OpenJDK11brewinstallopenjdk113。安装Scala 由于ApacheSpark是用Scala语言编写的,很明显你需要Scala来运行Spark程序。安装Scala(可选的,如果使用Java来写可以不安装Scala)brewinstallscala4。在Mac上安装ApacheSpark 你也可以使用Homebrew在Mac上下载和安装ApacheSpark最新版本。 关于Spark的一些简单介绍,ApacheSpark是一个开源的分析处理引擎,用于大规模强大的分布式数据处理和机器学习应用。Spark最初是由加州大学伯克利分校开发的,后来捐赠给了Apache软件基金会。安装ApacheSparkbrewinstallapachespark 这将在你的Mac操作系统上安装最新版本的ApacheSpark。 成功安装ApacheSpark最新版本后,从命令行运行sparkshell来启动Sparkshell。你应该看到像下面这样的东西(暂时忽略警告)。sparkshell是ApacheSpark发布时附带的一个CLI工具 注意,它在终端上显示你正在使用的Spark版本和Java版本。5。从Shell验证Spark的安装 让我们用一些样本数据创建一个SparkDataFrame来验证安装。在SparkShell中按相同的顺序输入以下命令。importspark。implicits。valdataSeq((Java,20000),(Python,100000),(Scala,3000))valdfdata。toDF()df。show() 产生以下输出。关于ApacheSpark的更多例子,请参考Spark教程与实例。 另外,可以从浏览器打开http:localhost:4041jobs,以访问SparkWebUI来监控您的工作。总结 本文讲解了如何使用Homebrew逐步安装ApacheSpark最新版本的过程。步骤包括安装Homebrew、Java、Scala、ApacheSpark,并通过运行sparkshell验证安装。 接下来的步骤就是愉快的编码!相关链接