零基础搭建Hadoop大数据处理

  • 时间:
  • 浏览:3
  • 来源:5分快乐8APP下载_5分快乐8APP官方

Linux和Windows下源码编译技术

原困Hadoop框架源码完会 以java来写,否则最好都以java作为开发的最佳语言,随便说说说一点用C#做了封装,但性能已大打折扣。(这可是我我为哪些说Java的学大数据有很大的优势,其它语言的还时需重新学习Java)

Linux的学习也是可是我我过程,原困原困你连最简单的开机和关机命令完会 会,更从不谈配置网络。这上边给朋友提供刚结速学习所查阅的资料和经验总结。

还有最重要的遇见你的网速要好,原困安装过程中会下载依赖包,网不好会卡到你怀疑人生。

你这种 原困经过网络配置的折磨,应该能找到着可是我我网卡:vmnet1和vmnet8,这里讲的是vmnet8。

准备资源和环境

进入H60 ,查看ssh是否安装,原困有,继续,没人安放入。

环境准备就没人多,下一章刚结速讲怎样安装Hadoop集群。

加进每个服务器IP对应的机器名

Java基础知识

httpd是Apache超文本传输协议(HTTP)服务器的主系统线程池池。被设计为可是我我独立运行的后台系统线程池池,它会建立可是我我处里请求的子系统线程池池或系统线程池池的池。

在此注意CentOS7与CentOS6的命令一点不同,会一点常用命令是必备,每次开机或启动解压安装授权完会 最基本的知识,其它的可不时需暂时不需要学。

yum install yum-utils 用于在线yum安装 它是基於RPM包管理,也能从指定的服务器自动下载RPM包否则安装,可不时需自动处里依赖性关系,否则一次安装所有依赖的软体包,从不繁琐地一次次下载、安装。yum提供了查找、安装、删除某可是我我、一组甚至删剪软件包的命令,否则命令简洁而又好记。(时需机器能访问外网)

可不时需看完vmnet8子网ip和虚拟机网卡是出于同可是我我网段的。

首先在安装VMware 可是我我,朋友会看完多了可是我我网卡

Eclipse IDE使用

来源:51CTO

本文作者:欢醉

重点看右侧第三图让人看完ip地址,你这种 ip地址,因我每个人而异,也可是我我说不同网络,不同环境,你这种 ip变化的概率是很大的。原困是192.168.0.1等等。这里也最少朋友编程的可是我我变量,这里是时需你根据你的环境来赋值的,建议vmnet1到vmnet8分别设置192.168.10.1到192.168.60 .1,好作区分。

VMware的安装,装好可是我我虚拟机后利用复制虚拟机的措施创建上边好多个虚拟机,省时省力,时需注意的是时需修改每个虚拟机的IP与主机名。

环境准备

原困Hadoop时需运行在Linux环境中,否则是分布式的,否则我每个人学习只有装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作不要 介绍,只作时时需到的知识介绍。

修改机器名,每个系统中完会 修改成可是我我。

下载对应32或64位jdk,设置好JDK环境变量PATH,具体的配置可自行Google。

CentOS中安装java环境

弹出可是我我,朋友在看一下虚拟机的(交换机)vmnet8.

所有虚拟机采用NAT模式上网,否则要保证与物理主机的IP互相能访问。

上边朋友通过看完的虚拟机网卡的ip,为了处里混肴,上边的虚拟网卡和本地网络适配器居于同一界面。如下图:

可是我我ip地址都加进到每个人的/etc/hosts文件中

打开终端,切换到root用户下修改机器名称。

Linux基础知识

时需注意的好多个问题报告 。nat原困上网首先时需查看物理机(pc机)你这种 服务器原困启动。上网的原理:流量是走的物理网卡,否则它的ip,却是和物理机没人关系的。也可是我我说,无论你缘何更换网络环境,你的虚拟机完会 时需做改变。这可是我我它的优点。

首先朋友时需使用一点命令,进行网络配置,否则在网络配置中,这上边又时需懂得虚拟机的一点知识,所以上边的虚拟机知识时需掌握扎实一点。

每个系统中完会 修改成可是我我

这里时需安装时间服务器,一点的服务器通过你这种 来进行多机器时间的同步,分布式部署时机器时间不一致会原困数据错误或组件内通讯错误。

下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(可是我我用hadoop3,发现上边不兼容hive的最新版本)

安装httpd服务

并肩在右侧net设置界面,朋友可不时需看完网关为:192.168.106.2,改成192.168.60 .2 虚拟机的设置会用到。

SSH设置

安装yum-utils

时间服务器安装

而下面则是在打开虚拟机可是我我,通过菜单弹出

关闭SELinux

最后还时需有耐心,每台机子的环境完会 一样,否则每我每个人下载的包的版本完会 原困不一样 会原困各种问题报告 ,此时就时需耐心的去看日志,不停的尝试和仔细的对比安装步骤,原困可是我我少了个变量 或大小写错误或是要重启。