推广 热搜: 公司  快速  上海  中国  未来    企业  政策  教师  系统 

大数据从安装开始

   日期:2024-10-31     作者:caijiyuan    caijiyuan   评论:0    移动:http://keant.xrbh.cn/news/10036.html
核心提示:Windows环境下CentOS 6.5 64位安装介质下载,即,介质名称:CentOS-6.5-x86_64-minimal下载链接:http://pan.baidu.com/s/1mi1hh
Windows环境下
  • CentOS 6.5 64位安装介质下载,即,
    介质名称:CentOS-6.5-x86_64-minimal
    下载链接:http://pan.baidu.com/s/1mi1hhP2
    下载密码:fjuj

    大数据从安装开始

  • jdk1.7.80下载,即,
    名称:jdk-7u80-linux-x64.rpm
    链接:http://pan.baidu.com/s/1qYqjITu
    密码:w4a8

  • VMware-workstation-full-14.0.0
    名称:VMware-workstation-full-14.0.0.24051
    链接:http://pan.baidu.com/s/1gfCgE0z 密码:7t9r

  • zookeeper
    名称:zookeeper-3.4.10.tar.gz
    链接:http://pan.baidu.com/s/1gfCgE4b 密码:gf7c

  • hadoop
    名称:hadoop-2.5.2.tar.gz
    链接:http://pan.baidu.com/s/1qYwVvEs 密码:v675

    1. SSH免密码登陆的配置,即,

      31D0C07ABACF2A308AC9DEF6DC8DD0FB.png

      ============================SSH免密码登陆===========================
      1、生成公钥/私钥对
      $ssh-keygen -t rsa
      -》-t代表指定加密类型
      -》rsa代表加密类型中的一种
      -》可以直接ssh-keygen
      -》因为系统默认的就是rsa类型
      在$HOME/.ssh/目录下,会新生成两个文件:id_rsa.pub和id_rsa。前者是你的公钥,后者是你的私钥发送
      拷贝公钥至authorized_keys文件
      $ssh-copy-id hadoop-cluster01
      3、一般不建议使用start-all.sh脚本
      4、Linux中的用户主目录权限一般为700或者是755
      5、.ssh一般权限为700或者755
      6、不要随意更改用户主目录的权限和.ssh目录权限的公钥和密钥文件的权限,随意更改会直接导致免密码登陆设置的失败

        本地仓库在maven的配置文件的路径,即,

        969D2F37821E7AC57246879540A299B6.png

        阿里云的私服路径,即,

        C7EE7F760C78FDE2934188078BB459CF.png
      1. hadoop的伪分布式的配置文件,在hadoop-2.5.2/etc/hadoop目录下,即,
        1、hadoop-env.sh
        2、core-site.xml
        3、hdfs-site.xml
        4、mapred-env.sh
        5、mapred-site.xml

      2. 4D93B8C25F0422CA611279D947063949.png
      3. Flume方面的相关文件和jar包

      4. MapReduce的模板:MapReduceModule.java

      5. PV统计的WebPvMapReduce.java

      6. 依赖包的pom.xml文件

      7. jdk1.7或者1.8

      8. 后面的分别是

      9. 1、apache版的apache-hive-0.13.1-bin.tar.gz;
        2、CDH版的hive:hive-0.13.1-cdh5.3.6.tar.gz
        3、hive连接mysql的驱动包:mysql-connector-java-5.1.27-bin.jar
        4、mysql-5.7.19.tar.gz的安装tar包,即

        1. 但安装mysql5.7需要boost,即,

        2. Hbase的Web界面,即,

          64EF78BABA5AC986A38A8B4106E86F0C.png

          访问方式为http://节点名称:端口
          端口为60010

          1094277262EB0703B872D7473B5B623D.png

          Hbase所需要的lib下的jar包,分别是hadoop的和zookeeper的

          0B738F66902F4313FC81D0D005BD3D54.png
        3. 压缩成一个了,即

        4. 修改hbase-env.sh
          export JAVA_HOME=/usr/java/jdk1.7.0_79
          由于hbase自带了zk的jar包,所以使用自定义的zk,则设置为false
          export Hbase_MANAGES_ZK=false

        5. 修改相应的配置文件为:
          hbase-env.sh
          hbase-site.xml

        6. 安装

          本次安装在阿里云的ECS上,系统为Ubuntu 14

        7. 连接阿里云服务器
        8. 安装jdk
        9. 安装后,需要配置环境变量

          在以下添加如下,具体地址在之前安装时出现过,自行修改

          image

          修改完毕后,更新

          可以使用以下命令以验证

          本文地址:http://lianchengexpo.xrbh.cn/news/10036.html    迅博思语资讯 http://lianchengexpo.xrbh.cn/ , 查看更多
           
          标签: 数据 据从
           
          更多>同类行业资讯
          0相关评论

          新闻列表
          企业新闻
          推荐企业新闻
          推荐图文
          推荐行业资讯
          点击排行