[bigdata-007] Hortonworks HDF搭建流程

1. hdf docker搭建 1.1 hdf的镜像xemuliam/hdf 镜像链接 https://hub.docker.com/r/xemuliam/hdf/ 下载镜像： docker pull xemuliam/hdf 1.2 创建容器 docker run --name dck-hdf-8080 -p 8080:8080 -d xemuliam/hdf 1.3 进入容器bash交互 docker exec -it dck-oracle-11g /bin/sh 1.4 查看容器linux的发行版 cat /etc/issue Welcome to Alpine Linux 3.4 Kernel r on an m (l) 1.5 检查nifi是否运行 ps axu|grep -i nifi 能看到相关进程已经运行 1.6 nifi的运行启动文档 http://docs.hortonworks.com/HDPDocuments/HDF2/HDF-2.1.1/bk_dataflow-minifi-quick-start/content/ch_minifi-quick-start.html#overview 1.7 nifi的使用操作建模文档 http://nifi.apache.org/docs.html 1.8 容器启动后，由于它的端口8080已经做了映射，所以在浏览器地址栏输入http://127.0.0.1:8080/nifi，就能看到nifi的web主页面。 2 hdf用户指南文档 http://zh.hortonworks.com/products/data-center/hdf/ 3. nifi的hello world，根据官网文档操作 3.1 拖一个processor到页面上，用local过滤，选择getFile。 ??? 这个processor的作用是，把本地的文件上传给nifi，然后再删除掉本地文件。 3.2 nifi的home目录，是/opt/hdf，在这个目录下，创建子目录data-in 3.3 右击getFile，选择configure ??? 设置了input directory是data-in，那么，nifi就将这个目录里的数据上传到Nifi进行处理。 3.4 选择一个简单的处理方式，记录这个文件的属性，然后将属性发给nifi的log。 ??? 在页面上添加一个logAttribute的processor。然后，将getFile的success事件设置到logAttribute里。 3.5 准备一下运行结果观察： ??? 在容器的命令行运行 tail -f /opt/hdf/logs/nifi-app.log 3.6 在nifi的web设计页面，点击运行。 3.7 在容器的/ope/hdf/data-in目录下，生成一个文件，比如 ??? touch readmexyz.txt ??? 生成后，ls一下，这个文件不存在，因为它一被创建，就被nifi上传到getFile processor进行处理，然后再删除本地文件。 ??? 这时候，去看3.5里的log,出现如下字符串的文件属性，这是由logAttributes processor的输出，形如： -------------------------------------------------- Standard FlowFile Attributes Key: 'entryDate' ?? ?Value: 'Tue Dec 20 07:33:34 GMT 2016' Key: 'lineageStartDate' ?? ?Value: 'Tue Dec 20 07:33:34 GMT 2016' Key: 'fileSize' ?? ?Value: '0' FlowFile Attribute Map Content Key: 'absolute.path' ?? ?Value: '/opt/hdf/data-in-brian/' Key: 'file.creationTime' ?? ?Value: '2016-12-20T07:32:56+0000' Key: 'file.group' ?? ?Value: 'root' Key: 'file.lastAccessTime' ?? ?Value: '2016-12-20T07:33:34+0000' Key: 'file.lastModifiedTime' ?? ?Value: '2016-12-20T07:32:56+0000' Key: 'file.owner' ?? ?Value: 'root' Key: 'file.permissions' ?? ?Value: 'rw-r--r--' Key: 'filename' ?? ?Value: 'readmexyz.txt' Key: 'path' ?? ?Value: '/' Key: 'uuid' ?? ?Value: 'b659251f-dff6-4558-afa6-42a4fa9e61a0' --------------------------------------------------

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!