编写JAVA代码读取Hadoop存储服务器文件

前言

 

网络上有关于JAVA API读取Hadoop的代码，但资料很杂乱，这边简单用例子记录下如何读取操作。

 

例子

 

package hadoop;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 *
 * @author Administrator
 */
public class ReadHadoop {

    public static void main(String[] args) {
        Configuration conf = new Configuration();

        conf.set("hadoop.job.ugi", "root,123");  //设置存储服务器的用户名，密码

        String uri = "hdfs://192.168.4.27:9000/test/问题记录.txt";

        FSDataInputStream in = null;
        try {

            //得到文件系统的实例
            FileSystem fs = FileSystem.get(URI.create(uri), conf); //URI.create(uri)要创建

            //通过FileSystem的open方法打开一个指定的文件
            in = fs.open(new Path(uri));

            //将InputStream中的内容通过IOUtils的copyBytes方法拷贝到System.out中
            IOUtils.copyBytes(in, System.out, 4096, false);

            //seek到position 1
            in.seek(1);

            //在执行一边拷贝输出工作
            IOUtils.copyBytes(in, System.out, 4096, false);

        } catch (Exception ex) {
            System.out.println(ex.getMessage());

        } finally {
            IOUtils.closeStream(in);
        }

    }
}

注意点

    1.设置存储服务器用户名，密码

    2.得到文件系统实例的URL的创建

 

评论

4 楼 yangwn 2010-08-05  

LZ,我想请教，hdfs://192.168.4.27:9000/test/问题记录.txt
文件名：问题记录.txt，是不是生成的，怎么样指定生成的文件名。一般都是part-0000

3 楼 lym6520 2010-01-26  

njchenyi 写道

我想问一下，你这个程序读取的文件，是保存在hdfs中什么路径的？
我用hadoop fs -ls .列出的目录都是/user/当前登录用户名/......这样的

这是你创建名称节点时指定的目录，可以通过配置文件进行修改。

2 楼 yeminping 2010-01-26  

njchenyi 写道

我想问一下，你这个程序读取的文件，是保存在hdfs中什么路径的？
我用hadoop fs -ls .列出的目录都是/user/当前登录用户名/......这样的

文件夹多是由自己创建的
hdfs://192.168.4.27:9000/test/问题记录.txt  test自己创建的文件夹

1 楼 njchenyi 2010-01-26  

我想问一下，你这个程序读取的文件，是保存在hdfs中什么路径的？
我用hadoop fs -ls .列出的目录都是/user/当前登录用户名/......这样的