使用StreamTokenizer统计文件的字符数

关键技术：

类java.io.StreamTokenizer可以获取输入流并将其分析为Token（标记）。StreamTokenizer的nextToken方法将读取下一个标记
默认情况下，StreamTokenizer认为下列内容是Token：字母、数字、除C和C++注释符号以外的其他符号。如符号“/”不是Token，注释后的内容也不是，而“”是Token。单引号和双引号以及其中的内容，只能算是一个Token。
要统计文件的字符数，不能简单地统计Token数，因为字符数不等于Token，按照Token的规定，引号中的内容就算是10页也算是一个Token。如果希望引号和引号中的内容都算作Token，应该通过StreamTokenizer的ordinaryCha方法将单引号和双引号当做普通字符处理。

<！--

Code highlighting produced by Actipro CodeHighlighter （freeware）
http://www.CodeHighlighter.com/

-->package book.io;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.io.StreamTokenizer;

/**
* 使用StreamTokenizer来统计文件中的字符数
* StreamTokenizer 类获取输入流并将其分析为“标记”，允许一次读取一个标记。
* 分析过程由一个表和许多可以设置为各种状态的标志控制。
* 该流的标记生成器可以识别标识符、数字、引用的字符串和各种注释样式。
*
*  默认情况下，StreamTokenizer认为下列内容是Token: 字母、数字、除C和C++注释符号以外的其他符号。
*  如符号"/"不是Token，注释后的内容也不是，而""是Token。单引号和双引号以及其中的内容，只能算是一个Token。
*  统计文章字符数的程序，不是简单的统计Token数就万事大吉，因为字符数不等于Token。按照Token的规定，
*  引号中的内容就算是10页也算一个Token。如果希望引号和引号中的内容都算作Token，应该调用下面的代码：
*     st.ordinaryChar（"""）;
* st.ordinaryChar（"""）;
*/
public class StatisFileChars {

    /**
     * 统计字符数
     * @param fileName 文件名
     * @return    字符数
     */
    public static long statis（String fileName） {

        FileReader fileReader = null;
        try {
            fileReader = new FileReader（fileName）;
            //创建分析给定字符流的标记生成器
            StreamTokenizer st = new StreamTokenizer（new BufferedReader（
                    fileReader））;

            //ordinaryChar方法指定字符参数在此标记生成器中是“普通”字符。
            //下面指定单引号、双引号和注释符号是普通字符
            st.ordinaryChar（"""）;
            st.ordinaryChar（"""）;
            st.ordinaryChar（"/"）;

            String s;
            int numberSum = 0;
            int wordSum = 0;
            int symbolSum = 0;
            int total = 0;
            //nextToken方法读取下一个Token.
            //TT_EOF指示已读到流末尾的常量。
            while （st.nextToken（）！= StreamTokenizer.TT_EOF） {
                //在调用 nextToken 方法之后，ttype字段将包含刚读取的标记的类型
                switch （st.ttype） {
                //TT_EOL指示已读到行末尾的常量。
                case StreamTokenizer.TT_EOL:
                    break;
                //TT_NUMBER指示已读到一个数字标记的常量
                case StreamTokenizer.TT_NUMBER:
                    //如果当前标记是一个数字，nval字段将包含该数字的值
                    s = String.valueOf（（st.nval））;
                    System.out.println（s）;
                    numberSum += s.length（）;
                    break;
                //TT_WORD指示已读到一个文字标记的常量
                case StreamTokenizer.TT_WORD:
                    //如果当前标记是一个文字标记，sval字段包含一个给出该文字标记的字符的字符串
                    s = st.sval;
                    wordSum += s.length（）;
                    break;
                default:
                    //如果以上3中类型都不是，则为英文的标点符号
                    s = String.valueOf（（char） st.ttype）;
                    symbolSum += s.length（）;
                }
            }
            System.out.println（"sum of number = " + numberSum）;
            System.out.println（"sum of word = " + wordSum）;
            System.out.println（"sum of symbol = " + symbolSum）;
            total = symbolSum + numberSum + wordSum;
            System.out.println（"Total = " + total）;
            return total;
        } catch （Exception e） {
            e.printStackTrace（）;
            return -1;
        } finally {
            if （fileReader ！= null） {
                try {
                    fileReader.close（）;
                } catch （IOException e1） {
                }
            }
        }
    }

    public static void main（String[] args） {
        String fileName = "c:/temp/newTemp.txt";
        StatisFileChars.statis（fileName）;
    }
}
运行结果：

sum of number = 11
sum of word = 55
sum of symbol = 4
Total = 70