AS3从未知编码的二进制流中自适应编码读取文本

破晓

给你一个文件或者二进制，不知道编码是gb2312还是utf8的情况下怎么正确读取出文本呢？

以下代码是as3的，其他编程语言只要稍微改动一下即可。

上代码，请直接用！

（感谢C++ BLOG提供的判断utf8的方法：http://hi.baidu.com/xingyan126/item/4abec1c1c2143755bcef6956）

1. /**
   
2. * 从未知编码的二进制流中读取文本
   
3. * @param   ba
   
4. * @param   len 读取长度，默认为-1，则读取至文件尾
   
5. * @return
   
6. */
   
7. public static function readString(ba:ByteArray,len:int = -1):String
   
8. {
   
9.     if ((len != -1 && len > ba.bytesAvailable) || (len == -1)) len = ba.bytesAvailable;
   
10.     var encode:String = 'gb2312';
    
11.     //先判断头三个字节是不是utf bom
    
12.     if (ba.bytesAvailable >= 3)
    
13.     {
    
14.         //0xEF 0xBB 0xBF
    
15.         var chkarr:Array = [];
    
16.         var a:int = 0xffffffEF;
    
17.         var b:int = 0xffffffBB;
    
18.         var c:int = 0xffffffBF;
    
19.         chkarr.push(ba.readByte());
    
20.         chkarr.push(ba.readByte());
    
21.         chkarr.push(ba.readByte());
    
22.         if ((chkarr[0] == a && chkarr[1] == b && chkarr[2] == c))
    
23.         {
    
24.             //utf-8 bom
    
25.             encode = 'utf-8';
    
26.             return ba.readMultiByte(len - 3, encode);
    
27.         }
    
28.         else
    
29.         {
    
30.             ba.position -= 3;
    
31.         }
    
32.     }
    
33.      
    
34.     //逐个字节判断是否有UTF8的编码
    
35.     if (isUTF8(ba, len))
    
36.     {
    
37.         encode = 'utf-8';
    
38.     }
    
39.      
    
40.     return ba.readMultiByte(len - 3, encode);
    
41. }
    
42. 
    
43. /**
    
44. * 判断文本是否是UTF8编码
    
45. * @param   ba
    
46. * @param   len 读取长度，默认为-1，则读取至文件尾
    
47. * @return
    
48. */
    
49. public static function isUTF8(ba:ByteArray,len:int = -1):Boolean
    
50. {
    
51.     if ((len != -1 && len > ba.bytesAvailable) || (len == -1)) len = ba.bytesAvailable;
    
52.     var score:int = 0;
    
53.     var i:int;
    
54.     var goodbytes:int = 0, asciibytes:int = 0;
    
55.     // Maybe also use UTF8 Byte Order Mark: EF BB BF
    
56.     // Check to see if characters fit into acceptable ranges
    
57.     var oldpos:int = ba.position;
    
58.     var byte:int, byte1:int, byte2:int;
    
59.     var curlen:int = len;
    
60.     while(curlen>0)
    
61.     {
    
62.         ba.position = oldpos + (len - curlen);
    
63.         byte = ba.readByte();
    
64.         curlen -= 1;
    
65.         if (curlen >= 1) byte1 = ba.readByte();
    
66.         if (curlen >= 2) byte2 = ba.readByte();
    
67.          
    
68.         //0x7f = 127 = 01111111
    
69.         if ((byte & 0x7F) == byte)  
    
70.         {  
    
71.              // 最高位是0的ASCII字符
    
72.              asciibytes++;
    
73.              // Ignore ASCII, can throw off count
    
74.         }  
    
75.         else if (-64 <= byte && byte <= -33
    
76.              //-0x40~-0x21
    
77.              && // Two bytes
    
78.              curlen >= 1 && -128 <= byte1
    
79.              &&  
    
80.              byte1<= -65)  
    
81.         {
    
82.              goodbytes += 2;
    
83.              curlen -= 1;
    
84.         }  
    
85.         else if (-32 <= byte
    
86.             && byte <= -17
    
87.             && // Three bytes
    
88.             curlen >= 2 && -128 <= byte1
    
89.             && byte1 <= -65 && -128 <= byte2
    
90.             && byte2 <= -65)  
    
91.         {
    
92.             goodbytes += 3;
    
93.             curlen -= 2;
    
94.         }
    
95.     }
    
96.      
    
97.     ba.position = oldpos;
    
98.      
    
99.     if (asciibytes == len)  
    
100.     {
     
101.         return false;
     
102.     }
     
103.     score = 100 * goodbytes / (len - asciibytes);
     
104.     // If not above 98, reduce to zero to prevent coincidental matches
     
105.     // Allows for some (few) bad formed sequences
     
106.     if (score > 98) {
     
107.         return true;
     
108.     } else if (score > 95 && goodbytes > 30) {
     
109.         return true;
     
110.     } else {
     
111.         return false;
     
112.     }
     
113. }

复制代码

作者：YoYo，原文地址：http://yoyo.play175.com/p/207.html