原文:http://www.cnblogs.com/slaughter/archive/2007/03/15/675791.html
http://lynsead.spaces.live.com/Blog/cns!1pN1cYMeTzpoDjzM1P1IqDFg!135.entry
perl对中文的处理(encode,decode)
最近在处理中文时遇到乱码的问题,google了一下,发现下面这篇文章。茅塞顿开!
Perl从5.6开始已经开始在内部使用utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。
下面就以中文文本的处理为例进行说明,比如有一个字符串"测试文本",我们想要把这个中文字符串拆成单个字符,可以这样写:
use Encode;
$dat="测试文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"\n";
}
结果大家试一试就知道了,应该是令人满意的。
这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念:
1、Perl字符串是使用utf8编码的,它由Unicode字符组成而不是单个字节,每个utf8编码的Unicode字符占1~4个字节(变长)。
2、进入或离开Perl处理环境(比如输出到屏幕、读入和保存文件等等)时不是直接使用Perl字符串,而需要把Perl字符串转换成字节流,转换过程中使用何种编码方式完全取决于你(或者由Perl代劳)。一旦Perl字符串向字节流的编码完成,字符的概念就不存在了,变成了纯粹的字节组合,如何解释这些组合则是你自己的工作。
我们可以看出如果想要Perl按照我们的字符概念来对待文本,文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存(包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要encode和decode函数的帮助了。
encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码,最终转化为字节流的形式,因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单:
$octets = encode(ENCODING, $string [, CHECK])
$string: Perl字符串
encoding: 是给定的编码方式
$octets: 是编码之后的字节流
check: 表示转换时如何处理畸变字符(也就是Perl认不出来的字符)。一般不需使用
编码方式视语言环境的不同有很大变化,默认可以识别utf8、ascii、ascii-ctrl、
iso-8859-1等。
decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流,将其转化为使用utf8编码的Perl字符串,一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为:
$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含义同上。
现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已经是字节流形式,丧失了本来的意义,所以首先就要用 decode函数将其转换为Perl字符串,由于汉字一般都用gb2312格式编码,这里decode也要使用gb2312编码格式。转换完成后Perl 对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、 pack、unpack等)。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串,还需要将切割后的字符用encode函数编码为gb2312格式的字节流,再用print输出。
分享到:
相关推荐
一些文件是uff16格式,虽然也是文本类型文件,但读取总是出现乱码,因此写了一个程序,可实现对UTF16编码的文件转换为utf8编码文件,请大家下载之前查清楚自己遇到的文件是否是utf16格式的.否则无效哦.使用方法请打开脚本...
Kichijoji.pm迷你“ Perl,Unicode,Encode”的简历基础知识字符集,编码和字形(字体)不同的。小心!参考Perlunitut.pod Perluniintro.pod perlunicode.pod perlunifaq.pod第一步注意)请将以下所有源代码保存在...
它基于 Encode Perl 模块。 Usage: conv2047.pl [-c] -d conv2047.pl -e The program reads header lines from standard input and tries to decode or encode them. Operation modes: -d decode (MIME-Header...
chewingum软件包包含两个主要程序:-base62-chew它们已在perl中实现。 Base62也已经用c ++编码。 嚼被写成缩短长的十进制整数到base62字符串。 这不是单纯的基本转换,因为它在逻辑内部不使用算术运算。 这样,它...
use Encode::Simple qw(encode encode_lax encode_utf8 decode decode_lax decode_utf8); my $bytes = encode 'Shift_JIS', $characters; my $bytes = encode_lax 'ASCII', $characters; my $bytes = encode_utf8 $...
Base64 encode decode.
名称Image :: LibSIXEL-libsixel的Perl接口(DEC SIXEL图形编解码器的轻量级,快速实现)概要 use Image::LibSIXEL; $encoder = Image::LibSIXEL::Encoder->new(); $encoder->setopt("w", 400); $encoder->setopt("p...
-de [encoder] decode shellcode (Default: Auto-Detection) -ex <chars> exclude characters: e.g. 0x00,0x01-0x1F,0xFF (Default: 0x00) -in <chars> incude characters only -ep <paras> the encoder's ...
# encrypt a single numbermy $hash = $hashids->encode(123); # 'YDx'my $number = $hashids->decode('YDx'); # 123# or a list$hash = $hashids->encode(1, 2, 3); # 'eGtrS8'my @numbers = $hashids->decode('...
$ encode-vp9-wav sign-language.mp4 这将生成一个适合于包含在DCP通道15中的wav文件。 解码 您可以使用以下方法播放编码的wav曲目: $ decode-vp9-wav sign-language.wav 或仅从wav文件中提取vp9: $ decode-vp...
my $encoded_uuid = $duc->encode((Data::UUID->new)->create); my $decoded_uuid = $duc->decode('M55djt9tt4WoFaL68da9Ef'); $duc->alphabet('aaaaabcdefgh1230123'); $duc->alphabet; # 0123abcdefgh 属性 字母 ...