什么是字符集和编码？ASCIIUTF8UTF16UTF32又

　　作者：乔戈里，哈工大计算机本硕，百度工程师
　　当天下午
　　在计算机底层，比如说你的名字小萌在计算机中并不是文字的形式，而是一串二进制数字，如011001100110
　　人类只认识文字，可惜计算机只认0和1，双方都不能妥协，那就必须要有一个从文字到0、1的映射了。
　　从我们可以看到的文字到0、1的映射称为编码，反过来从0、1到文字叫解码。这个就是编码的含义。
　　因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111十进制255），0255被用来表示大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。
　　Unicode编码定义了这个世界上几乎所有字符（就是你眼睛看的字符，比如ABC、汉字等）的数字表示，而且Unicode还兼容了很多老版本的编码规范，例如刚刚讲过的ASCII码。
　　我们国家的每一个人都对应唯一的一个身份证号，而Unicode也为每个字符发了一张身份证，这张身份证上有一串唯一的数字ID确定了这个字符。
　　这串数字在整个计算机的世界具有唯一性，Unicode给这串数字ID起了个名字叫码点。
　　这个Unicode转换格式是为了解决码点在计算机存储方式而设计的。
　　码点经过映射后得到的二进制串的转换格式单位称之为码元（CodeUnit）。码点就是一串二进制数，码元就是切分这个二进制数的方法。
　　举个例子，如果有一个字符的码点二进制表示有n字节（n8个二进制数），其码元为8位（1个字节），那么其拥有码元n个。
　　Unicode编码发展到今天扩展到了21位，为啥扩展到21位了呢？因为一开始老美只考虑自己那26个英文字母和数字，随着越来越多的国家的语言语言编码，Unicode不得继续扩展，目前21位已经足够使用。
　　UTF32是最好理解的一个了。UTF32也就是说它的码元是32位，每32位去读一下码点，而码点是Unicode给字符的编码，前面也说了，最长才21位，因此每一个UTF32值都可以直接表示对应的码点。
　　什么是编码空间呢？前面说了Unicode，它是21位的。这21位提供了1，114，112个码点，编码空间就是对应这1，114，112个码点。
　　对了这里要说一下，这么多码点并不代表有这么多字符，目前大概只有10的空间被使用了，人类社会还没创造出1，114，112这么多的字符。编码空间被分成17个平面（plane），每个平面有65，536个字符（正好填充2个字节，16位）。0号平面叫做基本多文种平面（BMP，BasicMultilingualPlane），涵盖了几乎所有你能遇到的字符，除了emoji（emoji位于1号平面）。其它平面叫做补充平面，大多是空的。
　　UTF16要常见得多，它的码元是16位的，也就是说每16位去读一下码点，获取码点的前16位数字，直到读取完成。
　　编码空间这里要用上了哈，BMP平面（也就是前面说的基本多文种平面）中的每一个码点都直接与一个UTF16的码元一一映射。
　　由于BMP几乎包括了所有常见字符，UTF16一般需要UTF32大约一半的空间。至于其它平面里很少使用的码点都是用两个16位的码元来编码的。
　　UTF8使用一到四个字节来编码一个码点。从0到127的这些码点直接映射成1个字节（对于只包含这个范围字符的文本来说，这一点使得UTF8和ASCII完全相同）。接下来的1，920个码点映射成2个字节，在BMP里所有剩下的码点需要3个字节。Unicode的其他平面里的码点则需要4个字节。UTF8是基于8位的码元的，因此它并不需要关心字节顺序（因为字节就是8位的呀，其它UTF16和UTF32在不同的机器编译环境下需要考虑字节的顺序问题）。