Code@Pig Home

喜欢背着一袋Code傻笑的Pig .. 忧美.欢笑.记忆.忘却 .之. 角落

日志

关于我

kasicass

gamecoder@work

文章分类

[www] Unicode ... blab . blab ..

2009-01-23 16:18:11| 分类： web | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

看了下 Unicode 相关的介绍，发现这篇文字实在不错，深入浅出介绍了 Unicode 相关的各种内容。

http://tech.idv2.com/2008/02/21/unicode-intro/

======== 下面是自己记录的一些笔记(杂乱无章) =======

ASCII 用 7-bit 对字符(character)进行编码；而 unicode 用 16-bit，这样可以使大多数语言的常用字符都能通过一个 word(16-bit) 表达出来。

ASCII 原来用的 7-bit，而 8-bit 中多余的 1-bit 用作 parity-check bit。不过后来不再需要此 1-bit，那么就多出来 128 个数字，可用来表示新的字符。因此，衍生出来了好多 8-bit encoding scheme，比如：ISO 8859-1(Latin-1), ISO 8859-2, ...

除了 ISO 的 8-bit encoding scheme 外，其他业界厂商也弄了很多标准出来，比如 IBM, M$。它们发明的标准，称为 code page。

几个术语：(编码方式定义的几个阶段)
abstract character repertoire, 需要 encode 的字符集
coded character set, 编码集
    encoding space,
    code point, encoding space 上的一个空位
    code point value, 对于字符'a'，encoding space 相对于'a'的空位，称为'a'的 code point value
character encoding form,
    code unit
character encoding scheme, 把 13-bit, 7-bit 这样的 encoding form 转化为 n-byte(8-bit x n) 的形式，方便计算机处理。
transfer encoding syntax, 与上面几个阶段不同，此阶段只关心如何传输 character encoding scheme 产生出来的 bytes。

举例，如果有 a, b, c, d, e, 1, 2, 3, 4, 5 一共十个字符。我们可以用两个 coded character set 对其进行编码，比如分为 [LETTER], [NUMBER] 两个 coded characer set，其中 [LETTER] 的 1-5 表示 a-e，而 [NUMBER] 的 1-5 就表示字符 1-5。

上面 ISO 8859 family 引入了欧洲的一些内容，而 ISO 2022 则引入东亚的一些文字，比如：ISO-2022-JP、ISO-2022-CN、...

What a mess, huh? So ... Unicode 到来。

Unicode
UCS-2, UCS-4 (coded character set)
UTF-8, UTF-16, UTF-32 (character encoding form)
UTF-8, UTF-16, UTF-16LE, UTF-16BE, UTF-32, UTF-32LE, UTF-32BE (encoding scheme, LE/BE little/big endian)

评论这张

转发至微博

阅读(704)| 评论(0)

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_085068083083086069081082094095087095084069085095',
              blogTitle:'[www] Unicode ... blab . blab ..',
              blogAbstract:'<P\>看了下 Unicode 相关的介绍，发现这篇文字实在不错，深入浅出介绍了 Unicode 相关的各种内容。</P\>  <P\><A rel=\"nofollow\" href=\"http://tech.idv2.com/2008/02/21/unicode-intro/\"  \>http://tech.idv2.com/2008/02/21/unicode-intro/</A\></P\>  <P\> </P\>  <P\>======== 下面是自己记录的一些笔记(杂乱无章) =======</P\>  <P\>ASCII 用 7-bit 对字符(character)进行编码；而 unicode 用 16-bit，这样可以使大多数语言的常用字符都能通过一个 word(16-bit) 表达出来。</P\>  <P\>ASCII 原来用的 7-bit，而 8-bit 中多余的 1-bit 用作 parity-check bit。不过后来不再需要此</P\>',
              blogTag:'',
              blogUrl:'blog/static/395619200902341811138',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:1317431116110,
              publishTime:1232698691138,
              permalink:'blog/static/395619200902341811138',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'gamecoder@work',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/395619200902341811138">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

Code@Pig Home

导航

日志

[www] Unicode ... blab . blab ..

历史上的今天

最近读者

热度

评论

页脚