【Debian参考手册】第 11 章 数据转换

目录

创新互联公司专注于企业全网整合营销推广、网站重做改版、肇庆网站定制设计、自适应品牌网站建设、H5响应式网站、商城网站制作、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为肇庆等各大城市提供网站开发制作服务。

11.1. 文本数据转换工具

11.1.1. 用 iconv 命令来转换文本文件

11.1.2. 用 iconv 检查文件是不是 UTF-8 编码

11.1.3. 使用 iconv 转换文件名

11.1.4. 换行符转换

11.1.5. TAB 转换

11.1.6. 带有自动转换功能的编辑器

11.1.7. 提取纯文本

11.1.8. 高亮并格式化纯文本数据

11.2. XML 数据

11.2.1. XML 的基本提示

11.2.2. XML 处理

11.2.3. XML 数据提取

11.2.4. XML 数据检查

11.3. 排版

11.3.1. roff 排版

11.3.2. TeX/LaTeX

11.3.3. 漂亮的打印手册页

11.3.4. 创建手册页

11.4. 可印刷的数据

11.4.1. Ghostscript

11.4.2. 合并两个 PS 或 PDF 文件

11.4.3. 处理可印刷数据的工具

11.4.4. 用 CUPS 打印

11.5. 邮件数据转换

11.5.1. 邮件数据基础

11.6. 图形数据工具

11.7. 不同种类的数据转换工具

下面是关于Debian 系统上可用的格式转化工具及其相关提示的信息。

基于标准的工具，是非常好用的，但支持的专有数据格式有限.

11.1. 文本数据转换工具

如下是文本数据转换工具。

表 11.1. 文本数据转化工具列表

11.1.1. 用 iconv 命令来转换文本文件

你能够通过如下的命令用 iconv(1) 来转换文本文件的编码。

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

编码值是大小写不敏感的，且会在匹配时忽略“-”和“_”。可以使用“iconv -l”命令检查支持的编码。

表 11.2. 编码值和用法的列表

像 ASCII 和 ISO-8859 这样适用于单字节的字符集，字符编码和字符集几乎指的是同一件事情。

对于多字符的字符集，比如说，用于日文的 JIS X 0213，或用于差不多所有语言的 Universal Character Set (UCS, Unicode, ISO-10646-1) , 有多种编码方案来序列化它们的字节数据。

• 日文的 EUC 和 ISO/IEC 2022 (也被称为 JIS X 0202)

• Unicode 的 UTF-8、UTF-16/UCS-2 和 UTF-32/UCS-4 编码

对于以上这些，字符集和字符编码之间有着明显的区别。

对某些计算机厂家而言，code page 是作为字符编码表的同义词来使用。

11.1.2. 用 iconv 检查文件是不是 UTF-8 编码

你能够通过如下命令用 iconv(1) 来检查一个文本文件是不是用 UTF-8 编码的。

$ iconv -f utf8 -t utf8 input.txt >/dev/null || echo "non-UTF-8 found"

11.1.3. 使用 iconv 转换文件名

这里是一个示例脚步，在同一目录下，将在老的操作系统系统下创建的文件名编码，转换为现代 UTF-8.

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
 do
 mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

"$ENCDN" 变量定义了在老的操作系统下，文件名使用的原始编码，见 表 11.2 “编码值和用法的列表”.

对于更加复杂的情况，请使用适当的编码作为 mount(8) 的选项(参见 第 8.1.3 节 “文件名编码”) 来挂载包含有这样文件名的文件系统（比如说，磁盘上的一个分区），使用 "cp -a" 命令来拷贝它的整个内容到另外一个使用 UTF-8 挂载的文件系统上。

11.1.4. 换行符转换

文本文件的格式，特别是行尾（换行符）编码，有平台独立性。

表 11.3. 不同平台的换行符样式列表

换行符转换程序, fromdos(1), todos(1), frommac(1), 和 tomac(1), 是相当方便. recode(1) 也是有用的。

11.1.5. TAB 转换

这里有一些转换 TAB 代码的专业工具。

表 11.4. bsdmainutils 和 coreutils 包中的用于转换 TAB 的命令列表

indent 包中的 indent(1) 命令能够重新格式化 C 程序中的空格。

例如 vim 和 emacs 这样的编辑软件可以被用来扩展 TAB。就拿 vim 来说，你能够按顺序输入 ":set expandtab" 和 ":%retab" 命令来扩展 TAB。你也可以按顺序输入 :%set noexpandtab" 和 ":%retab" 命令来复原。

11.1.6. 带有自动转换功能的编辑器

像 vim 这样的现代智能编辑器软件是相当聪明的并且能够处理任何编码系统以及任何文件格式。你应该在支持 UTF-8 编码的控制台上并在 UTF-8 环境下使用这些编辑器来获得最好的兼容性。

以 latin1（iso-8859-1）编码存储的旧西欧语言的 Unix 文本文件，“u-file.txt”，能通过如下所示的用 vim 轻易的编辑。

$ vim u-file.txt

这是可能的因为 vim 的文件编码自动检测机制先假定文件是 UTF-8 编码，如果失败了，则假定它是 latin1 编码。

以 latin2（iso-8859-2） 编码存储的旧波兰语的 Unix 文本文件，“pu-file.txt”，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=latin2 pu-file.txt'

以 eucJP 编码存储的旧日语的 Unix 文本文件，"ju-file.txt"，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=eucJP ju-file.txt'

以所谓的 shift-JIS 编码 (更确切的说法是：CP932) 存储的旧日语 MS-Windows 文本文件，"jw-file.txt"，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

当一个文件用 vim 打开的时候带有 "++enc" 和 "++ff" 选项，在 Vim 命令行输入 ":w" 命令会以原格式存储文件并且会覆盖原文件。你也可以在 Vim 命令行指定存储文件名及其格式，例如，":w ++enc=utf8 new.txt"。

请查阅 vim 在线帮助中的 mbyte.txt，"多字节文本支持"和表 11.2 “编码值和用法的列表”来获得 "++enc" 使用的本地值的信息。

emacs 家族的程序能够实现同样的功能。

11.1.7. 提取纯文本

如下所示读入 web 页面并把它转化成文本文件。当从 Web 中拷贝配置或者是在 web 页面中应用类似 grep(1) 的基础 Unix 文本工具时，以下命令是非常有用的。

$ w3m -dump http://www.remote-site.com/help-info.html >textfile

同样，你可以使用如下所示的工具从其他格式提取纯文本数据。

表 11.5. 用于提取纯文本数据的工具列表

11.1.8. 高亮并格式化纯文本数据

你可以通过如下所示的来高亮并格式化纯文本数据。

表 11.6. 高亮纯文本数据的工具列表

11.2. XML 数据

扩展标记语言 Extensible Markup Language (XML) 是一种标记语言，用于含有结构化信息的文档。

在 XML.COM 查看介绍信息.

• "什么是 XML?"

• "什么是 XSLT?"

• "什么是 XSL-FO?"

• "什么是 XLink?"

11.2.1. XML 的基本提示

XML 文本看起来有些像 HTML.它能够使我们管理一个文档的多个格式。一个简单的 XML 系统是 docbook-xsl 软件包，在这里使用。

每一个 XML 文件使用下面的标准 XML 声明开始。

XML 元素的基本语法是按下面的方式标记。

content

内容为空的 XML 元素，使用下面的短格式标记。

上面列子中的 "attribute="value"" 是可选的。

XML 里面的注释部分，是按下面的方式标记。

不同于增加标记，XML 至少要求使用预定义实体里的内容来转化下列字符。

表 11.7. XML 预定义实体列表

11.2.2. XML 处理

有许多工具可以用于处理 XML 文件，比如说： 可扩展样式表语言 Extensible Stylesheet Language (XSL).

一旦你创建了一个好的成形的 XML 文件，基本上来讲，你就可以使用 可扩展样式表语言转换 Extensible Stylesheet Language Transformations (XSLT)，将其转换成任何格式。

格式化对象的可扩展样式表语言 Extensible Stylesheet Language for Formatting Objects (XSL-FO) 是用来作为格式化的解决方案. fop 软件包比 Debian main 档案库要新，因为它依赖 Java 编程语言. LaTeX 代码通常是从 XML 使用 XSLT 生成，LaTeX 系统是用来创建 DVI, PostScript 和 PDF 这类可打印的文件。

表 11.8. XML 工具列表

由于 XML 是 标准通用标记语言 Standard Generalized Markup Language (SGML)的一个子集,用于处理 SGML 的扩展工具，也能够处理 XML，比如说 文档式样语言和规范语言 Document Style Semantics and Specification Language (DSSSL).

表 11.9. DSSSL 工具列表

11.2.3. XML 数据提取

使用下面的方法，你能够从其它格式提取 HTML 或 XML 数据。

表 11.10. XML 数据提取工具列表

11.2.4. XML 数据检查

对于非 XML 的 HTML 文件，你能够转换它们为 XHTML，XHTML 是一个相当成型的 XML 实例。XHTML 能够被 XML 工具处理.

XML 文件的语法和在它们中发现的 URL 的完整性，能够被检查。

表 11.11. XML 美化打印工具列表

一旦适当的 XML 生成，基于标记的内容等，你能够使用 XSLT 技术提取数据。

11.3. 排版

Unix上的 troff 程序最初是由 AT&T 公司开发的，可以被用做简单排版。现在被用来创建手册页。

Donald Knuth 发明的 Tex 是非常强大的排版工具也是实际上的标准。最初是由 Leslie Lamport 开发的 LaTex 使得用户可以更为方便的利用 Tex 的强大功能。

表 11.12. 排版工具的列表

11.3.1. roff 排版

传统意义上，roff 是 Unix 上主要的文本处理系统。参见 roff(7), groff(7), groff(1), grotty(1), troff(1), groff_mdoc(7), groff_man(7), groff_ms(7), groff_me(7), groff_mm(7) 和 "info groff"。

安装好 groff 软件包以后，你输入 "-me" 宏指令就能看到一份不错的指导手册，它的位置是 "/usr/share/doc/groff/"。

11.3.2. TeX/LaTeX

Tex Live 软件提供了全部的 TeX 系统。texlive 元包只是 TeX Live 中的一部分，但是它足够应付日常任务。

这里有许多可用的 TeX 和 LaTeX 的参考资料。

• The teTeX HOWTO: The Linux-teTeX Local Guide

• tex(1)

• latex(1)

• texdoc(1)

• texdoctk(1)

• "The TeXbook", 作者 Donald E. Knuth, (Addison-Wesley)

• "LaTeX - A Document Preparation System", 作者 Leslie Lamport, (Addison-Wesley)

• "The LaTeX Companion", 作者 Goossens, Mittelbach, Samarin, (Addison-Wesley)

这是最强大的排版环境。许多 SGML 处理器把它作为其后台字处理工具。lyx 软件包提供的 Lyx 和 texmacs 软件包提供的 GNU TeXmacs 都为 LaTeX 提供了非常不错的所见即所得的编辑环境，然而许多人使用 Emacs 和 Vim 作为其源代码编辑器。

有许多在线资源存在。

• TEX Live Guide - TEX Live 2007 ("/usr/share/doc/texlive-doc-base/english/texlive-en/live.html") (texlive-doc-base 包)

• Latex/Lyx 的一个简单指引

• 使用 LaTeX 进行文字处理

• teTeX/LaTeX 的本地用户指引

当文档变得更大时，TeX 有时会出错。你必须在 "/etc/texmf/texmf.cnf" 中增加 pool 的大小 (更确切的说话是编辑是 "/etc/texmf/texmf.d/95NonPath" 并且运行 update-texmf(8)) 来修复此问题。

11.3.3. 漂亮的打印手册页

你能够用如下任意一个命令在打印机上漂亮的打印手册页。

$ man -Tps some_manpage | lpr

11.3.4. 创建手册页

尽管用纯 troff 格式写手册页（manpage）是可能的，这里还是有一些辅助的程序包用于创建手册页。

表 11.13. 创建手册页的工具列表

11.4. 可印刷的数据

在 Debian 系统中，可打印的数据是 PostScript 格式的。对于非 PostScript 打印机，通用 Unix 打印系统 (CUPS) 使用 Ghostscript 作为其后台光栅处理程序。

11.4.1. Ghostscript

处理可印刷的数据的核心是 Ghostscript PostScript 解释器，它能够生成光栅图像。

表 11.14. Ghostscript PostScript 解释器列表

11.4.2. 合并两个 PS 或 PDF 文件

你能够使用 Ghostscript 中的 gs(1) 来合并两个 PostScript(PS) 或可移植文档格式（PDF） 文件。

$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pswrite -sOutputFile=bla.ps -f foo1.ps foo2.ps
$ gs -q -dNOPAUSE -dBATCH -sDEVICE=pdfwrite -sOutputFile=bla.pdf -f foo1.pdf foo2.pdf

11.4.3. 处理可印刷数据的工具

如下是处理可印刷数据的工具列表。

表 11.15. 处理可印刷数据的工具列表

11.4.4. 用 CUPS 打印

Unix 通用打印系统（CUPS） 中的 lp(1) 和 lpr(1) 命令都提供了自定义打印数据的选项。

你可以使用下列命令中的一个来打印 3 份有装订页码的文件。

$ lp -n 3 -o Collate=True filename

$ lpr -#3 -o Collate=True filename

你能够通过 "-o number-up=2", "-o page-set=even", "-o page-set=odd", "-o scaling=200", "-o natural-scaling=200" 等等打印机选项来进一步定制打印机操作，详细的文档参见命令行打印和选项。

11.5. 邮件数据转换

下列邮件数据转换软件包捕获了我的眼球。

表 11.16. 有助于邮件数据转换的软件包列表

11.5.1. 邮件数据基础

邮件 (SMTP) 数据需要被限制为 7 位数据序列。二进制数据和 8 位文本数据使用 Multipurpose Internet Mail Extensions (MIME) 互联网多用途邮件扩展 和选择的字符集编码到 7 位格式。(参见 表 11.2 “编码值和用法的列表”)。

标准的邮件存储格式是 mbox，它是依据 RFC2822 (由 RFC822 更新) 来的格式. 参见 mbox(5) (由 mutt 软件包提供).

对于欧洲语言,由于没有什么 8 位字符，"Content-Transfer-Encoding: quoted-printable" 加 ISO-8859-1 字符集通常被用于邮件。如果欧洲文本是被编码为 UTF-8,由于几乎全是 7 位数据，使用 "Content-Transfer-Encoding: quoted-printable" 也是合适的。

对于日语，传统的 "Content-Type: text/plain; charset=ISO-2022-JP" 通常被用于邮件来保持文本在 7 位。但是老的微软系统会在没有声明的情况下使用 Shift-JIS 来发送邮件。如果日语文本是用 UTF-8 编码, 由于含有许多 8 位数据，使用 Base64 是合适的。其它亚洲语言也是类似情形。

你可以使用 procmail(1) 和 formail(1) 把邮箱内容分开成每一封邮件.

每一封邮件能够使用来自 mpack 软件包的 munpack(1) 命令（或其它特异的工具）来获得 MIME 编码内容。

11.6. 图形数据工具

如下是关于图形数据转换、编辑和管理的工具包。

表 11.17. 图形数据工具列表