IO及解析文本

UI 交互

• View(data), 显示表格化的数据
• fix(data), 显示表格化的数据，且可以编辑数值

bruceR::import()/export()

一站式导入 / 导出任意存储格式的数据表

• 主要参数

  • file：带后缀的文件名（包括但不限于 TXT、CSV、Excel、SPSS、Stata 等），如果不设定，则从剪贴板导入 / 导出至剪贴板
  • sheet：如果是 Excel 文件，可以额外指定是哪个 Sheet 表单（默认是第一个 Sheet）
  • range：如果是 Excel 文件，可以额外指定数据的单元格范围（默认是全部单元格）
  • encoding：字符编码（"UTF-8"、"GBK"、"CP936" 中的一种），一般用于会出现乱码的使用 UTF-8 编码的带有中文字符的 CSV 文件（设为 "UTF-8" 即可）
  • header：导入时是否把第一行作为变量名（导出时是否包含变量名）？默认是 TRUE，可设为 FALSE
  • as：导入后使用哪种数据框类型？默认是 "data.frame"，可设为 "data.table" 或 "tibble"

• 使用示例

# import() 支持导入 txt、csv、xlsx、rda、rds等
data <- import("MyData.csv")
data <- import("MyData.xlsx")
data <- import("MyData.sav")
data <- import(file = "aaa.csv", as = "data.table")

# 导出
export(data, file = "NewData.csv")
export(data, file = "NewData.xlsx")
export(data, file = "NewData.sav")

# 一次同时导出两个数据集到Excel
export(list(airquality, npk), sheet = c("air", "npk"), file = "Two_Datasets.xlsx")

Input

import data as tidy-style cheatsheet.pdf，内含三个包: readr, readxl, googlesheets4

from Console

<-c()

直接输入一个向量

y <- c("a", "b", "c")
y

#> [1] "a" "b" "c"

scan() 控制台输入一个向量

以单次回车或空格间隔元素，以两次回车结束输入。

x <- scan()

from Package

• 查看所有预先提供的数据集 data()
• 查看某个包所有预先提供的数据集 data(package=" ")
• 读入某个包的数据 data(dataname, package=" ")

library(SemiPar)
data(package = "SemiPar")
data(copper, package = "SemiPar")
head(copper)

#>   sample.num    id zone xcoord ycoord zcoord grade core.length
#> 1          1 BHL01    1    220    625    122  1.34           5
#> 2          2 BHL01    1    220    625    117  0.98           5
#> 3          3 BHL01    1    220    625    112  1.29           5
#> 4          4 BHL01    1    220    625    107  1.18           5
#> 5          5 BHL01    1    220    625    102  1.10           5
#> 6          6 BHL01    1    220    625     97  0.46           5

from TXT

readr::read_lines() 将文本文件的各行读为字符串向量的各元素

readr::read_table() 读空格分割的文件

from JSON

jsonlite::fromJSON(path)

from 二进制文件

.rda

load('xxx.rda')

.RDS

readRDS()

from CSV

data.table::fread()

对 csv 文件优先使用，读为 data.table

注意两点：

1. 一个是不要将 csv 中的数值型字符串读为 integer 等数值型变量（如将 “004” 读为 4），用 colClasses= 规定
2. 注意文件编码

ISO3166 <- fread("./data/ISO-3166.csv", colClasses = list(character = c(4, 9, 10, 11)), encoding = "UTF-8")
str(ISO3166)

#> Classes 'data.table' and 'data.frame':   249 obs. of  11 variables:
#>  $ name                    : chr  "Afghanistan" "Åland Islands" "Albania" "Algeria" ...
#>  $ alpha-2                 : chr  "AF" "AX" "AL" "DZ" ...
#>  $ alpha-3                 : chr  "AFG" "ALA" "ALB" "DZA" ...
#>  $ country-code            : chr  "004" "248" "008" "012" ...
#>  $ iso_3166-2              : chr  "ISO 3166-2:AF" "ISO 3166-2:AX" "ISO 3166-2:AL" "ISO 3166-2:DZ" ...
#>  $ region                  : chr  "Asia" "Europe" "Europe" "Africa" ...
#>  $ sub-region              : chr  "Southern Asia" "Northern Europe" "Southern Europe" "Northern Africa" ...
#>  $ intermediate-region     : chr  "" "" "" "" ...
#>  $ region-code             : chr  "142" "150" "150" "002" ...
#>  $ sub-region-code         : chr  "034" "154" "039" "015" ...
#>  $ intermediate-region-code: chr  "" "" "" "" ...
#>  - attr(*, ".internal.selfref")=<externalptr>

ISO3166 <- fread("./data/ISO-3166.csv", select = list(character = c(1, 3, 4)), encoding = "UTF-8")
str(ISO3166)

#> Classes 'data.table' and 'data.frame':   249 obs. of  3 variables:
#>  $ name        : chr  "Afghanistan" "Åland Islands" "Albania" "Algeria" ...
#>  $ alpha-3     : chr  "AFG" "ALA" "ALB" "DZA" ...
#>  $ country-code: chr  "004" "248" "008" "012" ...
#>  - attr(*, ".internal.selfref")=<externalptr>

readr::read_csv()

• read_csv()将文件读为tibble
  
• 不指定列的数据类型时，read_csv()会打印一份数据列说明，给出每个列的名称和它自动解析的列的类型。这是readr包的一项重要功能。但强烈建议编程者提供col_types参数
• 首行：
  • col_names = T, 不使用首行作为列名称
  • col_names = F, 不使用首行作为列名，函数自动将列标记为X1, X2, …
  • col_names = 字符串向量，直接赋列名称
• skip = n, 忽略前n行（通常为MetaData）
• comment = '#', 忽略所有以#开头的行
• na =, 设定缺失值，默认各种 white space¹ 和NA都是缺失值

parse_*()

readr 解析文本文件的原理

解析依靠函数族parse_*()。这些函数接受一个字符向量，并返回一个特定向量，如逻辑、整数或日期向量。具体来说，重要的解析函数有 8 种。

• parse_logical()和parse_integer()分别解析逻辑值和整数。这两个解析函数基本不会出现问题
• parse_double()是严格的数值型解析函数，parse_number()则是灵活的数值型解析函数。这两个函数要比你预想的更复杂，因为世界各地书写数值的方式不尽相同
  
• parse_character()似乎太过简单，甚至没必要存在。但一个棘手的问题使得这个函数变得非常重要：字符编码
• parse_factor()函数可以创建因子，R使用这种数据结构来表示分类变量
  
• parse_datetime()、parse_date()和parse_time()函数可以解析不同类型的日期和时间。它们是最复杂的，因为有太多不同的日期书写形式

所以读取 csv 远比你想象的复杂，自己造轮子会累死。

解析数值

1. parse_double()的locale(decimal_mark=)参数定义当地的小数点书写形式。

parse_double("3121,23", locale = locale(decimal_mark = ","))

#> [1] 3121.23

2. parse_number()可以忽略数值前后的非数值型字符。这个函数特别适合处理货币和百分比，也可以提取嵌在文本中的数值。

parse_number("It cost $123.45.")

#> [1] 123.45

parse_number("I want 45% of it.")

#> [1] 45

3. parse_number()和locale(grouping_mark=)参数可以忽略位数间隔符(grouping mark)

parse_number("123.456.789", locale = locale(grouping_mark = "."))

#> [1] 123456789

解析字符串

非英文字符的编码方式有许多种，对其解码需要用locale(encoding=)参数设置编码方式，

x2 <- "\x82\xb1\x82\xf1\x82\xc9\x82\xbf\x82\xcd"
parse_character(x2, locale = locale(encoding = "Shift-JIS"))

#> [1] "こんにちは"

解析因子

fruit <- c("apple", "banana")
parse_factor(c("apple", "banana", "bananana"), levels = fruit)

#> Warning: 1 parsing failure.
#> row col           expected   actual
#>   3  -- value in level set bananana

#> [1] apple  banana <NA>  
#> attr(,"problems")
#> # A tibble: 1 × 4
#>     row   col expected           actual  
#>   <int> <int> <chr>              <chr>   
#> 1     3    NA value in level set bananana
#> Levels: apple banana

解析日期与时间

• parse_datetime() 接受符合 ISO 8601 标准的日期时间。

parse_datetime("2010-10-01T2010")

#> [1] "2010-10-01 20:10:00 UTC"

# 如果时间被省略了，那么它就会被设置为午夜0点0分
parse_datetime("20101010")

#> [1] "2010-10-10 UTC"

• parse_date() 接受是四位数的年份+-或/+月+-或/+日

parse_date("2010-10-01")

#> [1] "2010-10-01"

• parse_time() 接受小时+:+分钟+[:+秒]+[am/pm]

library(hms)
parse_time("01:10 am")

#> 01:10:00

parse_time("20:10:01")

#> 20:10:01

• 自己设定时间格式

符号	含义
%Y	4位数年份
%y	2位数年份(00-69 → 2000-2069, 70-99 → 1970-1999)
%m	2位数月份
%b	简写月份
%B	月份全称
%d	日期，一位数或两位数
%e	两位数日期
%H	0-23小时
%I%p	0-12小时，%p表示am/pm
%M	分钟
%S	整数秒
%OS	实数秒
%Z	时区
%z	与国际标准时间的时差
%.	忽略一个非数值字符
%*	忽略所有非数值字符

注意，若对非英语月份名称使用 %b 或 %B，需要在locale()函数中设置语言参数。

parse_date("1 janvier 2015", "%d %B %Y", locale = locale("fr"))

#> [1] "2015-01-01"

Output

to Console

cat(... , file = "", sep = " ", fill = FALSE, labels = NULL, append = FALSE)

file:一个文件链接或者文件名，如果不写此参数，表示输出到控制台。

sep:分隔符

append:是否追加，当且仅当参数file是文件名而非链接时，此参数才有效。

注意：cat()默认用空格分开各部分，不会以换行作为输出的结尾

print()

区别：print() 输出字符串向量，cat() 输出字符串的内容，就像显示在网页或打印结果上

r$> cat("Hello")
Hello
r$> print('Hello')
[1] "Hello"

to TXT

readr::write_lines()

sink("filename", append=TRUE, split=TRUE) 文本输出，是否追加，是否同时输出在屏幕上

sink() 取消文本输出到文件

to JSON

1. jsonlite::toJSON()保存为 JSON 字符串
2. readr::write_lines(data, path) 保存为 json 文件

dir.create("./data")

#> Warning in dir.create("./data"): '.\data' already exists

iris %>%
  head() %>%
  jsonlite::toJSON() %>%
  readr::write_lines("./data/iris.json")

to .rda

save(obj, file = 'xxx.rda') 保存一些变量。第一个参数省略时保存所有对象。

save.image('xxx.rda') 保存整个工作空间中的所有变量。对于长期连续编程，这非常有用。

to .RDS

saveRDS() 保存单个对象到一个RDS文件

to CSV

data.table::fwirte()

readr::write_csv()

这个函数输出的文件能够顺利读取的概率更高，因为：

• 它们总是使用UTF-8 对字符串进行编码
  
• 它们使用ISO 8601格式来保存日期和日期时间数据，以便这些数据不论在何种环境下都更容易解析

注意，当保存为CSV文件时，列的数据类型信息就丢失了：这使得CSV文件在暂存临时结果时有些不可靠——每次加载时都要重建列类型。

---

1. 如\n、\t等特殊字符。↩︎