使用 sort、join 處理 csv 檔案

雖然理想上，使用者要的資料最好都是由系統產生報表，使用者直接瀏覽或下載，但是，使用者常臨時要一些業績或管理性報表，IT 人員也只能從資料庫中下 sql statement 後匯出給使用者，有時，IT 人員更可能拿到別家公司匯出的數個 csv 檔，使用者卻希望將它們合併成一個檔案，當然，一般情況 IT 人員應該會找到一台資料庫，把檔案匯入處理後，再匯出給使用者，不過，IT 人員的環境裡並不總是有資料庫可以使用 (可能是控管嚴格沒有權限) ，這時候可以使用 Unix 中的一些指令來處理，Unix 通常鼓勵處理資料時，用文字檔的方式處理，所以，提供了非常豐富的處理文字檔指令，這裡要介紹的是 sort 和 join，透過這兩個指令可以將兩個 csv 檔像在資料庫中下 sql statement 將兩個 table 的資料 join 在一起一樣。

假設有兩個 csv 檔如下:

• 業務員業績配額 (quotas.csv)

chris,95
michael,200
marry,200
herman,80
jane,75
joe,50

• 業務員業績達成值 (sales.csv)

桃園分行,chris,300
高雄分行,herman,150
高雄分行,jane,200
台南分行,joe,100
宜蘭分行,michael,180
台北分行,marry,210

這兩個檔案是 key 都是人名，所以，join 時就以人名為 key，指令如下

sort -t ',' -k 1 quotas.csv > quotas.sorted
sort -t ',' -k 2 sales.csv > sales.sorted

先對兩個檔案排序，這是要使用 join 前的規定，一定要先排序! 指令中的 -t ',' 表示，檔案的分隔符號是逗號，-k 1 或 -k 2 表示該檔案的 key 是第幾個欄位。

join -t ',' -1 2 sales.sorted -2 1 quotas.sorted > result.csv

這樣就產生結果到 result.csv 中，-t 的選項如 sort 也是指分隔符號，-1 2 是指第 1 個檔案是以第 2 個欄位為 key，-2 1 則是指第 2 個檔案是以第 1 個欄位為 key，產生的結果如下:

chris,桃園分行,300,95
herman,高雄分行,150,80
jane,高雄分行,200,75
joe,台南分行,100,50
marry,台北分行,210,200
michael,宜蘭分行,180,200

第一筆資料指出，chris 在桃園分行，業績值 300，業績配額是 95，看來業績相當好，其餘資料的解讀就不綴述。