search
尋找貓咪~QQ 地點 桃園市桃園區 Taoyuan , Taoyuan

R語言-檢視變數及資料型態所佔記憶體容量,零成本提高計算效率 | ARON HACK 亞倫害的

R語言-檢視變數及資料型態所佔記憶體容量,零成本提高計算效率

2020-04-05 更新

目錄

原始文章

R語言-檢視變數及資料型態所佔記憶體容量,零成本提高計算效率


對資料科學家或數據分析師來說,資料量太大、電腦效能不足一直都是個痛,經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而,就我的觀察,一樣都是撰寫程式,資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足,以偏概全)

其實,只要善用一些小工具,把檔案很大但用不到的物件清掉,並留意哪一種資料型態(Data Type)的容量較輕巧,就可以在不花錢升級電腦硬體的條件下,提升計算效率,也更有可能執行更複雜的計算。

來吧,直接複製貼上

check_file_size = 1000000){
    unit_size = 1000){
    unit_size 

檢查資料型態(Data Type)的容量大小

# Compare Date and Number
> t1  t2  check_file_size("t1", unit = "byte")
t1 256 byte
> check_file_size("t2",unit = "byte")
t2 48 byte

# Compare numeric and character for ID
> test  test2  check_file_size("test", unit = "byte")
test 48 byte
> check_file_size("test2", unit = "byte")
test2 96 byte

實際應用

由於完整的日期格式實在是太暫記憶體空間了,所以我習慣做日期計算後,會同時保留完整的日期格式,以及Integer型態,後者拿來標記大量資料或是SQL時都很好用。

cal_date 
# 範例
ex1 

推薦文章

在DataCamp學Python和R語言,快速入門資料科學

A
Aron

以前用MIX這個名字在網路打滾,後來改為Aron。工業設計系畢業,曾任職知名品牌行銷企劃,做點設計,寫文案也寫網站;目前擔任零售業數據分析師。最近開始練格鬥和Python量化投資。



熱門推薦

本文由 aronhackcom 提供 原文連結

寵物協尋 相信 終究能找到回家的路
寫了7763篇文章,獲得2次喜歡
留言回覆
回覆
精彩推薦