最近工作因為前期 revamp 工作已完成,也為項目指向了新的 query engine。
工作開始變得單調,基本上就是指定的所需文件的路徑,按下運行的 button,讓程式自己運行。
現是唯一的問題是運算速度不夠快,但原因出自新的 query engine 上,加上當下幾個不同團隊共用一個 node 的資源,令大家不能以最佳效能之一運行,只好逐步改進 script,例如使用上 multithread 或 multiprocessing 等等的方式去減低所需運算時間。
如此,我也想去加強自己的基礎能力。
最近有友人介紹,Kaggle 有 Courses 可以讓人去學習,而且種類奇多,大多都是以 Data Science 為主的 topic,正好合我胃口。