【AI Team】資深數據工程師

Website iKala

【工作內容】
  1. 設計並開發網頁爬蟲 (Web Crawler / Scrapers) 獲取各大社群平台數據 (Facebook、Instagram、YouTube、各大論壇)
  2. 設計並整合 iKala 各業務之資料並且整合所有數據源,協助公司內數據來源分析之自動化擷取與儲存至 iKala Data Center
  3. 與 Data Scientist 和 Machine Learning Engineer 協作完成 AI 模組與功能導入
  4. 維護爬蟲 (Web Crawler / Scrapers) ,並且增爬蟲可用率以及爬取效率
  5. 按照業務需求清整 Data Center 數據,協助執行各種數據分析專案
  6. 熱愛分享、討論以及學習新技術
【職務需求】
  1. 熟悉至少一種相關程式語言 (e.g. Python is a big plus, Golang, Java, Scala, etc.)
  2. 熟悉爬蟲 (Web Crawler / Scrapers) 的實作,並且使用過任何爬取工具或技術 (e.g. Scrapy, pandas, SQL, BeautifulSoup, Selenium webdriver, Requests, etc)
  3. 有能力估算爬蟲效率
  4. 熟悉 SQL 與資料庫觀念 (如: MySQL, MongoDB, InfluxDB)
  5. 熟悉 HTML、CSS 和 JavaScript,能夠解析網站交換資料的順序
  6. 熟悉 Git 與 Git Flow
  7. 熟悉 RESTful 以及獨立串接 API 的能力
  8. 熟悉 Google Cloud / AWS / Azure 任一公有雲架構 (GCP is a big plus)
  9. 有數據與資料整合 ETL 開發流程的經驗 (e.g. Spark, DataFlow, Airflow, etc.)
【加分項目】
  1. 熟悉 ElasticSearch
  2. 有 Agile / Scrum 開發經驗
  3. 程式重構、大型專案架構設計經驗
  4. Github 上有作品或參與過 open source project 開發
  5. Docker / Kubernetes 等容器化經驗
  6. 有 CICD 設計或改善經驗
  7. 有 maintain proxy 的經驗
  8. 有使用大數據開源工具經驗 (例如: Hadoop 或 Spark 生態系)

To apply for this job email your details to amy.chen@ikala.tv