Dhammaan ereyada

ETL / ELT

Soo-qaadid, Beddelid, Rarid (ama Soo-qaadid, Rarid, Beddelid) — qaababka lagu dhaqaajiyo xogta ilaha ilaa nidaamyada falanqaynta ama ML-ka.

Sayniska Xogta1 daqiiqo akhris

Qeexid

ETL waxay xogta u beddeshaa ka hor inta la gelinayo bartilmaameedka. ELT waxay marka hore geliyaa xog aan si buuxda loo beddelin, kadibna waxay ku dhex beddeshaa warehouse-ka iyadoo la isticmaalayo SQL. Labaduba si la isku hallayn karo ayay xogta u dhaqaajiyaan oo u qaabeeyaan.

Orchestrator-yada (Airflow, Dagster, jadwal-yada daruuraha) waxay shaqooyinkaas ku shaqeeyaan jadwal ama dhacdooyin.

Si fudud

ETL waa dhaqidda oo googooyska khudradda ka hor inta aad friij-ka gelinayso. ELT waxay marka hore gaadhiga dhigtaa alaabta, kadibna diyaarinta samaysaa marka aad karinayso.

Halka aad ka aragto

  • Isku-xirka habeenkii ah oo ka yimaada Postgres-ka app-ka ilaa BigQuery.
  • Nadiifinta xogta crawl-ka oo loo beddelayo file-yo parquet oo tababar ah.

Sida ay u shaqeyso

  1. 1.Soo qaad

    Ka soo qaad API-yo, kaydadka xogta, ama file-yo.

  2. 2.Beddel ama rar

    Nadiifi, isku dar, oo nooc dhig — nidaamku wuxuu ku xiran yahay ETL ama ELT.

  3. 3.Gaarsii

    Ku qor miisyo la nadiifiyay ama dataset-yo ML.

Maxay muhiim u tahay

  • ETL/ELT waa sida dhacdooyinka asalka ah ay xog tababar iyo falanqayn wax ku ool ah u noqdaan.

Inta badan la khaldo

  • ETL wuxuu kaliya u talagalay sirdoonka ganacsiga.

    Pipeline-yada sifooyinka ML iyo dhisayaasha corpus-ku sidoo kale waa ETL.