Dhammaan ereyada

Haro Xogeed (Data Lake)

Kayd dhexe oo lagu kaydiyo xog badan oo asal ah oo qaabkeeda hore ku jirta — file-yo, log-yo, sawirro — ka hor qaabaynta culus.

Sayniska Xogta2 daqiiqo akhris

Qeexid

Haro xogeedku wuxuu hayaa xog asal ah oo si fudud loo habeeyay (badanaa oo ku jirta object storage sida S3) si kooxo badan ay ugu baadhaan oo u beddelaan mar dambe. Schema-ga waxaa badanaa lagu dabaqaa marka la akhrinayo (schema-on-read).

Haddii aan la maamulin, harooyinku waxay noqdaan "balliyo xog" — kuwo adag in lagu kalsoomo ama la helo.

Si fudud

Warehouse waxay ku kaydisaa kartoono la calaamadeeyay shelf-yo kor taagan. Haro waa bannaan weyn oo alaabta asalka ah marka hore ku soo dega — jilicsan, laakiin haddii aanad habayn waxaad ku qarqi doontaa tuulmooyinka.

Halka aad ka aragto

  • Kaydinta soo-dejinta web crawl-ka iyo codka ka hor inta la dhisayo corpus-yada NLP.
  • Kaydka clickstream-ka iyo log-yada mar dambe loo falanqeeyo.

Sida ay u shaqeyso

  1. 1.Gali object-yada asalka ah

    Dejinta file-yada kaydka jaban ee la sii kordhin karo.

  2. 2.Cataloog

    Diiwaan geli dataset-yada, milkiilayaasha, iyo schema-yada.

  3. 3.Beddel hoos

    ETL/ELT geeya warehouse-yada ama dataset-yada tababarka.

Maxay muhiim u tahay

  • Harooyinku waa halka xogta tababarka AI-ga casriga ah ay badanaa ku noolaato ka hor in la nadiifiyo.

Inta badan la khaldo

  • Haro xogeed wuxuu beddelaa baahida naqshadaynta.

    Wali waxaad u baahan tahay nadiifin, calaamadayn, iyo heshiisyo cad si loo helo ML production ah.