Data ingestion гэдэг нь янз бүрийн эх үүсвэрээс (жишээ нь: датабейс, API, файлын систем, IoT төхөөрөмж, лог файл, cloud үйлчилгээ гэх мэт) өгөгдлийг татан авч, цаашдын боловсруулалт болон хадгалалт (data warehouse, data lake гэх мэт) руу урсгах (ingest) үйл явц юм.
Өгөгдлийг урсгахдаа Batch ingestion(Өгөгдлийг тодорхой хугацааны дарааллаар бөөнөөр татаж ачааллах) болон Real-time ingestion (Өгөгдлийг үүссэн даруйд нь урсгал байдлаар татаж ачааллах) гэсэн 2 төрөлтэй.
Бид юу хийдэг вэ ?
DataTech-ийн Data ingestion үйлчилгээ нь дараах үндсэн чиглэлүүдийг хамаардаг.
- Source identification (Өгөгдлийн эх үүсвэр тодорхойлох) – CSV, JSON, XML, IoT, CRM, ERP, App, Web, SQL/NoSQL databases
- ETL хийх – Extract(Татах), Transform(Хувиргах), Load(Хадгалах). Энэ проецесс нь өгөгдлийг эх үүсвэрээс татаж аваад хувиргах, хадгалах арга юм.
- ELT хийх – Extract(Татах), Load(Хадгалах), Transform(Хувиргах). Энэ процесс нь өгөгдлийг эх үүсвэрээс татаж аваад, хадгалах үүний дараа хувиргалт хийх арга юм. Орчин үеийн Cloud дата архитектурт илүү тохиромжтой.
Тайлбар
- Extract (Татах) – Эх үүсвэр бүрээс өгөгдлийг програмчилсан аргаар татна.
- Transform (Хувиргах) – Татсан өгөгдлийг бизнесийн шаардлагад нийцүүлж боловсруулна. Өгөгдлийг цэвэрлэх, нэгтгэх, давхардал арилгах, нэгдсэн схемд оруулах, бизнесийн дүрмийн дагуу хувиргах. Энэ нь batch эсвэл real-time байдлаар хийгдэж болно.
- Load (Хадгалах) – Хувиргасан өгөгдлийг зорилтот систем, нэгдсэн өгөгдлийн сан, баазруу оруулах (Data Warehouse, Data Lake, Data Lakehouse)
Үр дүн:
- Өгөгдлийн урсгалыг автоматжуулж, дүн шинжилгээ хийх цагийг хэмнэнэ
- Хүний оролцоо болон үүнд зарцуулах хүн цагийг хэмнэнэ.
- Real-time мэдээлэл дээр тулгуурласан шийдвэр гаргалтыг дэмжинэ
- Data warehouse, data lake, AI/ML системийн үндэс суурийг тавина
- Зөв архитектур, найдвартай ingestion ашигласнаар байгууллагууд өгөгдлөө илүү хурдан, аюулгүй, бүрэн бүтэн байдлаар удирдаж чадна.