Их өгөгдлийн архитектур

May 17, 2019

Их өгөгдлийн архитектур нь их хэмжээний өгөгдлийн анализын үндэс юм. Их өгөгдлийн архитектурыг барилгын том кампус эсвэл том оффисын байрны архитектурын зураг төсөл гэж үзье. Тэгвэл архитектур нь тухайн барилгын төслийн зорилго, зорилтуудыг ойлгосноор эхлэх бөгөөд тухайн зорилгод хүрэх арга зам хэрэгслүүд мөн өөр өөр байх тул зөв арга замыг сонгох нь хамгийн чухал зүйл юм.

Системийн архитектурч яг л барилгын архитектурчтай ижил зарчмаар ажиллах бөгөөд компанийн удирдлагууд, оролцогч талуудтай уулзан их өгөгдлийг ашиглах зорилго, зорилтыг ойлгосны үндсэн дээр зохих техник хангамж, програм хангамж, өгөгдлийн эх сурвалж, формат, бизнес интелиженс болон аналитик ашиглах, үр дүнгийн хэрэглээг тооцоолон урьдчилан төлөвлөх юм.

ИХ ӨГӨГДЛИЙН АРХИТЕКТУР НАДАД ХЭРЭГТЭЙ ЮУ?

Байгууллага бүрд их өгөгдлийн том шийдэл хэрэггүй бөгөөд танд хэр их дата үүсэж байгаа ямар үр дүн хүлээж байгаа зэргээс хамааран BIG DATA архитектур хэрэгтэй эсэхээ тодорхойлно. Ингэхийн тулд та дараах асуултуудыг өөртөө тавиад үзээрэй. Хэрэв та дараах зүйлсийн аль нэгэнд нь тийм гэж хариулбал BIG DATA архитектур хэрэгтэй болно:

  • Та өргөн сүлжээ, веб логоос мэдээлэл авахыг хүсэж байвал.
  • Та 100GB хэмжээтэй өгөгдлийг боловсруулах шаардлагатай бөгөөд эдгээрийг тооцоолохын тулд 8 цаг буюу түүнээс дээш хугацаагаар ажилладаг.
  • Өөрийн бизнесийн цар хүрээг нэмж, илүү оновчтойгоор сайжруулахын тулд гуравдагч талын бүтээгдэхүүнийг оролцуулаад томоохон өгөгдлийн шинжилгээнд хөрөнгө оруулах хүсэлтэй бол.
  • Танд их хэмжээний боловсруулаагүй өгөгдөл болон бүтэцлэгдээгүй өгөгдөл байгаад түүнийгээ бүтэцлэн, боловсруулах шаардлагатай бол.
  • Танд олон тооны мэдээллийн эх сурвалж бий.
  • Бизнесийн хэрэгцээнд зориулж том хэмжээний өгөгдлийг идэвхтэй дүн шинжилгээ хийх, жишээ нь улирлын борлуулалтын дүн шинжилгээ хийх, зар сурталчилгаа хийх, олон нийтийн мэдээллийн хэрэгслийг ашиглан шинжилгээ хийх гэх мэт бизнесийг хэрэгцээтэй мэдээллээр идэвхтэй дүн шинжилгээ хийхийг хүсэж байвал.

ИХ ӨГӨГДЛИЙН АРХИТЕКТУРЫГ ТӨЛӨВЛӨХ

Их өгөгдлийн архитектурт байдаг үндсэн дөрвөн логик давхаргуудын талаар ярилцъя.

Өгөгдлийн эх үүсвэрийн түвшин:

Өгөгдөл нь компанийн сервер, мэдрэгч, эсвэл гуравдагч этгээдийн мэдээллийн үйлчилгээ үзүүлэгчээс ирж болно. Мэдээллийн эх сурвалжийн жишээ нь ERP эсвэл CRM, MS Office docs, өгөгдлийн агуулах, өгөгдлийн сангийн менежментийн систем (RDBMS), мэдээллийн сан, хөдөлгөөнт төхөөрөмж, мэдрэгч, олон нийтийн мэдээллийн хэрэгсэл, мэйл зэрэг аж ахуйн нэгжийн програмууд багтдаг.

Өгөгдлийг тараах ба хадгалах түвшин:

Энэ түвшинд нь эх сурвалжаас өгөгдлийг хүлээн авдаг. Шаардлагатай бол энэ нь боловсруулаагүй өгөгдлийг аналитик хэрэгсэл ойлгож, хадгалж буй өгөгдлүүдээ форматын дагуу хэлбэржүүлдэг. Их өгөгдлийн архитектур нь RDBMS-д бүтэцлэгдсэн өгөгдлийг хадгалах боломжтой, Hadoop Distrib­uted File System (HDFS), эсвэл NoSQL өгөгдлийн сан зэрэг тусгай файлын систем дээр бүтэцлэгдээгүй өгөгдөл хадгалагдаж болно.

Дата Аналитикийн түвшин:

Аналитик хэсэг нь хадгалсан дататай харилцаж боловсруулан дата гаргана. Олон аналитик хэрэгслүүд нэгэн зэрэг анализ хийж ажиллана.

Хэрэглээний түвшин:

Энэ түвшинд нь дата аналитикийн үр дүнг хүлээн авч, тохирох хүлээн авагчид өгдөг. Тухайн бизнесийн процесс үйл ажиллагаанаас хамаарч бизнес аналитикийн үр дүнг өөр өөрөөр харуулан хэрэгтэй нэгжүүдэд хүргэнэ.

Г.Жигдолма

Бизнес хөгжил хариуцсан менежерАй Ти Зон компанид Дижитал Технологийн Газрын Бизнес Хөгжил хариуцсан менежер. Бээжингийн Жаутонг Их Сургуулийг Бизнесийн удирдлагын PhD зэрэг горилогч. ZTE Корпорациас ажлын гараагаа эхлэж, BAIDU Inc, Rio Tinto компаниудад ажиллаж байсан туршлагатай менежер.