Хичээлийн сэдэв

Хичээл: Статистикийн програмчлал: Python, R, SQL
Сэдэв: #12. Өгөгдлийг шинжилгээнд бэлдэхэд ашигладаг зарим нийтлэг үйлдэл

Зорилго

Өгөгдлийг шинжилгээнд бэлтгэх үндсэн үйлдэл, арга зүйтэй танилцаж, практикт тохиолдох бүтэцгүй болон алдаатай өгөгдлийг цэгцлэх чадвар олж авна. Статистик өгөгдлийн урт ба өргөн бүтцийн хооронд шилжүүлэх хувиргалт хийх, орхигдсон болон давхардсан утгыг илрүүлэн цэвэрлэх, огноо ба цагийн мэдээллийг стандартад нийцүүлэн боловсруулах, regex (Regular Expression) ашиглан тэмдэгт мөртэй ажиллах болон хиймэл оюуны том хэлний загварт зориулж өгөгдлийг оновчтой форматжуулах арга барилыг эзэмшинэ.

Зорилтууд

  1. Статистик өгөгдлийн урт болон өргөн бүтцийн онцлогийг тодорхойлж, тэдгээрийн хооронд хувиргах логикийг судлах.
  2. Өгөгдөл дэх орхигдсон болон давхардсан утгыг шалгах, цэвэрлэх, зайлуулах аргуудыг эзэмших.
  3. Огноо, цагийн мэдээллийг олон улсын стандарт болон цагийн бүсэд нийцүүлэн хувиргах, стандарт бус бичиглэлийг боловсруулах.
  4. Тэмдэгт мөрөөс тодорхой хэв шинжийг хайх, ялгах, солих зорилгоор Regular Expression ашиглах аргад суралцах.
  5. Алдаатай болон онцгой утгыг статистик арга болон дүрслэлээр илрүүлэх.
  6. Том хэлний загварт өгөгдлийг үр ашигтай оруулахад зориулсан шинэ форматын давуу тал ба онцлогийг танин мэдэх.

Товч агуулга

Статистик өгөгдлийн урт болон өргөн бүтэц ба эдгээр бүтэц хооронд харилцан шилжүүлэх; орхигдсон утга илрүүлэх, зайлуулах; огноо ба цаг илэрхийлсэн өгөгдөл боловсруулах; Regular Expression; өгөгдөл дэх алдаатай утгуудыг илрүүлэх

Дэд сэдвүүд

  1. Статистик өгөгдлийн бүтэц
  2. Орхигдсон утга
  3. Огноо ба цаг
  4. Тэмдэгт мөр тодорхой хэвтэй нийцэх эсэхийг шалгах, хэвтэй нийцсэн хэсгийг ялгаж авах ба сольж өөрчлөх
  5. Давхардал ба алдаатай утга шалгах
  6. Өгөгдлийг LLM загварт нийцтэй форматжуулах

Суралцахуйн үр дүн

Мэдлэг

  1. Өгөгдлийн урт ба өргөн бүтцийн ялгаа, тэдгээрийн шинжилгээнд ашиглах тохиромжтой хэлбэрийг мэддэг болно.
  2. Огноо, цагийн стандарт бичиглэл, цагийн бүсийн шилжилт болон орхигдсон, давхардсан утгын шинж чанарыг ойлгоно.
  3. Regular Expression буюу тэмдэгт мөр дэх тодорхой хэв шинжтэй хэсгийг тодорхойлдог дүрмийг мэддэг болно.
  4. Том хэлний загварт зориулсан өгөгдөл илэрхийлэх шинэ форматын онцлогийг танин мэднэ.

Чадвар

  1. Өгөгдлийн бүтцийг урт болон өргөн хэлбэрт хөрвүүлж, дутуу болон давхардсан мэдээллийг илрүүлэн цэвэрлэж сурна.
  2. Огноо, цагийн мэдээллийг стандартын дагуу боловсруулж, regex ашиглан тэмдэгт мөрөөс хэрэгцээт мэдээллийг шүүн авч, өөрчилж чаддаг болно.
  3. Статистик аргууд болон визуал дүрслэл ашиглан алдаатай болон онцгой утгуудыг илрүүлж, өгөгдлийг шинжилгээний ба том хэлний загварын шаардлагад тохируулан бэлтгэх чадвартай болно.

Хандлага

  1. Өгөгдлийн чанар, цэгцтэй байдалд шүүмжлэлтэй бөгөөд нухацтай хандах зарчим баримталдаг болно.
  2. Шинжилгээний өгөгдлийг системтэй, стандартын дагуу бэлтгэж, алдаагүй цэвэр мэдээллээр хангах хариуцлагыг ухамсарлана.