Хичээлийн сэдэв

Хичээл: Статистикийн програмчлал: Python, R, SQL
Сэдэв: #14. Веб скрапинг

Зорилго

Веб хуудаснаас статистикийн өгөгдлийг автоматаар цуглуулах веб скрапингийн суурь ойлголт, алгоритм болон HTML документын бүтэцтэй танилцана. Програмчлалын хэл ашиглан веб сайтаас мэдээлэл ялган авч, тохиромжтой форматаар хадгалах арга зүйд суралцахын зэрэгцээ нээлттэй өгөгдлийн интерфейс ашиглах, хориглох файлын заалтыг мөрдөх, серверийн ачааллыг тохируулах болон оюуны өмчийг дээдлэх зэрэг хууль, ёс зүй, техникийн зарчмуудыг баримтлан ажиллах мэдлэг, чадвар, хандлагыг эзэмшинэ.

Зорилтууд

  1. Веб скрапингийн ухагдахуун, ач холбогдол болон веб хуудасны бүтцийн загварыг танин мэдэх.
  2. Веб хуудасны элементүүд, тэдгээрийн шинж чанарыг хөтөчийн хэрэгсэл ашиглан шинжлэх, мэдээлэлд хандах төлөвлөгөө боловсруулах.
  3. Веб скрапинг хийх дараалсан алгоритмыг эзэмшиж, цуглуулсан өгөгдлийг зохих форматаар хадгалах.
  4. Веб скрапинг хийхэд баримтлах хууль, ёс зүй болон техникийн хэм хэмжээнүүдтэй танилцах.
  5. Шууд мэдээлэл авдаг интерфейс (API) болон веб скрапингийн ялгаа, тэдгээрийн давуу ба сул талыг харьцуулан ойлгох.

Товч агуулга

Веб скрапингийн тухай үндсэн ойлголт, Python болон R ашиглаж веб скрапинг хийх бодит кейс

Дэд сэдвүүд

  1. Суурь ойлголт
  2. Веб скрапинг хийхэд баримтлах зарчим
  3. Веб скрапингийн жишээ

Суралцахуйн үр дүн

Мэдлэг

  1. Веб скрапингийн суурь ойлголт болон HTML документын салбарласан мод мэт бүтцийг мэддэг болно.
  2. Бэлэн интерфейс ашиглахын давуу тал болон хайлтын ботын хориг заалтын файлын үүргийг ойлгоно.
  3. Серверийн ачаалал, сүлжээний доголдол үүсгэхээс сэргийлэх техникийн шаардлага, зарчмуудыг мэдэж авна.

Чадвар

  1. Веб хөтөчийн инспектор хэрэгсэл ашиглан HTML документын элементүүд болон тэдгээрийн салбарлалт, ID, class, name зэрэг шинжийг тодорхойлж чаддаг болно.
  2. Веб скрапингийн алгоритмын дагуу код бичин өгөгдөл ялган авч, хүснэгтэн болон бусад стандартаар хадгалж сурна.
  3. Веб сайтаас өгөгдөл цуглуулахдаа санах ойн кэш ашиглах, хүсэлт хооронд завсарлага авах замаар серверийн ачааллыг тохируулж сурна.

Хандлага

  1. Веб скрапинг хийхдээ хууль, ёс зүйн хэм хэмжээ болон веб сайтын хориг заалтыг чанд мөрдөх хариуцлагатай соёл төлөвшинө.
  2. Бусдын оюуны өмчийг дээдэлж, шаардлагатай тохиолдолд зөвшөөрөл авч ажиллах мэргэжлийн ёс зүйн зарчим баримтлахыг ухамсарлана.