Vastopolis Epidemic

0) Khởi tạo dự án & GitHub repo

Yêu cầu chung: Tạo GitHub repo riêng cho nhóm (private); mời giảng viên làm collaborator.

• Tạo repo mới trên GitHub, đặt tên rõ ràng (ví dụ: 2526-LTXLDL-Project-<Tên-Nhóm>).
• Mời giảng viên làm collaborator với quyền đọc (read access).
• Điền link repo vào spreadsheet phân công nhóm. Hạn cuối: trước 23:59:59, ngày 10/11/2025.

1) Thu thập & tổ chức dữ liệu

Yêu cầu chung: Tải đủ dữ liệu về Thời tiết và microblogs của thành phố Vastopolis.

Dữ liệu thô cần tải về từ trang chính thức, bao gồm:

• Tệp CSV về microblogs.
• Tệp CSV về Thời tiết.
• Tệp CSV về dân số của mỗi khu vực trong thành phố Vastopolis.
• Tệp CSV tổng hợp các từ khóa phổ biến trong các blogs của cư dân.
• Tệp PNG hình ảnh bản đồ thành phố Vastopolis (đọc thêm tệp README.DOC để rõ hơn về kích thước và tọa độ địa lý của bản đổ).
• Tệp DOC mô tả về dữ liệu.

Tổ chức tệp/thư mục với cấu trúc rõ ràng: raw/, processed/, figures/, reports/, v.v. Thư mục raw/ chứa toàn bộ dữ liệu thô liệt kê bên trên.

2) Làm sạch & chuẩn hoá

Yêu cầu chung: Xây dựng bộ quy tắc đảm bảo chất lượng dữ liệu (QA) minh bạch; ưu tiên gắn cờ thay vì xoá dữ liệu; chuẩn hoá các kiểu dữ liệu như danh mục (vd. weather, wind-direction) và trường thời gian và trường vị trí địa lý (lat-long). Chuẩn hóa dữ liệu văn bản trong nội dung blog và keyword, ví dụ: xóa khoảng trắng dư thừa, chuyển về chữ thường hoặc chữ in hoa đồng nhất (normalcase / uppercase), v.v. Chú ý về encoding của các ký tự lưu trữ trong file ('utf-8', 'latin-1')

Ví dụ quy tắc phát hiện dữ liệu ngoại lệ: Không có trường thông tin text của bảng microblogs, không có thông tin vị trí địa lý của mỗi blog, không có thông tin thời tiết, hướng gió v.v.

Lưu kết quả: Ghi báo cáo QA này vào reports/qa_summary.csv và mô tả rõ trong báo cáo PDF cuối cùng. Lưu dữ liệu đã làm sạch/chuẩn hoá (ưu tiên CSV) vào processed/.

3) Tổng hợp dữ liệu

Yêu cầu chung:

* Yêu cầu 1: Nội suy (upsample) dữ liệu thời tiết lên tần suất theo giờ hoặc phút và kết nối (join) với bảng dữ liệu microblogs thông qua trường thời gian. Sau khi kết nối, thêm các cột weather, wind_direction và average_wind_speed vào bảng microblogs.

* Yêu cầu 2: Sử dụng danh sách từ khóa trong tệp keywords.txt để:

• Phân loại thủ công hoặc tự động các từ khóa thành hai nhóm bao gồm: các loại từ khóa liên quan đến triệu chứng bệnh, bệnh viện ví dụ: (stomach, flu, fever, caught, bad, medicine, feel, chills,...) và các loại từ khóa khác.
• Thống kê số lần xuất hiện của mỗi từ khóa trên các blog theo giờ.
• Xác định kiểu thời tiết (weather) và hướng gió (wind_direction) phổ biến nhất cho từng từ khóa theo giờ.

* Yêu cầu 3: Ánh xạ vị trí địa lý (location): Thống kê các vị trí địa lý nơi xuất hiện từng từ khóa theo từng khung giờ. Ví dụ: từ khóa stomachache xuất hiện tại các vị trí (40.34N - 93.30W), (41.32N - 92.15W), ... trong khoảng thời gian 10h–11h ngày 01/05/2011.

Lưu kết quả:

• processed/keywords.csv Các cột gồm: symptom_keyword => các từ khóa liên quan đến triệu chứng bệnh, other_keyword => các từ khóa khác.
• processed/stat_hourly_HH_DD_MM.csv (trong đó HH_DD_MM lần lượt là giờ/ngày/tháng).
  Các cột gồm: keyword, count, weather, wind_direction và các cột tùy chọn khác để phân tích.
• processed/keyword_location_mapping_hourly_HH_DD_MM.csv
  Gồm các cột: location (vị trí địa lý), keyword (từ khóa xuất hiện tại vị trí đó).
  Giả sử có K₁, K₂, ..., Kₙ từ khóa, mỗi từ khóa xuất hiện tại N₁, N₂, ..., Nₙ vị trí trong một giờ, thì bảng này có tổng cộng N₁ + N₂ + ... + Nₙ hàng. Mỗi cặp (vị trí - từ khóa) là duy nhất (unique), nhưng cùng một vị trí hoặc từ khóa có thể lặp lại ở nhiều hàng khác nhau.

4) Trực quan hóa dữ liệu

Yêu cầu chung: Cần tạo 3–4 biểu đồ cho mỗi thống kê theo giờ (tức là thống kê và vẽ biểu đồ dữ liệu ở mức độ theo giờ).

Gợi ý biểu đồ:

• Bắt buộc: Bản đồ phân bố các từ khóa liên quan đến triệu chứng bệnh theo từng giờ (sử dụng bảng keyword_location_mapping_hourly_... và bản đồ Vastopolis_Map.png), trong đó mỗi vị trí có từ khóa là một chấm, màu sắc khác nhau thể hiện từng từ khóa.
• Biểu đồ cột so sánh (ví dụ: top khung giờ hoặc khu vực có số lượng từ khóa xuất hiện nhiều nhất).
• Biểu đồ đường theo thời gian (giờ/ngày/tháng) thể hiện xu hướng số lượng từ khóa liên quan đến triệu chứng bệnh.
• Trực quan hóa bằng thư viện wordcloud (ví dụ: từ khóa có số lượng lớn nhất theo khung giờ sẽ to lớn nhất và nằm ở trung tâm và bé dần theo số lượng của nó).
• Có thể sáng tạo thêm các biểu đồ khác để phân tích mối liên hệ giữa blog và thời tiết, ví dụ: tương quan giữa từ khóa và nhiệt độ, hoặc hướng gió với tần suất xuất hiện từ khóa.

Lưu kết quả: Lưu các hình vào thư mục figures/ với tên dễ tra cứu, ví dụ:
figures/keyword_count_overtime.png, figures/pointmap_epidemic_symptoms_hourly_HH_DD_MM.png

Gợi ý về thống kê và trực quan hóa dữ liệu:

5) Diễn giải & kết luận

Yêu cầu chung: Trình bày phát hiện chính, thảo luận giới hạn và đề xuất tiếp theo.

Gợi ý:

• Tóm tắt 3–5 phát hiện đáng chú ý, kèm hình/bảng minh hoạ.
• Đề xuất cải tiến (thu thập, trích xuất thêm thông tin, sáng tạo thêm phương pháp visualize dễ hiểu hoặc phân tích mở rộng).
• Đưa ra dự đoán về thời điểm bùng phát dịch bệnh và các triệu chứng bệnh phổ biến nhất của từng khu vực => Từ đó bình luận về các con đường lây lan dịch bệnh (gợi ý: đường không khí, đường nước, ...).

Khuyến khích việc suy luận dựa trên nhiều kiểu hình thống kê và biểu đồ khác.

6) Viết báo cáo kỹ thuật

Yêu cầu chung: Viết báo cáo kỹ thuật (theo mẫu dưới đây) với cấu trúc mạch lạc, tham chiếu hình/bảng. Báo cáo xuất ra PDF và lưu vào reports/report-<tên-nhóm>.pdf.
Riêng mã nguồn cần có README.md hướng dẫn chạy lại, công bố seed, có requirements.txt.

7) Nâng cao (tuỳ chọn, điểm thưởng)

Yêu cầu chung: Thực hiện thêm 1–2 phân tích nâng cao để mở rộng kết quả chính. Ưu tiên cách làm đơn giản, minh bạch, tái lập (reproducible); nêu rõ mục tiêu, dữ liệu dùng, phương pháp và cách đánh giá. Phần này không bắt buộc, nếu đạt yêu cầu sẽ có điểm thưởng từ +5 đến +20.

Gợi ý hướng mở rộng:

• Đưa ra được phương án tạo ra file keywords.csv giống trong dữ liệu đề bài cho (đưa ra được thuật toán và cơ sở lý thuyết) và hướng mở rộng, cải tiến việc phân tích theo từ khóa cho hiệu quả hơn.
• Phân tích tình hình dịch bệnh theo dòng thời gian dựa trên khối lượng từ khóa xuất hiện trên toàn bộ dữ liệu.
• Phân tích hướng lan truyền và cách dịch bệnh lan truyền.
• Tìm ra và phân tích nguồn gây ra dịch bệnh.
• Truy vết ngược và kết hợp với biểu đồ để kể lại câu chuyện về đại dịch ở thành phố Vastopolis trên toàn bộ dữ liệu.
• Phân cụm mẫu hình (k-means) cho khung giờ dựa trên vector keywords. Đặt tên cụm & mô tả đặc trưng.