Inside Airbnb

0) Khởi tạo dự án & GitHub repo

Yêu cầu chung: Tạo GitHub repo riêng cho nhóm (private); mời giảng viên làm collaborator.

• Tạo repo mới trên GitHub, đặt tên rõ ràng (ví dụ: 2526-LTXLDL-Project-<Tên-Nhóm>).
• Mời các giảng viên làm collaborator với quyền đọc (read access).
• Điền link repo vào spreadsheet phân công nhóm. Hạn cuối: trước 23:59:59, ngày 10/11/2025.

1) Thu thập & tổ chức dữ liệu

Mục tiêu: có được dữ liệu thô (raw data) để xử lý.

Yêu cầu: Tải các snapshot được yêu cầu cho thành phố chính và các thành phố đối chứng.

Tổ chức tệp/thư mục với cấu trúc rõ ràng: raw/<city>/<snapshot_date>/, processed/<city>/<snapshot_date>/, figures/, reports/, src/.

2) Khám phá dữ liệu

Mục tiêu: Hiểu rõ cấu trúc, nội dung và chất lượng của bộ dữ liệu Airbnb trước khi tiến hành xử lý và làm sạch.

Yêu cầu:

• Khảo sát tổng quan về kích thước và cấu trúc dữ liệu của từng tệp (gợi ý các lệnh Python cơ bản: df.info(), df.describe(), df.head())
• Nhận diện các trường dữ liệu, ý nghĩa của từng trường và mối liên hệ giữa các bảng.
• Thống kê và ghi nhận các vấn đề dữ liệu phổ biến:
  • Giá trị bị thiếu (missing values), dữ liệu ngoại lệ (outliers), dữ liệu trùng lặp.
  • Kiểu dữ liệu không phù hợp (ví dụ: giá lưu dưới dạng chuỗi).
  • Phạm vi hoặc đơn vị không thống nhất giữa các snapshot.
• Đưa ra nhận xét ban đầu về mức độ đầy đủ và độ tin cậy của dữ liệu.

Kết quả mong đợi: Báo cáo ngắn gọn mô tả cấu trúc dữ liệu, số lượng bản ghi, tỷ lệ dữ liệu thiếu, và các phát hiện sơ bộ, phục vụ cho bước làm sạch và chuẩn hoá tiếp theo.

3) Làm sạch & chuẩn hoá

Mục tiêu: Đảm bảo dữ liệu Airbnb chính xác, nhất quán và sẵn sàng cho phân tích.

Yêu cầu chung: Xây dựng bộ quy tắc đảm bảo chất lượng dữ liệu (QA) minh bạch; ưu tiên gắn cờ thay vì xoá dữ liệu; chuẩn hoá kiểu dữ liệu, danh mục (vd. room_type, neighbourhood, price) và các trường thời gian (host_since, last_scraped).

Ví dụ quy tắc phát hiện dữ liệu ngoại lệ: giá (price) âm hoặc bằng 0; toạ độ (latitude, longitude) ngoài phạm vi hợp lệ. Dữ liệu đặt phòng có thể bị trùng hoặc chồng lấn giữa các snapshot, cần được xử lý để đảm bảo tính đồng bộ và nhất quán theo thời gian.

Lưu kết quả: Tóm tắt số lượng/tỷ lệ theo từng quy tắc và quyết định xử lý (giữ/loại khỏi thống kê KPI - mục 3). Ghi báo cáo QA này vào reports/qa_summary.csv và mô tả rõ trong báo cáo PDF cuối cùng. Lưu dữ liệu đã làm sạch/chuẩn hoá (ưu tiên CSV) vào processed/.

4) Tổng hợp & KPI

KPI (Key Performance Indicator) là chỉ số cốt lõi gắn với mục tiêu, có công thức & đơn vị rõ ràng.

Mục tiêu: Cung cấp bảng tổng hợp và chỉ số KPI giúp các bên liên quan (quỹ đầu tư, nhà quy hoạch, khách du lịch) hiểu xu hướng thị trường Airbnb: mức giá, nguồn cung, mức độ sẵn sàng và nhu cầu theo khu vực và thời gian.

Yêu cầu: Tổng hợp theo neighbourhood, thời gian (ví dụ snapshot, tháng, ngày), thành phố, v.v. Định nghĩa rõ tên → mục tiêu → công thức → đơn vị; tính sau QA được hoàn thành.

Ví dụ KPI đặc trưng:

• Giá thuê: median price, price theo room_type.
• Cung & hoạt động: số listing đang hoạt động, tỷ lệ entire_home/private/shared, % multi-hosts.
• Tính sẵn sàng: median availability_90, tỷ lệ kín phòng theo mùa.

Lưu kết quả: Ghi các bảng KPI vào processed/.

5) Trực quan hoá

Yêu cầu: Tối thiểu 5 hình, có tiêu đề, nhãn trục/đơn vị/chú giải rõ ràng; thông điệp cụ thể.

Gợi ý:

• Khuyến khích làm việc với dữ liệu địa lý và trực quan hoá thông tin trên bản đồ.
• Thanh so sánh tỷ trọng loại phòng; top neighbourhoods theo KPI.
• Heatmap neighbourhood × snapshot cho Index giá/độ kín phòng.
• Biểu đồ so sánh hai thành phố trên cùng trục (nhãn rõ đơn vị).

Lưu hình: vào figures/ với tên dễ tra cứu, ví dụ figures/price_trend_sg_bkk.png.

6) Diễn giải & Kết luận

Mục tiêu: Trình bày các phát hiện chính từ dữ liệu Airbnb, nêu bối cảnh theo tháng hoặc mùa, thảo luận giới hạn và đề xuất hướng cải tiến tiếp theo.

Yêu cầu: Tóm tắt 3–5 phát hiện nổi bật kèm hình hoặc bảng minh hoạ; nêu ảnh hưởng của các quy tắc QA và dữ liệu thiếu/thừa; chỉ ra những yếu tố bối cảnh có thể ảnh hưởng đến các chỉ số KPI; và đề xuất cải tiến cho quy trình thu thập, xử lý hoặc bổ sung KPI mới.

Gợi ý:

• Tổng hợp xu hướng đáng chú ý về giá, độ kín phòng, đánh giá hoặc nguồn cung.
• Bình luận tác động của QA (loại dữ liệu bất thường, thiếu vùng, trùng ID, v.v.) tới kết quả phân tích.
• Nhấn mạnh các yếu tố theo mùa hoặc sự kiện đặc thù ảnh hưởng đến chỉ số.
• Đề xuất hướng mở rộng: phân tích theo mùa, theo nhóm chủ nhà, hoặc xây dựng KPI nâng cao.

7) Viết báo cáo kỹ thuật

Yêu cầu: Báo cáo kỹ thuật (mẫu tại mục Sản phẩm), xuất PDF vào reports/report-<ten-nhom>.pdf; repo có README.md hướng dẫn chạy lại (tải dữ liệu, tiền xử lý, tổng hợp, vẽ hình).

8) Nâng cao (tuỳ chọn, điểm thưởng)

Gợi ý:

• Dự báo xu hướng: ước lượng median price, occupancy rate hoặc số active listings theo thời gian (baseline vs mô hình hồi quy đơn giản).
• Phát hiện bất thường: xác định khu vực (neighbourhood) có biến động giá hoặc nguồn cung bất thường bằng z-score hoặc Isolation Forest.
• Phân cụm thị trường: nhóm các neighbourhoods có đặc trưng tương tự theo vector KPI (giá, độ kín phòng, đánh giá, mức sẵn sàng).
• Phân tích không gian: trực quan hoá bản đồ giá và mật độ listing bằng Folium hoặc Kepler.gl.
• Chuẩn hoá nâng cao: xây dựng chỉ số Index theo median toàn thành phố hoặc nhóm khu vực để so sánh tương đối.
• Tự động hoá dữ liệu: thu thập (crawl) dữ liệu từ tất cả các thành phố trên Airbnb và phát triển nền tảng tự động hiển thị thông tin phân tích tương tự Inside Airbnb.