Lập trình
xử lý dữ liệu

Học kì 1, năm học 2026–2027

Viện Trí tuệ nhân tạo, Trường ĐH Công nghệ, ĐHQGHN

Bài 6
Kết nối & truy xuất
dữ liệu ngoài

Đọc file, gọi API và truy vấn SQL.

Bài trước

Đã biết chọn hàng, tính theo nhóm và ghép bảng bằng pandas.

Bài này đưa dữ liệu từ file, API và cơ sở dữ liệu vào các phép xử lý đó.

Tổng quan

1. Đọc và lưu file
2. Lấy dữ liệu qua API
3. SQL và DuckDB

1.
Đọc và lưu file

Đọc đúng dữ liệu và lưu bảng để dùng lại.

CSV không lưu kiểu dữ liệu

Giá giả lập (USD/đêm); ? là chưa có giá.

id,khu,gia
001,A,100
002,B,80
003,A,200
004,B,120
005,A,?

suy_luan = pd.read_csv(
    "data/raw/cho_o.csv"
)
print(suy_luan.to_string(
    index=False))

 id khu gia
  1   A 100
  2   B  80
  3   A 200
  4   B 120
  5   A   ?

Mã 001 thành 1; cột gia vẫn là chuỗi vì có ?.

Khai báo cách đọc

df = pd.read_csv(
    "data/raw/cho_o.csv",
    dtype={"id": "str", "gia": "float64"},
    keep_default_na=False, na_values={"gia": ["?"]},
)
print(df.to_string(index=False))

 id khu   gia
001   A 100.0
002   B  80.0
003   A 200.0
004   B 120.0
005   A   NaN

dtype đặt kiểu cột; na_values khai báo chuỗi nào là thiếu.

Mặc định pandas coi các chuỗi như NA, null, N/A và ô trống là thiếu; keep_default_na=False tắt danh sách này.

Bài tập 1: Đọc bảng giá

File gia_theo_khu.csv (giả lập, USD/đêm):

khu,gia
NA,100
TB,80
NA,
TB,0

NA là mã khu hợp lệ; ô trống là chưa có giá; 0 là giá đã ghi nhận.

Viết mã tính giá trung bình từng khu từ file này.

Lưu bảng để dùng lại

Bảng đã đọc đúng mã, kiểu cột và giá trị thiếu; cần lưu lại để lần sau không phải khai báo lại.

Parquet là định dạng file nhị phân dành cho dữ liệu dạng bảng.

Lưu bảng bằng Parquet

Lưu df đã đọc đúng ở đầu mục, rồi đọc lại:

df.to_parquet("data/processed/cho_o.parquet", index=False)
lai = pd.read_parquet("data/processed/cho_o.parquet")
print(lai.loc[0, "id"], lai["gia"].dtype)

001 float64

Mã 001 vẫn là chuỗi; gia vẫn là số.

Giữ file gốc trong raw/, ghi kết quả vào processed/.

Áp dụng cho dữ liệu Santiago

Bản CSV rút gọn ngày 29/06/2026: 19 cột; price đã là số, đơn vị CLP/đêm.

listings = pd.read_csv(
    "data/raw/santiago_2026-06-29.csv",
    usecols=["id", "neighbourhood", "room_type", "price"],
    dtype={"id": "str"},
)
print(listings.shape)
listings.to_parquet("data/processed/listings.parquet", index=False)

(18534, 4)

id là mã, không dùng để tính: đọc thành chuỗi. usecols chỉ đọc bốn cột cần dùng.

File Parquet này dùng lại ở mục 3.

2.
Lấy dữ liệu qua API

Tự động lấy dữ liệu từ dịch vụ theo yêu cầu.

Tự động lấy dữ liệu từ dịch vụ

Dữ liệu nằm trên hệ thống của nhà cung cấp và thay đổi theo thời gian, như dự báo thời tiết.

• Chương trình cần cập nhật dữ liệu tự động.
• Mỗi lần chỉ cần một phần dữ liệu: một địa điểm, vài ngày tới, một mã sản phẩm.

Nhà cung cấp cần quy định cách chương trình gửi yêu cầu và nhận đúng phần dữ liệu đó.

Trao đổi dữ liệu qua API

API (giao diện lập trình ứng dụng) quy định cách các chương trình tương tác với nhau.

Web API trao đổi yêu cầu và phản hồi qua HTTP, giao thức truyền dữ liệu trên web.

Ví dụ: lấy dự báo thời tiết

Tra tài liệu Open-Meteo để lấy endpoint (địa chỉ nhận yêu cầu):

https://api.open-meteo.com/v1/forecast

Gửi yêu cầu bằng Python

requests.get() gửi yêu cầu HTTP; params là các tham số ở slide trước.

import requests

r = requests.get(
    "https://api.open-meteo.com/v1/forecast",
    params={"latitude": -33.45, "longitude": -70.66,
            "daily": "temperature_2m_max",
            "timezone": "America/Santiago", "forecast_days": 3},
    timeout=20,
)
print(r.status_code)

200

r chứa phản hồi; mã 200 cho biết yêu cầu thành công.

Đọc dữ liệu trong phản hồi

Open-Meteo trả nội dung dạng JSON: văn bản chứa các cặp tên–giá trị và mảng.

r.raise_for_status()
du_lieu = r.json()
print(type(du_lieu).__name__, len(du_lieu))

dict 9

raise_for_status() báo lỗi HTTP trước khi đọc dữ liệu.

json() chuyển đối tượng JSON thành dict, mảng thành list: ở đây là dict có 9 khoá.

Chọn phần JSON để tạo bảng

Bản rút gọn còn ba khoá cần dùng; số liệu giả lập:

{
  "timezone": "America/Santiago",
  "daily_units": {"temperature_2m_max": "°C"},
  "daily": {
    "time": ["2026-10-01", "2026-10-02", "2026-10-03"],
    "temperature_2m_max": [22.0, 26.0, 24.0]
  }
}

Hai danh sách trong daily khớp theo vị trí, mỗi vị trí một ngày.

daily_units cho biết đơn vị; timezone cho biết múi giờ.

Tạo bảng theo ngày

mau là dict đọc từ JSON giả lập ở slide trước.

thoi_tiet = pd.DataFrame(mau["daily"])
print(thoi_tiet.to_string(index=False))

      time  temperature_2m_max
2026-10-01                22.0
2026-10-02                26.0
2026-10-03                24.0

Mỗi hàng là một ngày; nhiệt độ tính bằng °C.

Giữ lại bản dự báo đã lấy

Gọi lại API có thể nhận được dự báo khác. Lưu nguyên phản hồi để phân tích lại cùng dữ liệu.

moc = pd.Timestamp.now(tz="UTC").strftime("%Y%m%d-%H%M%S")
tep_json = Path("data/raw") / f"du_bao_{moc}.json"
tep_json.write_bytes(r.content)
print(tep_json)

data/raw/du_bao_20260928-041605.json

du_lieu = json.loads(tep_json.read_text(encoding="utf-8"))
du_bao = pd.DataFrame(du_lieu["daily"])
print(du_bao.to_string(index=False))

      time  temperature_2m_max
2026-09-28                19.7
2026-09-29                18.8
2026-09-30                16.0

Đọc lại file này lúc nào cũng ra đúng bảng trên.

Bài tập 2: Lọc ngày nóng

Phản hồi giả lập:

{
  "timezone": "America/Phoenix",
  "daily_units": {"temperature_2m_max": "°F"},
  "daily": {
    "time": ["2026-10-01", "2026-10-02", "2026-10-03"],
    "temperature_2m_max": [95, 100, 88]
  }
}

Đổi đơn vị: °C = (°F − 32) / 1,8.

Lấy các ngày có nhiệt độ tối đa từ 35°C trở lên.

3.
SQL và DuckDB

Truy vấn dữ liệu tại nguồn, lấy kết quả về phân tích.

Lấy kết quả từ cơ sở dữ liệu

Bảng chỗ ở nằm trong cơ sở dữ liệu (CSDL) trên máy chủ; báo cáo chỉ cần giá trung bình từng khu.

SQL mô tả kết quả cần lấy; hệ quản trị CSDL tính ngay tại nơi lưu dữ liệu.

Dùng DuckDB trong Python

Dữ liệu của bài là file và DataFrame trên máy; cần chạy SQL ngay trong Python.

DuckDB là hệ quản trị cơ sở dữ liệu dành cho phân tích:

• Chạy cùng chương trình, không cần máy chủ riêng.
• Truy vấn trực tiếp file CSV, Parquet hoặc DataFrame.
• Lấy kết quả về pandas bằng .df().

Lọc hàng bằng SQL

duckdb.sql() chạy câu SQL. FROM df là DataFrame df của mục 1: DuckDB tìm bảng theo tên biến Python.

import duckdb

ket_qua = duckdb.sql("""
    SELECT id, khu, gia
    FROM df
    WHERE gia >= 100
    ORDER BY gia DESC
""").df()
print(ket_qua.to_string(index=False))

 id khu   gia
003   A 200.0
004   B 120.0
001   A 100.0

WHERE lọc hàng; ORDER BY … DESC sắp xếp giảm dần.

Tính theo nhóm bằng SQL

theo_khu = duckdb.sql("""
    SELECT khu, AVG(gia) AS trung_binh,
           COUNT(*) AS so_cho_o, COUNT(gia) AS so_gia
    FROM df
    GROUP BY khu
    ORDER BY khu
""").df()
print(theo_khu.to_string(index=False))

khu  trung_binh  so_cho_o  so_gia
  A       150.0         3       2
  B       100.0         2       2

Khu A có ba chỗ ở nhưng chỉ hai giá đã biết.

NaN của pandas thành NULL trong SQL; AVG và COUNT(gia) bỏ qua NULL.

Lọc hàng và lọc nhóm

Giá trong df: khu A có 100, 200, NaN; khu B có 80, 120.

SELECT khu, AVG(gia) AS tb
FROM df
WHERE gia >= 150
GROUP BY khu

SELECT khu, AVG(gia) AS tb
FROM df
GROUP BY khu
HAVING AVG(gia) >= 150

WHERE lọc hàng trước khi tính; HAVING lọc nhóm sau khi tính.

Bài tập 3: Đếm giá thiếu

Viết một truy vấn SQL đếm số chỗ ở chưa có giá của từng khu, kể cả khu không thiếu giá.

Ghép bảng bằng SQL

Bảng khu_vung có một hàng: khu A thuộc vùng Bắc.

ghep = duckdb.sql("""
    SELECT df.id, df.khu, khu_vung.vung
    FROM df LEFT JOIN khu_vung ON df.khu = khu_vung.khu
    ORDER BY df.id
""").df()
print(ghep.to_string(index=False))

 id khu vung
001   A  Bắc
002   B  NaN
003   A  Bắc
004   B  NaN
005   A  Bắc

LEFT JOIN giữ cả hai chỗ ở khu B dù chưa có vùng tương ứng.

Truy vấn file Parquet

Truy vấn thẳng file đã lưu; DuckDB chỉ đọc hai cột cần dùng.

ket_qua_that = duckdb.sql("""
SELECT room_type, MEDIAN(price) AS trung_vi,
       COUNT(price) AS so_gia
FROM 'data/processed/listings.parquet'
GROUP BY room_type
ORDER BY trung_vi DESC
""").df()
print(ket_qua_that.to_string(index=False))

      room_type  trung_vi  so_gia
     Hotel room  117138.5      56
Entire home/apt   64900.0   14425
   Private room   34235.0    3148
    Shared room   20541.0      59

Santiago 29/06/2026, CLP/đêm; khớp với groupby của pandas.

Trung vị cao nhất (Hotel room) chỉ dựa trên 56 giá.

Chọn SQL hay pandas?

Cùng lọc, nhóm, ghép được; khác ở nơi tính và cách viết.

Thường dùng cả hai: SQL lấy, gộp tại nguồn; pandas xử lý tiếp.

Tổng kết

Làm việc với AI thì sao?

Kiểm chứng thế nào?

• Đối chiếu tên tham số với tài liệu API; xem r.url để biết yêu cầu đã gửi.
• Tính tay trên bảng nhỏ có mã đặc biệt và giá trị thiếu.
• Đối chiếu SQL với pandas trên cùng bản dữ liệu đã lưu.

Đọc thêm

• McKinney, chương 6: đọc file, API và cơ sở dữ liệu
• pandas: quy ước khi đọc CSV
• Parquet: lưu trữ theo cột
• Web API: tài liệu Open-Meteo, thư viện Requests
• DuckDB: giới thiệu, truy vấn trên DataFrame