Viết query tìm và xóa các dòng trùng lặp

Trước tiên tìm các dòng trùng bằng cách group theo những cột định nghĩa "cùng một dòng":

SELECT email, COUNT(*) AS copies
FROM users
GROUP BY email
HAVING COUNT(*) > 1;

Để xóa, giữ lại một dòng trong mỗi nhóm và xóa phần còn lại. ROW_NUMBER() đánh số các dòng trong từng nhóm trùng, mọi dòng sau dòng đầu đều là dòng thừa:

DELETE FROM users
WHERE id IN (
  SELECT id FROM (
    SELECT id,
           ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn
    FROM users
  ) t
  WHERE rn > 1
);

ORDER BY id giữ dòng cũ nhất, đổi chiều sort nếu muốn giữ dòng mới nhất. Derived table bọc ngoài cần cho MySQL, vì MySQL không cho xóa từ một bảng mà cũng đọc trong subquery thường.

Trước khi xóa, hãy chạy SELECT bên trong và kiểm tra số lượng, và làm trong transaction hoặc trên bản backup. Sau đó chặn vấn đề từ gốc:

ALTER TABLE users ADD CONSTRAINT uq_users_email UNIQUE (email);

Sửa nguyên nhân bằng unique constraint, nếu không dữ liệu trùng sẽ quay lại.