AI phân loại nhạc hoạt động thế nào?

Trả lời ngắn: bốn bước

1. Nghe. Phần mềm giải mã chính âm thanh trong file. Tag hay tên file không ảnh hưởng.
2. Mô tả. Nó đo âm thanh: tốc độ và nhịp, năng lượng, độ nặng của bass, độ sáng, Key, chất âm. Mỗi bài thành một "dấu vân tay" gọn bằng các con số.
3. Học. Từ những bài đã có nhãn, nó tìm ra tổ hợp phép đo nào tách nhãn này khỏi nhãn kia.
4. Đoán. Gặp bài mới, nó so dấu vân tay với điều đã học, chọn nhãn gần nhất và cho biết chắc tới đâu.

Gần như mọi công cụ AI sắp xếp thư viện nhạc đều đi theo con đường này. Khác nhau thật sự nằm ở chỗ nó học nhãn của ai, chạy ở đâu, và có thành thật về những bài nó chưa chắc hay không.

Biến âm thanh thành con số

Máy tính không nghe nhạc như bạn. Nó đọc dạng sóng, hàng chục nghìn mẫu mỗi giây (chất lượng CD là 44.100 mẫu), rồi tính ra các mô tả. Âm thanh vẫn y nguyên dù tag ghi "Techno", "Unknown" hay để trống.

Các phép đo chia thành vài nhóm:

Không phép đo nào một mình quyết định nhãn. "Chất" của bài nằm ở tổ hợp: 128 BPM cộng bass nặng, âm tối, trống dày nói một điều rất khác với 128 BPM cộng bass nhẹ và hợp âm sáng.

Học từ những bài đã có nhãn

Đây là phần người ta gọi là AI. Bạn đưa ví dụ: 100 bài này là nhãn A, 100 bài kia là nhãn B. Model nhìn toàn bộ dấu vân tay và học ra ranh giới nằm ở đâu, phép đo nào quan trọng để tách A khỏi B, phép đo nào không.

Giống như kèm một bạn mới vào làm ở tiệm đĩa. Bạn bật cho họ một chồng bài warm-up và một chồng bài giờ cao điểm. Họ không thuộc lòng định nghĩa nào; họ thấm dần khuôn mẫu. Ví dụ rõ ràng, nhất quán thì họ bắt nhịp nhanh. Một mớ lộn xộn, nửa số bài "warm-up" thật ra là bài cao điểm, thì họ học luôn cái lộn xộn đó.

Phân tích xong các bài là phần chậm đã qua. Sau này thêm vài bài mẫu thì chỉ phân tích những bài đó rồi huấn luyện lại, không phải nghe lại cả thư viện.

Đoán nhãn kèm độ tự tin

Gặp bài mới, model đo theo đúng cách cũ rồi xem bài khớp với từng nhãn tới đâu. Bạn nhận về hai thứ: nhãn gần nhất và độ tự tin, thường ghi bằng phần trăm.

Độ tự tin thấp không phải là máy hỏng. Đó là lúc công cụ chỉ đúng những bài cần tai bạn. Công cụ không có độ tự tin bắt bạn kiểm hết mọi bài, tức là mất luôn lý do dùng nó.

Một bài chẳng giống nhãn nào của bạn, chẳng hạn một bài hip-hop lọt vào thư viện techno, vẫn có một nhãn "gần nhất". Công cụ tốt sẽ đánh dấu những bài lạ như thế thay vì lặng lẽ nhét chúng vào.

Mô hình nhãn cố định và mô hình học nhãn của riêng bạn

AI phân loại nhạc có hai kiểu:

Mô hình cố định ổn nếu bạn chỉ cần thể loại rộng. Phần lớn DJ cần chia kỹ hơn mức mọi danh sách có sẵn: warm-up với peak, một dòng nhạc địa phương như Vinahouse, thư mục "tối thứ Sáu trên sân thượng". Chỉ mô hình học từ bài mẫu của bạn mới theo kịp những thứ đó.

Chạy trên máy hay tải lên mây

Phân tích diễn ra ở đâu quan trọng hơn bạn nghĩ:

• Riêng tư. Công cụ trên mây cần nhạc của bạn, hoặc dữ liệu rút ra từ nhạc, nằm trên máy chủ của người khác. Công cụ chạy trên máy không gửi nhạc đi đâu cả.
• Dung lượng tải lên. Thư viện của DJ thường lên tới hàng trăm GB. Tải chừng đó lên bằng mạng gia đình có thể mất vài ngày.
• Dùng khi không có mạng. Công cụ chạy trên máy vẫn làm việc trên máy bay hay trong booth sóng Wi-Fi chập chờn.
• Tốc độ. Phân tích trên máy phụ thuộc cấu hình máy, lượt đầu với thư viện lớn sẽ mất một lúc. Sau đó nhạc mới về thì nhanh.

Giới hạn thật của AI gắn nhãn nhạc

AI phân loại nhanh và không bao giờ mỏi tai, nhưng nó không phải phép màu. Nên biết nó hụt ở đâu:

• Bài mẫu không nhất quán thì kết quả cũng không nhất quán. Nếu nhiều năm qua bạn xếp những bài giống nhau vào các thư mục khác nhau, model học luôn mâu thuẫn đó và hay nhầm các nhãn ấy. Phần lớn lúc "AI dở quá" thật ra là lúc "bài mẫu tự cãi nhau".
• Quá ít bài mẫu. Hai ba bài mỗi nhãn đủ để chạy thử, chưa đủ để đoán tốt. Khoảng 100 bài đúng chất mỗi nhãn là mức đáng nhắm tới.
• Nó chỉ nghe âm thanh. Nhãn dựa vào nghệ sĩ, năm phát hành, hãng đĩa hay ý nghĩa lời bài hát thì không học được từ âm thanh.
• Nhãn chỉ có một nghệ sĩ. Nếu mọi bài mẫu của một nhãn đều của một producer, model có thể học chất riêng của producer đó thay vì phong cách.
• Bài lưng chừng vẫn lưng chừng. Bài nửa nhãn này nửa nhãn kia sẽ có độ tự tin vừa phải. Đó là hành vi đúng, không phải lỗi.

Cách kiểm tra và cải thiện kết quả

1. Đọc báo cáo sau khi huấn luyện. Báo cáo cho biết nhãn nào được nhận ra tốt, nhãn nào hay bị nhầm với nhau.
2. Tìm bài mẫu nằm nhầm thư mục. Xem những bài mẫu có nhãn máy đoán khác thư mục của nó. Nhiều khi đó là bài bạn xếp nhầm từ mấy năm trước.
3. Sửa bài mẫu, đừng chỉ sửa nhãn máy đoán. Chuyển bài xếp nhầm, thêm bài cho nhãn yếu, bỏ bớt bài lưng chừng.
4. Huấn luyện lại. Một hai lượt dọn như vậy thường tạo khác biệt rõ.
5. Duyệt nhạc mới theo độ tự tin. Nghe những bài độ tự tin thấp nhất trước, bài máy chắc thì để yên.

Câu hỏi thường gặp

AI phân loại nhạc có đọc tag hay tên file không?

Không, nếu nó phân tích âm thanh. Nó giải mã âm thanh rồi đo, nên tag sai hay trống cũng không đổi kết quả. Đó là lợi thế lớn nhất so với lọc theo tag thể loại.

Mỗi nhãn cần bao nhiêu bài mẫu?

Vài bài mỗi nhãn là bắt đầu được, nhưng kết quả đáng tin khi có khoảng 100 bài đúng chất mỗi nhãn. Chất lượng quan trọng ngang số lượng: 60 bài mẫu nhất quán hơn hẳn 200 bài lẫn lộn.

Dùng AI gắn nhãn thì nhạc có bị tải lên mạng không?

Tùy công cụ. Dịch vụ trên mây phải nhận nhạc hoặc dữ liệu về nhạc của bạn. Ứng dụng máy tính phân tích ngay trên máy, như Taxonomy DJ, giữ mọi thứ trên máy bạn.

AI có phân loại nhạc theo cảm xúc được không, hay chỉ theo thể loại?

Được, nếu nó học nhãn của bạn. Cảm xúc cũng là một nhãn như mọi nhãn khác, miễn là các bài trong nhãn đó nghe khác rõ so với các nhãn còn lại. Xem cách phân loại nhạc theo cảm xúc và năng lượng.

Vì sao AI đoán khác với cách tôi chia thư mục?

Thường là một trong ba lý do: bài đó thật sự lưng chừng giữa hai nhãn, bài nằm nhầm thư mục, hoặc hai nhãn của bạn nghe quá giống nhau để tách bằng âm thanh. Báo cáo sau khi huấn luyện và những bài có nhãn máy đoán khác thư mục sẽ cho bạn biết là lý do nào.

Làm nhanh với Taxonomy DJ

Phân loại nhạc tự động của Taxonomy DJ thuộc kiểu học nhãn của bạn, và chạy hoàn toàn trên máy bạn:

1. Ở tab Huấn luyện, bấm Thêm nhãn, đặt tên rồi chọn thư mục bài mẫu, hoặc bấm Dò từ thư mục cha để thêm cả bộ một lần. Ứng dụng tự phân tích, huấn luyện rồi mở Báo cáo model; phần NHẬN ĐỊNH cho biết nhãn nào được nhận diện tốt, nhãn nào cần thêm bài.
2. Bấm Lọc nhanh ▸ Máy đoán khác nhãn để tìm bài mẫu có thể nằm nhầm thư mục. Đổi nhãn ở đây thì file tự chuyển sang thư mục của nhãn mới; tắt được ở Cài đặt ▸ Nhãn.
3. Ở tab Kho nhạc, bấm Thêm thư mục nhạc, chọn Phân tích toàn diện rồi bấm Quét. Mỗi bài có nhãn kèm % Độ tự tin, khoảng 100 bài một phút tùy cấu hình máy.
4. Bấm Lọc nhanh ▸ Cần nghe lại để xem các bài độ tự tin dưới 50% (chỉnh được ở Cài đặt ▸ Nhãn), nghe rồi sửa nhãn bằng phím 1–9.

Nhãn bạn sửa ở tab Kho nhạc không dùng để huấn luyện. Muốn máy học thêm, hãy đưa bài vào thư mục nhãn rồi chọn Phân tích ▸ Quét lại file mới; ứng dụng tự huấn luyện lại. Muốn chia sẻ một nhãn với DJ khác, bấm chuột phải lên nhãn ở tab Huấn luyện ▸ Xuất gói nhãn: một file .tdlabel chứa kết quả phân tích, không chứa nhạc.

Huấn luyện và gán nhãn tự động cần gói Premium, và nhạc không bao giờ rời khỏi máy bạn.

Đọc tiếp: cách phân loại nhạc tự động không cần nghe từng bài và cách phân loại nhạc theo cảm xúc và năng lượng.