เปลี่ยนเสียงให้มองเห็น

ที่มาและแนวคิด

โครงการเริ่มจากความต้องการใช้ภาพสเปกตรัมประกอบการศึกษาแนวทำนอง ฮาร์มอนิก เนื้อเสียง และรายละเอียดการประพันธ์และผลิตเสียง โดยได้รับแรงบันดาลใจด้านการแสดงภาพจาก YouTube Musical Spectrum ซึ่งใช้เทคโนโลยี ShowCQT แสดงองค์ประกอบความถี่ร่วมกับชื่อโน้ตดนตรี

โครงการนำกลไกวิเคราะห์เสียงของ showcqt-js มาพัฒนาร่วมกับกระบวนการปรับการแสดงผลและการสร้างไฟล์สำหรับ Sonic Visualiser เพื่อให้ผู้ใช้วิเคราะห์ไฟล์เพลงของตนเองได้สะดวก ลดขั้นตอนการติดตั้งปลั๊กอิน และกลับมาศึกษาผลวิเคราะห์พร้อมเสียงต้นฉบับได้ภายหลัง

ส่วนที่พัฒนาขึ้นในโครงการนี้ประกอบด้วยหน้าเว็บรับไฟล์เสียง กระบวนการจัดเตรียมข้อมูล การปรับความเข้มของภาพ การกำหนดชื่อโน้ตประจำช่องความถี่ และการส่งออกผลเป็นไฟล์เซสชันของ Sonic Visualiser ส่วนกลไก ShowCQT เป็นผลงานของผู้พัฒนาเทคโนโลยีต้นทาง ซึ่งระบุไว้ในส่วนเครดิตและรายการอ้างอิง

จุดประสงค์

1. สนับสนุนการศึกษาแนวทำนองและการเคลื่อนไหวขององค์ประกอบความถี่ควบคู่กับการฟัง
2. ช่วยสังเกตฮาร์มอนิก การกระจายของเสียงในย่านต่าง ๆ และลักษณะการเปลี่ยนแปลงของเนื้อเสียงตามเวลา
3. ใช้เป็นสื่อประกอบการเรียนการสอน การอภิปรายผลงาน และการศึกษาดนตรีสร้างสรรค์
4. อำนวยความสะดวกในการนำผลวิเคราะห์ไปเปิด สำรวจ และบันทึกข้อสังเกตใน Sonic Visualiser

หลักการทำงานและการอ่านภาพ

ระบบใช้ ShowCQT สร้างข้อมูลความถี่ที่จัดเรียงบนสเกลลอการิทึม ซึ่งเหมาะกับการพิจารณาระยะห่างของเสียงดนตรี หลักการ Constant-Q Transform เป็นแนวทางหนึ่งในการจัดการวิเคราะห์ความถี่ให้สัมพันธ์กับโครงสร้างของระดับเสียงทางดนตรี (Brown, 1991)

อัตราสุ่มของเสียงที่ใช้วิเคราะห์

44,100 ตัวอย่างต่อวินาที

ช่องความถี่

960 ช่อง ครอบคลุมประมาณ 20–20,500 Hz

ข้อมูลตามเวลา

60 เฟรมต่อวินาที

ชื่อโน้ตบนแกน

ชื่อโน้ตและค่า cents ของขีดบนที่ลูกศร ↑ ชี้ อ้างอิง 12 ครึ่งเสียงเท่ากันต่ออ็อกเทฟ และ A4 = 440 Hz

สีและความสว่าง

ค่าความเข้มที่ผ่านการปรับเพื่อช่วยอ่านภาพ

ในภาพ แกนนอนแสดงเวลา ส่วนแกนตั้งแสดงความถี่จากต่ำไปสูง ป้าย ↑ บอกความถี่ของขีดบนด้วยชื่อโน้ตและส่วนต่างเป็น cents ป้ายนี้เป็นค่าของแกนอ้างอิง ไม่ใช่ผลตรวจจับโน้ตจากเสียง เส้นหรือแถบสีอาจเกิดจากความถี่มูลฐาน ฮาร์มอนิก หรือองค์ประกอบอื่นของเสียง จึงควรพิจารณาร่วมกับการฟังและบริบททางดนตรี

เวอร์ชัน v2 ปรับวิธีแปลงความเข้มเป็นภาพ เพื่อลดการแบนของยอดสัญญาณเมื่อเสียงดัง และรักษาตำแหน่งยอดความถี่ให้อ่านสัมพันธ์กับชื่อโน้ตได้ดีขึ้น

รุ่น v2.1 แก้ความกำกวมของป้ายชื่อบนแกน เมื่อ Sonic Visualiser ข้ามป้ายบางช่องและจัดข้อความไว้กลางช่วงรวม โดยให้แต่ละป้ายระบุขีดบนอย่างชัดเจน ข้อมูลความถี่และความเข้มยังใช้วิธีเดียวกับ v2 ไฟล์รุ่นเก่าต้องสร้างใหม่จึงจะได้ป้ายรูปแบบนี้

ขอบเขตการใช้งานและการตรวจสอบ

การตรวจสอบภายในโครงการใช้เสียงไซน์ที่ตรงกับโน้ต 120 ระดับ ตั้งแต่ MIDI 16–135 ที่ระดับแอมพลิจูด 5 ค่า รวม 600 กรณี ผลทดสอบพบว่าช่องที่มีค่าความเข้มสูงสุดตรงกับชื่อโน้ตเป้าหมายครบทุกกรณีตามเกณฑ์การทดสอบ สามารถตรวจสอบ วิธีทดสอบในซอร์สโค้ดของโครงการ

ผลดังกล่าวเป็นการตรวจสอบตำแหน่งโน้ตด้วยเสียงสังเคราะห์ภายใต้เงื่อนไขที่กำหนด ความสามารถในการอ่านเสียงดนตรีจริงยังขึ้นอยู่กับความซับซ้อนของเพลง เสียงที่ซ้อนกัน ฮาร์มอนิก และคุณภาพไฟล์ต้นฉบับ

การทดสอบ 600 กรณีตรวจค่าข้อมูลวิเคราะห์ ไม่ได้ยืนยันตำแหน่งตัวอักษรของแกนที่ Sonic Visualiser วาด รุ่น v2.1 จึงเพิ่มการตรวจป้ายขีดอ้างอิง และทดสอบส่งออกภาพจาก Sonic Visualiser ด้วยเสียง G4, G#4 และ A4 ทั้งมุมมองเต็มย่านและซูมเข้า

ความสว่างของภาพเป็นค่าที่ปรับเพื่อการแสดงผล จึงไม่ควรนำไปตีความเป็นระดับความดังหน่วยเดซิเบลโดยตรง และจำนวนช่องความถี่หรือจำนวนเฟรมต่อวินาทีก็ไม่ได้หมายถึงความแม่นยำในการแยกเสียงทุกกรณี ระบบนี้ช่วยสำรวจองค์ประกอบของเสียง โดยการระบุทำนอง คอร์ด หรือชนิดเครื่องดนตรียังต้องอาศัยการตีความประกอบ

สำหรับการใช้งานวิจัย ควรบันทึกชื่อและรุ่นของโปรแกรม รุ่น Sonic Visualiser ไฟล์เสียงที่ใช้ ช่วงเวลาที่ศึกษา และการตั้งค่าการแสดงภาพ เพื่อให้ผู้อื่นสามารถตรวจสอบกระบวนการได้

การจัดการไฟล์และความเป็นส่วนตัว

การถอดรหัสและวิเคราะห์เสียงทำงานภายในเบราว์เซอร์ เว็บแอปไม่ได้ส่งไฟล์เพลงขึ้นเซิร์ฟเวอร์เพื่อประมวลผล ไฟล์ .sv เก็บข้อมูลวิเคราะห์และอ้างอิงไฟล์เสียงตามชื่อ จึงควรเก็บไฟล์ทั้งสองไว้ด้วยกัน ดูขั้นตอนเปิดไฟล์ได้ในหัวข้อวิธีเปิดผลลัพธ์ด้านบน

ผู้พัฒนาและเครดิต

ผู้ริเริ่มและพัฒนาโครงการ: ปองภพ สุกิตติวงศ์
กำหนดแนวคิดและวัตถุประสงค์ทางดนตรี ออกแบบการใช้งาน ปรับการแสดงผล และพัฒนาระบบสร้างไฟล์สำหรับ Sonic Visualiser

คลังซอร์สโค้ด: ajpongpob/Spectrogram-Analysis

• Muhammad Faiz (mfcc64): ผู้พัฒนา showcqt-js และ YouTube Musical Spectrum ซึ่งเป็นกลไกวิเคราะห์เสียงและแหล่งแรงบันดาลใจด้านการแสดงภาพของโครงการ
• Chris Cannam, Christian Landone, Mark Sandler และผู้ร่วมพัฒนา Sonic Visualiser: ผู้พัฒนาโปรแกรมสำหรับเปิด สำรวจ และศึกษาผลวิเคราะห์เสียง
• Judith C. Brown: ผู้เขียนงานวิชาการพื้นฐานเกี่ยวกับ Constant-Q Transform ที่ใช้ประกอบคำอธิบายหลักการวิเคราะห์ความถี่ทางดนตรี

รายละเอียดสิทธิการใช้งานของส่วนประกอบซอฟต์แวร์ให้ตรวจสอบจากไฟล์สัญญาอนุญาตที่แนบมากับแต่ละโครงการ

การอ้างอิงเครื่องมือนี้

หากใช้เครื่องมือนี้ประกอบรายงาน บทความ หรือวิทยานิพนธ์ สามารถอ้างอิงรุ่นการแสดงผลปัจจุบัน v2.1 ตามตัวอย่างต่อไปนี้ ลิงก์อ้างอิงระบุซอร์สโค้ดรุ่นที่ใช้วิเคราะห์โดยเฉพาะ เพื่อให้ตรวจสอบย้อนหลังได้

ปองภพ สุกิตติวงศ์. (2569). Spectrogram Analysis—Musical Detail (รุ่นการแสดงผล v2.1) [เว็บแอปพลิเคชัน]. GitHub. https://github.com/ajpongpob/Spectrogram-Analysis/tree/v2.1

ตัวอย่างข้อความในส่วนวิธีดำเนินการวิจัย (เติมรุ่น Sonic Visualiser ที่ใช้งานจริง):

ผู้วิจัยเตรียมข้อมูลภาพวิเคราะห์เสียงด้วย Spectrogram Analysis—Musical Detail รุ่น v2.1 โดยใช้สเกลความถี่แบบลอการิทึม 960 ช่อง และแกนอ้างอิงชื่อโน้ตพร้อมค่า cents ที่อ้างอิง A4 = 440 Hz จากนั้นเปิดผลวิเคราะห์ใน Sonic Visualiser รุ่น [ระบุรุ่นที่ใช้] เพื่อศึกษาควบคู่กับการฟังไฟล์เสียงต้นฉบับ

หากใช้ Sonic Visualiser และอธิบายกลไก ShowCQT ในงาน ควรอ้างอิงเครื่องมือเหล่านั้นเพิ่มเติมตามส่วนที่นำมาใช้จริง

รายการอ้างอิง

1. Brown, J. C. (1991). Calculation of a constant Q spectral transform. The Journal of the Acoustical Society of America, 89(1), 425–434. https://doi.org/10.1121/1.400476
2. Cannam, C., Landone, C., & Sandler, M. (2010). Sonic Visualiser: An open source application for viewing, analysing, and annotating music audio files. In Proceedings of the 18th ACM international conference on Multimedia (pp. 1467–1468). Association for Computing Machinery. https://doi.org/10.1145/1873951.1874248
3. Faiz, M. (n.d.-a). showcqt-js: ShowCQT (Constant Q Transform) audio visualization [Computer software]. GitHub. https://github.com/mfcc64/showcqt-js
4. Faiz, M. (n.d.-b). YouTube Musical Spectrum [Computer software]. GitHub. https://github.com/mfcc64/youtube-musical-spectrum