Lyrics, Music, and Emotions

1. RadaMihalcea Carlo Strapparava University of North Texas FBK-irst EMNLP 2012 Lyrics, Music, and Emotions

2. A Corpus of Music and LyricsAnnotated for Emotions • Corpus內包含100首有名的英文歌曲,檔案格式為MIDI • Hotel California by Eagles,Let it Be by The Beatles… • MIDI(Musical Instrument Digital Interface)是一個工業標準的電子通訊協定 • MIDI不傳送聲音,只傳送音調,音樂強度的資料,音量,顫音,相位等參數的控制訊號,以及設定節奏的時鐘信號並與歌詞同步 • 不使用整個MIDI檔案,只提取出需要的部分

3. 在音樂的部分 在歌詞的部分 在音符的部分 G大調:GABCDEF#G B->B 一度 B->C 二度 B->D 三度 …

4. A Corpus of Music and LyricsAnnotated for Emotions

5. A Corpus of Music and LyricsAnnotated for Emotions • 歌曲情緒標記 • AmazonMechanicalTurk service • 標記的類別分為六類,分數介於0~10分 • ANGER, DISGUST, FEAR, JOY, SADNESS, SURPRISE • 標記者被要求 • 要以作詞家的角度來看,不是以自己的角度 • 能夠解釋歌詞的意義 • 每一行歌詞都要標記六個類別的分數

6. A Corpus of Music and LyricsAnnotated for Emotions • 為了避免spamming影響標記的品質, 以下列兩個方法解決 • 在歌詞中加入假的歌詞 • 例如:”Please enter 7 for each of the six emotions” • 計算標記者與其他標記者間的Pearson correlation, 如果低於0.4就不使用

8. A Corpus of Music and LyricsAnnotated for Emotions 每一首歌曲作10次標記 經過spamming移除後 每首歌剩下2~5個標記 整體標記的correlation 係數為0.73

9. Experiments and Evaluation • Experiments分為三組 • textual features • musical features • textual和musicalfeatures • Evaluation • Gold standard和分類器預測之間的Pearson correlation • 實驗使用linear regression(Weka machine learning toolkit)和Ten-fold cross-validation執行

10. Experiments and Evaluation - Feature • Textual Features - Unigramfeatures(bag of word) • 先建一個詞彙表包含training set內所有出現過的單字(包含stop word), 將次數少於10次的單字去除, 剩下的單字當作unigram features

11. Experiments and Evaluation - Feature • Textual Features - Lexiconfeatures(semantic class) • 利用LIWC(Linguistic Inquiry and Word Count)和 WA(WordNet Affect) • LIWC:包含約2200個單字,70個與心理歷程有關的類別 • WA:利用wordnet內情緒詞的synset所建成

12. Experiments and Evaluation - Feature • Musical Features - Notes • 音符是用來表示一個聲音的音高和長短,以前七個大寫英文字母表示 (G-A-B-C-D-E-F) • 在聲音的部分有升記號#和降記號♭,表示升半音或降半音 • 在長短的部分有全音符,八分音符… • Musical Features - Key • Key是用來表示一首歌曲所使用的和絃或者音高集合, 例如C-major, F#, C-minor

13. Evaluation – Textual & Musical feature 效果較好

14. Evaluation – Joint Textual & Musical

15. Discussion • Textual features和Musical features雖然都有用的,但是Textual features的效果較好 • 在實驗結果中,效能提升最多的三個類別分別為JOY, SADNESS, ANGER • 前兩者的提升是因為corpus中, 這兩類的歌詞較多 • 但ANGER與前兩者相比,corpus中的歌詞相對少,卻出乎意料的提升很多

16. Discussion-Feature ablation

17. Discussion-Coarse-grained classification • 將原本的task轉換成binary classification • Support vector machine(SVM) • Threshold設定為3 • Ten-fold cross-validation • 正確率(accuracy)為10次cross-validation的平均 • Baseline • 每一次的cross-validation,計算Trainingdata內資料量最多的類別的正確率 • 10次正確率的平均值當作baseline

18. Discussion-Coarse-grained classification

19. Discussion-Comparison to previous work • 因為先前沒有類似的task,沒有辦法直接做比較 • 挑選對1000則新聞頭條作情緒分類的task來做比較(分成相同的六類)

20. Discussion-Comparison to previous work

21. Conclusion • textual features和musicalfeatures對於歌曲的情緒分類上是有用的,而兩者都使用的效能是最好的