音乐数据集汇总

栏目: 数据库 · 发布时间: 5年前

内容简介:接下来会研究一下音乐推荐系统,需要数据来进行算法及工程代码的演示,遂汇总一下网上开源的音乐数据集。说到音乐数据集第一位肯定是MSD,它包含了100万首歌曲的信息,总量有280GB大小。由于数据量的确较大,它使用了h5的文件压缩格式,并提供了一些每首歌对应一个文件,字段包括歌曲的方方面面,如

接下来会研究一下音乐推荐系统,需要数据来进行算法及工程代码的演示,遂汇总一下网上开源的音乐数据集。

Million Song Dataset

说到音乐数据集第一位肯定是MSD,它包含了100万首歌曲的信息,总量有280GB大小。由于数据量的确较大,它使用了h5的文件压缩格式,并提供了一些 code 用于读这种文件。

每首歌对应一个文件,字段包括歌曲的方方面面,如 artist_mbidartist_nametitletempo 等等,所有字段在这里列出。 路径是奇怪的,Q&A中解释说,实在无法把所有文件都放到同一个目录下,目录的组织方式为: 某首歌曲所在位置为它的The Echo Nest track IDs的第三、第四、第五位形成的层级目录,比如 MillionSong/data/A/D/H/TRADHRX12903CD3866.h5

此外,在MSD的基础上,社区还贡献了不少补充数据集,方便对MSD做各方面的研究。在首页可以很容易找到它们。

Lastfm数据集

last.fm是一家英国的网络电台和音乐社区,其向发开者提供了丰富的API,于是有很多机构或个人通过调用这些API来生成一些数据集。

1K users (user full listening history)

《推荐系统实战》2.1节介绍到了此数据集,作为有上下文信息的隐性反馈数据集的代表。 它有两个文件,听歌记录与用户信息。 前者为近1000位听众至2009年5月5日为止的所有音乐播放记录与播放时间,以及音乐的title、artist name、musicbrain id等信息。 后者则记录了所有听众的性别、年龄、国家、注册时间的信息。 其中听歌记录的统计数字如下:

  • Total Lines: 19,150,868
  • Unique Users: 992
  • Artists with MBID: 107,528
  • Artists without MBDID: 69,420

360K users (user top artists)

与1K数据集一起出现的还有360K users数据集。 包含user-artist关系信息以及用户信息。 用户信息与1K相同,不过数据量来到了360K,user-artist关系文件的一行为某user听某乐队的次数。 user-artist文件的统计数据如下:

  • Total Lines: 17,559,530
  • Unique Users: 359,347
  • Artists with MBID: 186,642
  • Artists without MBID: 107,373

HetRec 2011

这是2011年HetRec会议发布的 从Last.fm获取的数据集 。 与上两例不同的是它包含有社会好友关系,标签信息。其中文件数目比较多,但各文件列很较少,其中是很明显简单的关联关系,不再赘述。 统计数据如下:

  • 1892 users
  • 17632 artists
  • 12717 好友关系
  • 92834 user-listened artist relations
  • 11946 tags
  • 186479 tag assignments (tas), i.e. tuples [user, tag, artist]

在MSD的首页可以看到此来自Lastfm的数据集(又一个,真的很容易搞乱。),它作为MSD的补充信息,可与其id直接关联。 数据量较大,是下面的样子:

  • 943,347 matched tracks MSD <->Last.fm
  • 505,216 tracks with at least one tag
  • 584,897 tracks with at least one similar track
  • 522,366 unique tags
  • 8,598,630 (track - tag) pairs
  • 56,506,688 (track - similar track) pairs

与MSD一样的奇怪的目录结构,每个歌曲对应一个json文件,长这个样子:

音乐数据集汇总

文件名是 TRAAAAW128F429D538.json 这样的编码可与MSD的某首歌关联起来,图中提供了基本的歌曲、作者信息、标签。 比较独特的是还有Lastfm直接提供的与此歌曲相似的歌曲列表以及相似度值。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

More Effective C++(中文版)

More Effective C++(中文版)

梅耶(Scott Meyers) / 侯捷 / 电子工业出版社 / 2011-1-1 / 59.00元

《More Effective C++:35个改善编程与设计的有效方法(中文版)》是梅耶尔大师Effective三部曲之一。继Effective C++之后,Scott Meyers于1996推出这本《More Effective C++(35个改善编程与设计的有效方法)》“续集”。条款变得比较少,页数倒是多了一些,原因是这次选材比“一集”更高阶,尤其是第5章。Meyers将此章命名为技术(tec......一起来看看 《More Effective C++(中文版)》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具