如何用图像来生成音乐？新应用告诉你

艺术的发展就是多方面的融合。现在，意大利的交互设计师 Angelo Semeraro 想到让视觉与音乐融合，但和我们在媒体播放器里看到的可视化音乐效果不一样，Semeraro 不打算通过音频数据来生成动画效果，而是反过来通过图像来形成音乐。

为此，他发起名为 Sadly by your side 的 “跨界” 艺术项目，与别人合作，最终成果有一款同名应用，一本书。但在 Semeraro 看来，这款名为 Sadly by your side 的应用，不光是一张电子音乐专辑，还是一种 “联动”（synesthetic）应用。

下载应用然后打开它，会发现它好像当下的摄影应用一样，整个屏幕都变成了电子取景窗口，但不同的是，上面还有灰、红、蓝种颜色色块所组成的拼盘——同时，应用会自动播放内置的曲目（还记得它是一张电子音乐专辑吧？）。当我们把摄像头对着不同的地方，不同色块的面积会相应的增加、减少，结果影响到音乐里不同音乐元素的表现。

通过这种方式，我们就能够控制 Sadly by your side 这张专辑里的曲目是如何表现的了，尽管我们未必具备音乐方面的知识和实践。不得不说，Semeraro 的实验让普通的大众无需唱盘机、监听耳机，也尝试到做 DJ 的滋味。有趣的是，现实世界里的视觉元素非常丰富，这意味着 Sadly by your side 有无限的表现空间，无数的个性化元素，以及无数次参与的机会。

为什么 Semeraro 会想到一个这么有趣的点子？他对《连线》杂志说，“我一开始是在思考如何通过应用来表现音乐，通过移动设备如何增加听觉体验。移动设备让人能够无论何地都能听音乐，因此我认为也许音乐可以通过适应环境，从而给人个性化的听觉体验。“

项目成员音效设计师、音乐制作人 Davide Cairo 提出可以将音乐分成三个部分：节拍、曲调、和声；然后负责视觉体验的 Matteo Di Iorio 和 Claudio Fabbro 则发展出一套视觉语音，将音乐的这三种成分定义为红、蓝、灰三种颜色；最终 Semeraro 梳理这些想法，最终提出开发一个应用，并开发了一套算法来捕捉音乐元素与视觉元素之间的关联。

如果你想知道专辑原本的表现应该是怎么样的，那需要花 13 美元购买他们所设计的书，每一页画上了红、蓝、灰不同比例的色块组合，打开应用然后用摄像头对着它们，就能听到 “原音” 的效果。

Sadly by your side 给人感觉十分前卫，它不光将 CD、Mp3 变为手机应用；还改变了音乐制作的模式，从 DJ 控制，到通过算法与外界的视觉元素来控制，提高人们参与感，让人拥有广阔的实验空间。这让我想起了之前所讨论的 “自动生成艺术”，还有拥有无穷想象力的壁纸应用 Deko。