内容简介:图像风格迁移是指,将一幅内容图的内容,和一幅或多幅风格图的风格融合在一起,从而生成一些有意思的图片以下是将一些艺术作品的风格,迁移到一张内容图之后的效果我们使用
图像风格迁移是指,将一幅内容图的内容,和一幅或多幅风格图的风格融合在一起,从而生成一些有意思的图片
以下是将一些艺术作品的风格,迁移到一张内容图之后的效果
我们使用 TensorFlow
和 Keras
分别来实现图像风格迁移,主要用到深度学习中的卷积神经网络,即CNN
准备
安装包
pip install numpy scipy tensorflow keras 复制代码
再准备一些风格图片,和一张内容图片
原理
为了将风格图的风格和内容图的内容进行融合,所生成的图片,在内容上应当尽可能接近内容图,在风格上应当尽可能接近风格图
因此需要定义 内容损失函数 和 风格损失函数 ,经过加权后作为总的损失函数
实现步骤如下
- 随机产生一张图片
- 在每轮迭代中,根据总的损失函数,调整图片的像素值
- 经过多轮迭代,得到优化后的图片
内容损失函数
两张图片在内容上相似,不能仅仅靠简单的纯像素比较
CNN具有抽象和理解图像的能力,因此可以考虑将各个卷积层的输出作为图像的内容
以 VGG19
为例,其中包括了多个卷积层、池化层,以及最后的全连接层
这里我们使用 conv4_2
的输出作为图像的内容表示,定义内容损失函数如下
L_{content}(\vec{p},\vec{x},l)=\frac{1}{2}\sum_{i,j}{(F_{ij}^{l}-P_{ij}^{l})}^2 复制代码
风格损失函数
风格是一个很难说清楚的概念,可能是笔触、纹理、结构、布局、用色等等
这里我们使用卷积层各个特征图之间的互相关作为图像的风格,以 conv1_1
为例
Gram
Gram
矩阵的计算如下,如果有64个特征图,那么 Gram
矩阵的大小便是 64*64
,第 i
行第 j
列的值表示第 i
个特征图和第 j
个特征图之间的互相关,用内积计算
G_{ij}^l=\sum_k{F_{ik}^l F_{jk}^l} 复制代码
风格损失函数定义如下,对多个卷积层的风格表示差异进行加权
E_l=\frac{1}{4N_l^2 M_l^2}\sum_{i,j}(G_{ij}^l-A_{ij}^l)^2 L_{style}(\vec{a},\vec{x})=\sum_{l=0}^{L}\omega_l E_l 复制代码
这里我们使用 conv1_1
、 conv2_1
、 conv3_1
、 conv4_1
、 conv5_1
五个卷积层,进行风格损失函数的计算,不同的权重会导致不同的迁移效果
总的损失函数
总的损失函数即内容损失函数和风格损失函数的加权,不同的权重会导致不同的迁移效果
L_{total}(\vec{p},\vec{a},\vec{x})=\alpha L_{content}(\vec{p},\vec{x})+\beta L_{style}(\vec{a},\vec{x}) 复制代码
TensorFlow实现
加载库
# -*- coding: utf-8 -*- import tensorflow as tf import numpy as np import scipy.io import scipy.misc import os import time def the_current_time(): print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(time.time())))) 复制代码
定义一些变量
CONTENT_IMG = 'content.jpg' STYLE_IMG = 'style5.jpg' OUTPUT_DIR = 'neural_style_transfer_tensorflow/' if not os.path.exists(OUTPUT_DIR): os.mkdir(OUTPUT_DIR) IMAGE_W = 800 IMAGE_H = 600 COLOR_C = 3 NOISE_RATIO = 0.7 BETA = 5 ALPHA = 100 VGG_MODEL = 'imagenet-vgg-verydeep-19.mat' MEAN_VALUES = np.array([123.68, 116.779, 103.939]).reshape((1, 1, 1, 3)) 复制代码
加载 VGG19
模型
def load_vgg_model(path): ''' Details of the VGG19 model: - 0 is conv1_1 (3, 3, 3, 64) - 1 is relu - 2 is conv1_2 (3, 3, 64, 64) - 3 is relu - 4 is maxpool - 5 is conv2_1 (3, 3, 64, 128) - 6 is relu - 7 is conv2_2 (3, 3, 128, 128) - 8 is relu - 9 is maxpool - 10 is conv3_1 (3, 3, 128, 256) - 11 is relu - 12 is conv3_2 (3, 3, 256, 256) - 13 is relu - 14 is conv3_3 (3, 3, 256, 256) - 15 is relu - 16 is conv3_4 (3, 3, 256, 256) - 17 is relu - 18 is maxpool - 19 is conv4_1 (3, 3, 256, 512) - 20 is relu - 21 is conv4_2 (3, 3, 512, 512) - 22 is relu - 23 is conv4_3 (3, 3, 512, 512) - 24 is relu - 25 is conv4_4 (3, 3, 512, 512) - 26 is relu - 27 is maxpool - 28 is conv5_1 (3, 3, 512, 512) - 29 is relu - 30 is conv5_2 (3, 3, 512, 512) - 31 is relu - 32 is conv5_3 (3, 3, 512, 512) - 33 is relu - 34 is conv5_4 (3, 3, 512, 512) - 35 is relu - 36 is maxpool - 37 is fullyconnected (7, 7, 512, 4096) - 38 is relu - 39 is fullyconnected (1, 1, 4096, 4096) - 40 is relu - 41 is fullyconnected (1, 1, 4096, 1000) - 42 is softmax ''' vgg = scipy.io.loadmat(path) vgg_layers = vgg['layers'] def _weights(layer, expected_layer_name): W = vgg_layers[0][layer][0][0][2][0][0] b = vgg_layers[0][layer][0][0][2][0][1] layer_name = vgg_layers[0][layer][0][0][0][0] assert layer_name == expected_layer_name return W, b def _conv2d_relu(prev_layer, layer, layer_name): W, b = _weights(layer, layer_name) W = tf.constant(W) b = tf.constant(np.reshape(b, (b.size))) return tf.nn.relu(tf.nn.conv2d(prev_layer, filter=W, strides=[1, 1, 1, 1], padding='SAME') + b) def _avgpool(prev_layer): return tf.nn.avg_pool(prev_layer, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') graph = {} graph['input'] = tf.Variable(np.zeros((1, IMAGE_H, IMAGE_W, COLOR_C)), dtype='float32') graph['conv1_1'] = _conv2d_relu(graph['input'], 0, 'conv1_1') graph['conv1_2'] = _conv2d_relu(graph['conv1_1'], 2, 'conv1_2') graph['avgpool1'] = _avgpool(graph['conv1_2']) graph['conv2_1'] = _conv2d_relu(graph['avgpool1'], 5, 'conv2_1') graph['conv2_2'] = _conv2d_relu(graph['conv2_1'], 7, 'conv2_2') graph['avgpool2'] = _avgpool(graph['conv2_2']) graph['conv3_1'] = _conv2d_relu(graph['avgpool2'], 10, 'conv3_1') graph['conv3_2'] = _conv2d_relu(graph['conv3_1'], 12, 'conv3_2') graph['conv3_3'] = _conv2d_relu(graph['conv3_2'], 14, 'conv3_3') graph['conv3_4'] = _conv2d_relu(graph['conv3_3'], 16, 'conv3_4') graph['avgpool3'] = _avgpool(graph['conv3_4']) graph['conv4_1'] = _conv2d_relu(graph['avgpool3'], 19, 'conv4_1') graph['conv4_2'] = _conv2d_relu(graph['conv4_1'], 21, 'conv4_2') graph['conv4_3'] = _conv2d_relu(graph['conv4_2'], 23, 'conv4_3') graph['conv4_4'] = _conv2d_relu(graph['conv4_3'], 25, 'conv4_4') graph['avgpool4'] = _avgpool(graph['conv4_4']) graph['conv5_1'] = _conv2d_relu(graph['avgpool4'], 28, 'conv5_1') graph['conv5_2'] = _conv2d_relu(graph['conv5_1'], 30, 'conv5_2') graph['conv5_3'] = _conv2d_relu(graph['conv5_2'], 32, 'conv5_3') graph['conv5_4'] = _conv2d_relu(graph['conv5_3'], 34, 'conv5_4') graph['avgpool5'] = _avgpool(graph['conv5_4']) return graph 复制代码
内容损失函数
def content_loss_func(sess, model): def _content_loss(p, x): N = p.shape[3] M = p.shape[1] * p.shape[2] return (1 / (4 * N * M)) * tf.reduce_sum(tf.pow(x - p, 2)) return _content_loss(sess.run(model['conv4_2']), model['conv4_2']) 复制代码
风格损失函数
STYLE_LAYERS = [('conv1_1', 0.5), ('conv2_1', 1.0), ('conv3_1', 1.5), ('conv4_1', 3.0), ('conv5_1', 4.0)] def style_loss_func(sess, model): def _gram_matrix(F, N, M): Ft = tf.reshape(F, (M, N)) return tf.matmul(tf.transpose(Ft), Ft) def _style_loss(a, x): N = a.shape[3] M = a.shape[1] * a.shape[2] A = _gram_matrix(a, N, M) G = _gram_matrix(x, N, M) return (1 / (4 * N ** 2 * M ** 2)) * tf.reduce_sum(tf.pow(G - A, 2)) return sum([_style_loss(sess.run(model[layer_name]), model[layer_name]) * w for layer_name, w in STYLE_LAYERS]) 复制代码
随机产生一张初始图片
def generate_noise_image(content_image, noise_ratio=NOISE_RATIO): noise_image = np.random.uniform(-20, 20, (1, IMAGE_H, IMAGE_W, COLOR_C)).astype('float32') input_image = noise_image * noise_ratio + content_image * (1 - noise_ratio) return input_image 复制代码
加载图片
def load_image(path): image = scipy.misc.imread(path) image = scipy.misc.imresize(image, (IMAGE_H, IMAGE_W)) image = np.reshape(image, ((1, ) + image.shape)) image = image - MEAN_VALUES return image 复制代码
保存图片
def save_image(path, image): image = image + MEAN_VALUES image = image[0] image = np.clip(image, 0, 255).astype('uint8') scipy.misc.imsave(path, image) 复制代码
调用以上函数并训练模型
the_current_time() with tf.Session() as sess: content_image = load_image(CONTENT_IMG) style_image = load_image(STYLE_IMG) model = load_vgg_model(VGG_MODEL) input_image = generate_noise_image(content_image) sess.run(tf.global_variables_initializer()) sess.run(model['input'].assign(content_image)) content_loss = content_loss_func(sess, model) sess.run(model['input'].assign(style_image)) style_loss = style_loss_func(sess, model) total_loss = BETA * content_loss + ALPHA * style_loss optimizer = tf.train.AdamOptimizer(2.0) train = optimizer.minimize(total_loss) sess.run(tf.global_variables_initializer()) sess.run(model['input'].assign(input_image)) ITERATIONS = 2000 for i in range(ITERATIONS): sess.run(train) if i % 100 == 0: output_image = sess.run(model['input']) the_current_time() print('Iteration %d' % i) print('Cost: ', sess.run(total_loss)) save_image(os.path.join(OUTPUT_DIR, 'output_%d.jpg' % i), output_image) 复制代码
在GPU上跑,花了5分钟左右,2000轮迭代后是这个样子
对比原图
Keras实现
Keras官方提供了图像风格迁移的例子
代码里引入了一个 total variation loss
,翻译为全变差正则,据说可以让生成的图像更平滑
conv5_2
代码使用方法如下
python neural_style_transfer.py path_to_your_base_image.jpg path_to_your_reference.jpg prefix_for_results 复制代码
--iter --content_weight --style_weight --tv_weight
新建文件夹 neural_style_transfer_keras
python main_keras.py content.jpg style5.jpg neural_style_transfer_keras/output 复制代码
生成的图片长这样,10次迭代,花了1分钟左右
以上所述就是小编给大家介绍的《深度有趣 | 04 图像风格迁移》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 综述论文:四大类深度迁移学习
- 深度有趣 | 30 快速图像风格迁移
- 深度卷积网络迁移学习的脸部表情识别
- 基于深度迁移学习进行时间序列分类
- 深度学习应用:iOS 上的图像风格迁移
- 迁移学习的魔法:任何人都将能使用深度学习
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
网站转换率优化之道
[美] Khalid Saleh、[美] Ayat Shukairy / 顾 毅 / 人民邮电出版社 / 2012-4 / 45.00元
内容简介: 怎样才能将访问者转化为顾客? 本书提供了一些切实可行的建议,比如如何说服访问者作出购买决定,如何避免用户因信息过量或导航繁琐而离开网站等。不论你是在设计或营销大型电子商务网站,还是在管理中小型在线业务,都可以从本书学会怎样使用市场营销原则、设计方法、可用性原则和分析数据来持续提升网站的转换率。 作者帮助过众多公司吸引在线顾客,有着丰富的实战经验,在书中细致讨论了从访问......一起来看看 《网站转换率优化之道》 这本书的介绍吧!