DFL0325更新：Xseg简化和新增uhd结构！

“拼命三郎”又进入日更模式了？刚下完24号，25的版本又出现了。人家这么勤劳我也不能懒惰。先给大家发个更新通知。

我总结了下，25号版本主要更新了两项内容。

1. SAEHD模型添加了两种新结构，分别是dfuhd和liaeuhd。

关于这两种结构的官方说法是：

uhd version is lighter than ‘HD’ but heavier than regular version.liaeuhd provides more “src-like” result

翻译一下大概就是：UHD版本比HD要轻（轻量级），比常规版本要重（重量级）。liaeuhd可以生成更新src的结果（应该是相对于liae而言）。

 

下面请看图片对比

liae

liaeuhd

因为HD，UHD和liae目前用的比较少，就不多说了，有时间有设备的可以去研究下这两个结构。

2. 简化了Xseg的流程

前几天写过一篇《DFL新功能详解，一举解决额头和遮挡的问题！》的文章，主要介绍的就是Xseg的使用全过程。

当时涉及到Xseg的脚本大概有7个。

 

325版本中精简为三个脚本。

Xseg的大的使用流程还是一样的。具体使用方法参考我之前的文章，可以立马就用起来了。

 

还有一点就是，325的Xseg编辑器变了，操作和315还有点不一样。更新太快，写文章的速度更不上人家写代码速度…315已经学会的就用315。其实，2019年的620也不差啊，只要适用于自己的应用场景即可。

===========================

具体更新日志：

SAEHD: added ‘dfuhd’ and ‘liaeuhd’ archi

SAEHD: 添加了dfuhd和liaeuhd结构

uhd version is lighter than ‘HD’ but heavier than regular version.

uhd版本比HD更加轻量级，比常规版本更加重量级。

liaeuhd provides more “src-like” result

liaeuhd提供了更加像src的结果

comparison:

比较

liae:    https://i.imgur.com/JEICFwI.jpg

liaeuhd: https://i.imgur.com/ymU7t5E.jpg

added new XSegEditor !

添加新的Xseg编辑器。

here new whole_face + XSeg workflow:

以下为整脸和Xseg的工作流程。

with XSeg model you can train your own mask segmentator for dst(and/or src) faces

使用Xseg模型，你可以自己为Dst脸部训练遮罩分割器

that will be used by the merger for whole_face.

合成的时候会应用。

Instead of using a pretrained segmentator model (which does not exist),

替代了使用预训练遮罩模型的方式（不曾存在过的那种方式，此处是幽默？）

you control which part of faces should be masked.

你可以控制哪一部分应该被遮挡（当然，工作量也大了不少。）

new scripts:

新的脚本。

5.XSeg) data_dst edit masks.bat

5.XSeg) data_src edit masks.bat

5.XSeg) train.bat

Usage:

使用：

unpack dst faceset if packed

数据集如果打包了，请先解压。

run 5.XSeg) data_dst edit masks.bat

运行脚本

Read tooltips on the buttons (en/ru/zn languages are supported)

阅读提示（支持英文，俄语，中文）

mask the face using include or exclude polygon mode.

使用包含和排除的方式标注脸部。

repeat for 50/100 faces,

重复 50到100张脸

!!! you don’t need to mask every frame of dst

无需标注所有帧

only frames where the face is different significantly,

只要关注那些有差异的脸。

for example:

举例

closed eyes

闭眼

changed head direction

改变脸的方向

changed light

改变灯光

the more various faces you mask, the more quality you will get

标注越多，效果越好。

Start masking from the upper left area and follow the clockwise direction.

Keep the same logic of masking for all frames, for example:

the same approximated jaw line of the side faces, where the jaw is not visible

the same hair line

Mask the obstructions using exclude polygon mode.

run XSeg) train.bat

运行脚本

train the model

训练模型

Check the faces of ‘XSeg dst faces’ preview.

查看预览图

if some faces have wrong or glitchy mask, then repeat steps:

如果发现问题，继续以下步骤

run edit

find these glitchy faces and mask them

train further or restart training from scratch

Restart training of XSeg model is only possible by deleting all ‘model\XSeg_*’ files.

只有删除了model\XSeg-*的文件才能重新训练。

If you want to get the mask of the predicted face (XSeg-prd mode) in merger,

如果需要使用predicted face遮罩

you should repeat the same steps for src faceset.

你需要对src数据集重复一样的步骤。

New mask modes available in merger for whole_face:

这个遮罩在合成的时候被应用，仅针对整脸。具体选项如下：

XSeg-prd      – XSeg mask of predicted face    -> faces from src faceset should be labeled

XSeg-dst      – XSeg mask of dst face          -> faces from dst faceset should be labeled

XSeg-prd*XSeg-dst – the smallest area of both

if workspace\model folder contains trained XSeg model, then merger will use it,

如果model目录下包含Xseg模型，则被应用。

otherwise you will get transparent mask by using XSeg-* modes.

否则，您将通过使用XSeg-*模式获得透明掩码。

Some screenshots:

一些截图

XSegEditor: https://i.imgur.com/7Bk4RRV.jpg

trainer   : https://i.imgur.com/NM1Kn3s.jpg

merger    : https://i.imgur.com/glUzFQ8.jpg

example of the fake using 13 segmented dst faces

一个使用segmented的动态图

: https://i.imgur.com/wmvyizU.gifv