2019年精选深度学习与机器学习项目展示

随着神经网络架构、深度学习及机器学习研究的迅速发展，加上硬件和软件资源的不断丰富，机器学习项目正以前所未有的速度涌现。从AI生成的艺术作品到实时跟踪人类运动的应用，我们精选了一些最有趣的深度学习项目，并提供了直观的视觉展示。

尽管还有更多优秀的机器学习项目，但这些精选案例旨在展示2019年研究人员、从业人员及艺术家在机器学习和深度学习领域的创新成果。许多项目利用生成对抗网络（GAN）创造视觉上引人注目的演示，这种技术不仅具备出色的视觉效果，还能广泛应用于实际场景。

1. WikiArt：风格迁移+StyleGAN

Gene Kogan的项目展示了如何将风格迁移与StyleGAN结合使用。项目中的GAN部分采用了英伟达的代码库进行开发。

项目链接：https://github.com/genekogan/progressivegrowingof_gans

2. Unity 3D姿态估计

Yukihiko Aoyagi将3D姿态估计与Unity这样的渲染引擎相结合，创建了一个迷人的增强现实（AR）项目。该项目目前仅支持单人姿态估计。

项目链接：https://github.com/yukihiko/ThreeDPoseUnitySample

3. 建筑机器翻译

Erik Swahn的项目将视频帧作为输入，生成古代主义建筑效果图。尽管无法找到完整的源代码，但如果你有相关信息，欢迎留言分享。

项目链接：https://github.com/memo/webcam-pix2pix-tensorflow

4. 从图像和视频中删除汽车

Chris Harris的项目通过车辆检测网络覆盖行驶和停放的车辆，并添加AR模糊效果。详细信息参见：

项目链接：http://harrischris.com/article/biophillic-vision-experiment-1

5. 用GAN将图像转换至看不见的域

刘明宇（英伟达）的研究团队受人类在大量实例中获取新对象本质的能力启发，提出了一种快速生成图像到图像转换的新算法。

项目链接：https://nvlabs.github.io/FUNIT/

论文链接：https://arxiv.org/abs/1905.01723

6. Infinite Patterns

Alex Mordintsev在Google工作，是DeepDream程序的开发者。DeepDream利用神经网络在图像中查找和创建图案，效果如梦境般梦幻。

项目链接：https://experiments.withgoogle.com/infinitepatterns

7. 用单个图像进行全3D试穿

Angjoo Kanazawa的项目提出了“像素对齐隐式函数（PIFu）”，这是一种高效表示方法，能够将2D图像的像素与3D对象的全局上下文部分对齐。

项目链接：https://shunsukesaito.github.io/PIFu/

论文链接：https://arxiv.org/abs/1905.05172

8. GAN与像素艺术结合

Max Braun的项目结合了GAN特性和eBoy数据集，eBoy团队创作了可重复使用的像素对象，并用于制作艺术品和玩具。

项目链接：https://github.com/maxbbraun/eboygan

Colab笔记本链接：https://heartbeat.fritz.ai/2019s-awesome-machine-learning-projects-with-visual-demos-e74d7d347c2

9. 轨迹预测

该项目由卡内基·梅隆大学、谷歌AI和斯坦福大学联合研发，Deeplearning.ai发布了研究成果。它展示了预测人们将要移动的位置的趣味性。

论文链接：https://arxiv.org/abs/1902.03748

10. AR作为进入数字世界的镜头

一个令人惊叹的项目，利用增强现实技术将数字世界与现实世界中的物体融合在一起。

11. 学习遗忘一张脸的模型

Joseph Reisinger的项目展示了神经网络不仅可以生成新的逼真人物和图像，还可以逐渐解构肖像。

12. 用TensorFlow.js进行身体部位分割

Google团队的项目展示了实时运动跟踪，通过图像分割技术实现。TensorFlow Lite具备GPU加速功能。

项目链接：https://shusuke.ai/pifuhd/

13. 用姿态估计将自己变成3D角色

青绘的项目结合了姿态估计和AR技术，可以将用户转换成3D角色。该项目最令人印象深刻的是动作跟踪的准确性和3D角色的生成效果。

项目链接：https://github.com/keijiro/KinoGlitch

14. 用对象检测追踪垃圾及其他人行道障碍物

Paula Piccard的项目展示了检测垃圾的方法，包括相机移动速度和即时检测。这种应用程序可能会改变我们对“智慧城市”的看法。

项目链接：https://github.com/cloud-annotations/training

15. 用GAN生成逼真的风景

Kevin Lim的项目展示了如何将粗糙的风景画生成逼真的景观，这种应用让人感觉像是艺术家。

项目链接：https://github.com/kevinlim123/GAN-Landscape

16. 神经网络时间流逝（GAN）

该项目展示了如何通过GAN将原始图像转化为逼真的图像，效果令人惊叹。

项目链接：https://github.com/SpirosMargaris/neural-network-time-lapse

17. 用单个图像进行逆场景渲染

Will Smith的项目展示了如何从单个图像中逆向渲染，生成逼真的场景。

代码链接：https://github.com/YeeU/InverseRenderNet

论文链接：https://arxiv.org/abs/1811.12328

18. ARKit 3中的身体分割与粒子效果

Laan Labs的项目展示了如何将AR效果与深度学习技术结合起来。该团队在人体分割模型上使用了溶解粒子效果。

项目链接：https://github.com/google/mediapipe

19. YOLO实时手指检测

Andrew Mendez的项目展示了在iOS平台上实现的手指检测，具有实时效果。

项目链接：https://github.com/AndrewMendez/yolo-hand-tracking

20. 用GPT-2在移动应用中生成文本

Hugging Face的研究人员展示了如何将强大的语言模型嵌入到移动设备中，用于文本生成和自动完成。

项目链接：https://transformer.huggingface.co/

21. 重量无关的神经网络

hardmaru的项目探讨了神经网络架构在解决任务中的重要性，而不是权重参数。

项目链接：https://weightagnostic.github.io/

论文链接：https://arxiv.org/abs/1906.04358

22. MediaPipe：结合深度学习和传统CV流程的框架

Dimitri Diakopoulos，Google AI的项目展示了MediaPipe框架如何将传统的计算机视觉任务与深度学习模型结合，创造出更加沉浸式和响应式的AR体验。

项目链接：https://github.com/google/mediapipe

23. 全3D姿态估计：身体、手和脸部

CMU和HCI Research团队的项目首次实现了从单眼视图输入捕捉全身3D运动。

项目链接：http://domedb.perception.cs.cmu.edu/monototalcapture.html

代码链接：https://github.com/CMU-Perceptual-Computing-Lab/MonocularTotalCapture

24. 内衣检测器

Nick Bourdakos的项目展示了如何利用机器学习技术对用户生成内容进行过滤，这是一种非常实用的应用程序。

项目链接：https://github.com/cloud-annotations/training

25. BERT，完全在设备上运行

Hugging Face的研究人员展示了如何将强大的语言模型部署到移动设备上。

项目链接：https://github.com/huggingface/swift-coreml-transformers

26. “尘封的历史”：集体记忆

Refik Anadol的项目展示了如何从历史照片数据集中生成图像，将集体记忆与现实世界艺术地结合。

项目链接：http://www.k-blogg.se/2019/09/12/latent-history-a-machine-dreams-of-a-stockholm-that-never-was/

27. 用蒙版和图像修补去掉自拍照中的手机

Abhishek Singh的项目展示了如何用分割模型对手机进行分类，并通过蒙版和图像修补去除手机。

项目链接：https://github.com/shekit/mirror-selfie

28. 用DVD-GAN生成整个视频

Aidan Clark、Jeff Donahue和Karen Simonyan的项目展示了如何生成复杂的高质量视频。

论文链接：https://arxiv.org/abs/1907.06571

29. 在BigGAN的潜在空间中搜索先前生成的图像

Mario Klingemann的项目展示了如何在GAN的潜在空间中搜索和生成图像。

项目链接：https://www.monkeyoverflow.com/#/hologan-unsupervised-learning-of-3d-representations-from-natural-images/

30. 用神经修补从运动中抹掉目标对象

Abhishek Singh的项目展示了如何用MaskRCNN识别和分割对象，然后使用边缘连接模型填补缺失的像素。

项目链接：https://github.com/shekit/ghost

31. HoloGAN：学习对象的几何表示

Thu Nguyen-Phuoc的项目展示了如何从单视图2D图像生成3D表示。

项目链接：https://www.monkeyoverflow.com/#/hologan-unsupervised-learning-of-3d-representations-from-natural-images/

32. 使用姿态估计自动更改阅读器中的文本大小

Olesya Chenyavskaya的项目展示了如何实时调整阅读器窗口中的文本大小，以便用户更方便地查看屏幕。

项目链接：https://glitch.com/~make-me-big

33. “城市健身房”：具有神经网络的模拟城市

Sam Earle的项目展示了如何使用强化学习创建各种规模的城市规划型体育馆环境。

项目链接：https://github.com/smearle/gym-city

34. 用GAN和单个参考图像进行运动方式迁移

SVIP实验室的项目展示了如何使用GAN和单个参考图像进行运动方式迁移。

项目链接：https://svip-lab.github.io/project/impersonator.html

代码链接：https://github.com/svip-lab/impersonator

35. 19笔完成一幅肖像画

Yaroslav Ganin、DeepMind AI的项目让用户只需19笔即可从CelebA-HQ数据集中生成图像。

模型链接：https://tfhub.dev/deepmind/spiral/default-fluid-gansn-celebahq64-gen-19steps/1

代码链接：https://github.com/deepmind/spiral

36. 拍摄人像后重新打光

Hao Zhou、Sunil Hadap、Kaylan Sunkavili和David Jacobs的项目展示了如何为光线不足的照片自动定位特定的照明。

项目链接：https://zhhoper.github.io/dpr.html

代码链接：https://github.com/zhhoper/DPR

37. 万圣节即将到来……Jack-o-GANterns

Michael Friesen的项目展示了如何使用GAN创建有趣的万圣节主题图像。

这些精选的深度学习和机器学习项目不仅展示了技术的创新和多样性，也为我们带来了前所未有的视觉体验。希望这些项目能激发更多的创意和技术进步。