一舟集团

首页 > 服务支持 > 一舟案例

姚班学霸发布Unique3D模型海外爆火目标剑指4D生成

姚班学霸发布Unique3D模型海外爆火目标剑指4D生成

来源:开云体育官网入口网址    发布时间:2024-06-27 05:38:32 1
  始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。   Unique3D海外出圈,被外网媒体提名为最佳3D生成,由00

  始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。

  Unique3D海外出圈,被外网媒体提名为最佳3D生成,由00后清北团队开发

  最近清华姚班等学弟们搞了个超酷的3D生成模型,名叫Unique3D。模型在github、wisemodel和 Huggingface上已经开源了,一上线就登上了Huggingface的热门模型排行榜,还被旗下官方工具Gradio在海外媒体上提名为“best image-to-3d model”(最佳图片生成3D模型)。模型、代码和demo都已经发布在始智AI开源社区。

  Unique3D提出了创新的多视图扩散和多级分辨率提升的模型及重建算法,具有目前可用的最高精度和高一致性的几何与材质。 不管你扔给它什么图片,它都能在短短30秒内,给你变出一个跟原图一样精细的3D模型。 许多海外网友也感慨“写线D”,“the pinnacle”(顶峰级),“best 3d generative AI”,“3d generation finally solved?”(3D生成最终解决)。

  Unique3D的开发团队Aiuni AI,来自清华北大的平均岁数00年的团队。Aiuni创始人及CEO April Hu胡雅婷来自北京大学计算机系,曾在Google/阿里/字节做过算法工程师,是一名00后女性创业者。技术合伙人兼CTO,Kailu Wu吴凯路,来自清华姚班在做3D生成和NeRF科研,创新性地提出了FSD(text-to-3d流分数蒸馏)和MemSR(高效训练超分辨率模型)。Unique3D研究员Fangfu Liu,是清华大学phd,研究领域覆盖各类前沿3D生成。

  Unique3D开源了基于Objaverse开源数据训练的版本,更高质量基于Lisence Data商用私有数据训练的版本进行了工程优化的后上线到Aiuni网页端。

  不管是用人像照片、手绘图片,还是电商图片,甚至是MJ和SD生成的AI原生图像,Aiuni都能轻松搞定,一键生成高精度的3D模型。

  无论是几何还是材质,都能达到令人惊叹的水准,而且输入的图像还能实现1:1的像素级还原。在Aiuni生成阶段,会生成四视图4K分辨率的材质预测,并且有百万级的顶点精度,再通过拓扑烘焙算法形成四边面的标准模型,易于导入CG管线及后续的编辑和创作。

  所以Aiuni AI生成的模型,在白膜精细度、布线规范性、法相一致性、材质清晰度,有超过同种类型的产品的表现。这就从另一方面代表着,在数字设计、动画影视制作等对模型的精细度和还原度高要求的领域,用Aiuni可以生成高质量的3D艺术效果。

  对于Aiuni而言,选择将3D算法开源也是因3D生成只是一个起点,接下来的重点是通过结合3D、视频、动画、图形学的多模态算法,生成拥有时空维度的4D内容。

  Aiuni用文本或图片就能召唤出360度全景场景。Aiuni的4D技术,就像是一个超级稳定的时空锚,保证了场景的一致性和视野的连续性。Aiuni还支持360度任意镜头运动,多机位长时间视频渲染。

  当3D模型增加时间维度后,拥有动作和动画的模态后,便能成为有叙事有表达的4D动态,就能成为高频交互的消费级内容。 Aiuni AI目前围绕着图形学算法及4DGS的算法生成多模态的4D内容。 这样比起助帧生成的AI视频、或者只基于计算机视觉和NeRF的方案,更加拥有角色连续性、动作镜头的可控性和可编辑性。

  通过3D对于物理世界的先验,4D内容生成比起逐帧生成的AI视频,可以越来越好的实现角色一致性、场景一致性、动作连续性、物理规律性、广泛运镜幅度,从而形成实时渲染有准确叙事和表达的长视频。 在Aiuni中,用户都能够自由搭配场景、角色、动作、运镜,比起逐帧视频拥有更好的可控性、可编辑性、可交互性。

  在下一代MR设备中将拥有3D原生的表示,当带上VisionPro,它们不再是平面的图片或视频,也不是通过视察计算出来的3D效果,而可以线D内容。

  接下来,Aiuni AI也将持续训练结合3D、视频、动画、图形学的多模态算法,训练角色大模型、场景大模型、动作大模型,以及4D原生表征的算法和数据,形成时空大模型。

  目前,Aiuni正在已上线D场景正在网站()和社群内测中,4D生成、动画生成等功能也将在接下来陆续上线。Aiuni的slogan是“AI Actualize Unique Inspiration”,希望让创作者的每个独特灵感,扩展内容的时空新维度,赋予数字世界无限创造力和生命力。4D动画长视频任旧存在着许多跨模态的挑战,Aiuni也在积极招募全球的AI前沿研究者及CG数字艺术家合作,打造开源和共创的生态。

  始智AI wisemodel开源社区最近上线了开源模型的在线体验功能,并全面支持ollama在线个开源大模型能直接在线体验。 在线体验的创建无需任何代码开发,人人都可以来玩开源大模型。 欢迎前往区进行体验,若需指引可以借鉴《 》。 如果有模型推理的在线托管服务需求,也欢迎联系我们。

  开源社区建设需要长时间坚持和投入,更需要广大新老用户的热情参加、贡献和维护,欢迎各位加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。

  始智AI wisemodel社区自2023年9月上线以来,慢慢的变成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,能够最终靠添加wisemodel微信,或者将简历投递到邮箱:

  欢迎投稿分享AI领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优秀品质的内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到,也可以扫码添加wisemodel微信。

  始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型网络公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  陆美女Coser遭150kg男友分尸!友爆:常当众呼男巴掌不堪内幕被挖出

  吐鲁番火焰山实测温度81℃?景区回应:系地表温度,多在8月出现今年早了些

  好耶!!一起去游乐园啦!!!|TTS夏日专题班:60个专题/40次作业点评/25万字专题笔记/学科模考!!

  Intel两大新处理器开卖时间定了!Lunar Lake笔记本9月、Arrow Lake K系列10月

  专访玩出梦想科技:全球首款安卓系统空间计算机,体验媲美Apple Vision Pro

  魅族 PANDAER 冰能散热背夹 6 月 27 日发布:纯白设计、温度屏显

评论一舟