成立于2023年3月，生數(shù)科技是全球領(lǐng)先的多模態(tài)大模型公司，致力于圖像、3D、視頻等原生多模態(tài)大模型的研發(fā)。生數(shù)科技核心團(tuán)隊來自清華大學(xué)人工智能研究院，此外還包括來自北京大學(xué)和阿里巴巴、騰訊、字節(jié)跳動等科技公司的多位技術(shù)人才。此前公司已完成近億元融資，過往股東還包括螞蟻集團(tuán)和錦秋基金等知名機(jī)構(gòu)。

DiT架構(gòu)由伯克利團(tuán)隊于2022年12月發(fā)表。但其實早在2022年9月，生數(shù)科技創(chuàng)始成員就提出了基于Transformer的網(wǎng)絡(luò)架構(gòu)U-ViT，兩項工作在架構(gòu)思路與實驗路徑上完全一致，均是將Transformer與擴(kuò)散模型融合。

當(dāng)時，U-ViT就在千萬至數(shù)億參數(shù)量級范圍內(nèi)驗證了極強(qiáng)的可擴(kuò)展性（scaling up），這項工作在CVPR 2023發(fā)表，早于DiT成為全球范圍內(nèi)最早被提出的Diffusion Transformer架構(gòu)。

對擴(kuò)散模型融合架構(gòu)的前瞻創(chuàng)新源自于團(tuán)隊多年的深耕。團(tuán)隊從事生成式人工智能和貝葉斯機(jī)器學(xué)習(xí)研究已有20余年，在深度生成模型突破的早期就開展了深入研究。在擴(kuò)散模型方面，團(tuán)隊于國內(nèi)率先開啟了該方向的研究，成果涉及骨干網(wǎng)絡(luò)、高速推理算法、大規(guī)模訓(xùn)練等全棧技術(shù)方向。

目前，團(tuán)隊于ICML、NeurIPS、ICLR等人工智能頂會發(fā)表相關(guān)論文近30篇，其中提出的免訓(xùn)練推理算法Analytic-DPM、DPM-Solver等突破性成果，獲得ICLR杰出論文獎，并被OpenAI、蘋果、Stability.ai等國外前沿機(jī)構(gòu)采用，應(yīng)用于DALL·E 2、Stable Diffusion等明星項目中。

在統(tǒng)一化架構(gòu)的思路下，生數(shù)科技持續(xù)進(jìn)行Scale up。在圖文模型的訓(xùn)練中，參數(shù)量從最早開源版的1B不斷擴(kuò)展至3B、7B、10B及以上，使得模型在美學(xué)性、多元風(fēng)格、語義理解等方面實現(xiàn)快速穩(wěn)定的提升。同時在此基礎(chǔ)上，通過拓展空間維度和時間維度，逐步實現(xiàn)3D生成和視頻生成模型的訓(xùn)練。

依托底層U-ViT架構(gòu)的創(chuàng)新嘗試，截至去年9月，生數(shù)科技推出了基于統(tǒng)一的多模態(tài)多任務(wù)框架的產(chǎn)業(yè)級通用基礎(chǔ)大模型（閉源版），全鏈路自主訓(xùn)練、自主研發(fā)，在圖像生成、3D生成、視頻生成等多項任務(wù)中達(dá)到國際一流水平。

此外，生數(shù)科技也積累了完整高效的工程化經(jīng)驗，擁有在大規(guī)模GPU集群上實現(xiàn)高效兼容、低成本的模型訓(xùn)練經(jīng)驗，并搭建了完整的數(shù)據(jù)管理和使用體系。從算法原理、算法架構(gòu)，到工程實現(xiàn)、數(shù)據(jù)準(zhǔn)備，生數(shù)科技打造了多維度、全方位的基礎(chǔ)建設(shè)，這為后續(xù)多模態(tài)大模型，尤其長視頻生成的訓(xùn)練奠定了重要基礎(chǔ)。

目前公司已與多家游戲公司、個人終端廠商、互聯(lián)網(wǎng)平臺等B端機(jī)構(gòu)開展合作，開放模型服務(wù)，提供AIGC個性化體驗、定制化內(nèi)容生產(chǎn)等方面的能力。

同時也于去年上線兩款工具產(chǎn)品：視覺創(chuàng)意設(shè)計平臺PixWeaver、3D資產(chǎn)創(chuàng)建工具VoxCraft，面向藝術(shù)設(shè)計、游戲制作、影視動畫、社交娛樂等創(chuàng)意領(lǐng)域提供賦能，提升創(chuàng)作效率，同時為創(chuàng)作者提供源源不斷的靈感和想象力。

對于未來的規(guī)劃，生數(shù)科技始終堅持“原生多模態(tài)”方向，基礎(chǔ)模型層面會持續(xù)優(yōu)化，不斷提升語義理解、可控性、美觀度方面的生成效果，近期則將重點(diǎn)突破長視頻生成能力。在產(chǎn)品端，現(xiàn)有產(chǎn)品將持續(xù)迭代，不斷滿足用戶需求，實現(xiàn)用戶量的持續(xù)增長，同時公司也正在探索工具以外的全新產(chǎn)品形態(tài)，致力于提升每個人的創(chuàng)造力和生產(chǎn)力。