Google เปิดตัว Lumiere AI สร้างคลิปวิดีโอระดับเทพ | Techsauce

Google เปิดตัว Lumiere AI สร้างคลิปวิดีโอระดับเทพ

AI เจนรูปมันเก่าไปแล้ว ล่าสุด Google เปิดตัว Lumiere ปัญญาประดิษฐ์สำหรับเจนวิดีโอจากคำสั่งข้อความ (text-to-video) และรูปภาพ (image-to-video) สร้างคลิปได้แบบคมชัด ราบรื่น และสมจริงมากกว่าเดิม!

รู้จัก Lumiere เครื่องมือ AI เจนคลิปวิดีโอ

Lumiere คือ โมเดล AI สำหรับการสร้างวิดีโอตัวล่าสุดของ Google ดีกว่าปัญญาประดิษฐ์ตัวอื่น ๆ ตรงที่มันใช้โครงสร้างสถาปัตยกรรมชนิดพิเศษที่เรียกว่า Space-Time U-Net (STUNet) 

STUNet ทำให้ Lumiere สามารถสร้างการเคลื่อนไหว/การเปลี่ยนแปลงที่เกิดขึ้นในวิดีโอทั้งหมดออกมาได้ในเวลาพร้อม ๆ กันตั้งแต่ต้นจนจบ จึงช่วยให้ส่วนต่าง ๆ ในวิดีโอวิดีโอที่เจนออกมาเข้ากันได้อย่างลงตัว มีการเคลื่อนไหวที่ราบรื่น สมจริง และดูเป็นธรรมชาติมากขึ้น (AI ส่วนใหญ่จะสร้างจากคีย์เฟรมก่อน จากนั้นจึงค่อยเติมเฟรมที่อยู่ระหว่างเฟรมต่าง ๆ เข้าไป วิดีโอที่ออกมาจึงอาจดูไม่ราบรื่นเท่าไหร่)

ทาง Google ได้เปิดเผยความสามารถของ Lumiere เอาไว้ดังนี้


แปลงคำสั่งข้อความเป็นวิดีโอ (Text-to-Video)

อย่างแรกคือ Lumiere สามารถรับคำสั่งแบบข้อความ (Prompt) เพื่อประมวลผลและแปลงออกมาเป็นวิดีโอได้ สำหรับการใช้งานก็ไม่แตกต่างจาก AI เจนรูปเท่าไหร่ เช่น ตัวอย่างในภาพด้านล่าง มีการเขียน Prompt: Aurora Borealis Green Loop Winter Mountain Ridges Northern Lights วิดีโอที่ออกมาก็จะเป็นคลิปสั้น ๆ ของแสงเหนือที่เคลื่อนไหวอย่างเป็นธรรมชาติ

แปลงรูปภาพเป็นคลิปวิดีโอ (Image-to-Video)

การใช้งานความสามารถส่วนนี้ของ Lumiere ผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt ตัวอย่างในภาพด้านล่าง มีการใช้รูปของโมนาลิซา และใส่ Prompt: A woman looking tired and yawning ผลลัพธ์ที่ออกมาก็จะได้คลิปสั้นโมนาลิซานั่งหาว

สร้างวิดีโอจากการดัดแปลงสไตล์ของรูปภาพ (Stylized Generation)

อีกหนึ่งความสามารถที่ค่อนข้างน่าสนใจ คือ Lumiere สามารถสร้างวิดีโอโดยใช้สไตล์อ้างอิงจากรูปภาพเพียงรูปเดียวได้ ในการใช้งานผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt 

ตัวอย่างในภาพด้านล่าง มีการใช้รูปเห็ดที่มีลายเส้นคล้ายภาพที่ถ่ายด้วยกล้องจับความร้อนเป็นรูปต้นแบบ จากนั้นมีการเขียน Prompt: A bear dancing คลิปสั้นที่ได้ออกมาก็คือหมีเต้นที่มีลายเส้นเดียวกับรูปต้นแบบ

ปรับเปลี่ยนวิดีโอเป็นสไตล์อื่นจากคำสั่งข้อความ (Video Stylization)

ความสามารถนี้เหมาะมากสำหรับผู้ใช้งานที่มีวิดีโอต้นแบบ แต่อยากปรับเปลี่ยนให้มีลูกเล่นมากขึ้น ซึ่งการใช้งานผู้ใช้จำเป็นต้องมี วิดีโอ และ Prompt 

ตัวอย่างจากภาพด้านล่าง มีการใช้วิดีโอต้นแบบเป็นคลิปผู้หญิงกำลังวิ่ง จากนั้นได้มีการใส่ Prompt เช่น Made of wooden blocks, Origami folded paper art, Made of colorful toy bricks หรือ Made of flowers และผลลัพธ์ที่ออกมาก็คือคลิปสั้นที่เปลี่ยนแปลงวัตถุในวิดีโอต้นแบบตาม Pormpt

 สร้างวิดีโอเฉพาะจุดในรูปภาพ (Cinemagraphs)

สำหรับคนที่ต้องการแปลงรูปภาพเป็นวิดีโอ แต่ไม่ได้อยากให้มีการเคลื่อนไหวทั้งรูป ความสามารถของ Lumiere ในข้อนี้ก็อาจเป็นประโยชน์ เพราะมันสามารถเลือกการเคลื่อนไหวเฉพาะจุดจากรูปภาพได้ ตัวอย่างในภาพด้านล่าง มีการครอปเลือกเฉพาะผีเสื้อในรูป ผลลัพธ์ที่ได้ออกมาก็คือคลิปที่มีเพียงแค่ผีเสื้อขยับปีกและพื้นหลังนิ่งสงบ

ปรับเปลี่ยนบางส่วนในวิดีโอ (Video Inpainting)

ในวิดีโออาจมีบางส่วนที่เราอยากปรับเปลี่ยน หรืออยากเพิ่มองค์ประกอบอื่น ๆ เข้าไป ความสามารถในส่วน Video Inpainting ก็จะเข้ามาช่วยทำให้มันง่ายขึ้นได้ โดยวิธีการใช้งานฟีเจอร์นี้ ผู้ใช้ก็แค่เลือกจุดที่ต้องการปรับเปลี่ยน หรือเพิ่มองค์ประกอบและใส่ Prompt ลงไป 

ตัวอย่างจากภาพด้านล่าง ต้องการเปลี่ยนชุดให้ผู้หญิง ก็เลือกคลุมที่ชุดและใส่ Prompt: wearing a gold strapless gown, wearing a striped strapless dress ชุดในคลิปก็จะเปลี่ยนไปตามคำสั่ง Prompt

อ้างอิง: lumiere-video, theverge

Sign in to read unlimited free articles

No comment

RELATED ARTICLE

Responsive image

Jensen Huang ตอบประเด็นอนาคต AI ยังไงต่อ ? ในงาน GTC 2024

บทความนี้ Techsauce ชวนมาฟังความเห็นของ CEO บริษัทชิปที่ยิ่งใหญ่ที่สุดในโลก เกี่ยวกับอนาคตของปัญญาประดิษฐ์ในงาน GTC 2024...

Responsive image

SpaceVIP จัดทริปกินมื้อหรูระดับมิชลินบนอวกาศ สนนราคาต่อหัว 17.8 ล้านบาท

โอกาสสำหรับการทานอาหารสุดหรูบนอวกาศมาถึงแล้ว SpaceVIP เตรียมเปิดประสบการณ์การทานอาหารจากเชฟระดับ Michelin Star ที่ความสูงกว่า 100,000 ฟุตเหนือระดับน้ำทะเลในการผจญภัยบนขอบอวกาศ โอกา...

Responsive image

Rare Beauty จะเปลี่ยนเจ้าของ? แหล่งข่าวชี้ Selena Gomez เตรียมขายแบรนด์

Rare Beauty จะเปลี่ยนเจ้าของ? ข่าวจาก Bloomberg ออกมาว่าตอนนี้ Selena Gomez ได้เริ่มดำเนินการปรึกษาผู้เชี่ยวชาญด้านการเงินและการลงทุนเพื่อประเมินมูลค่าแบรนด์แล้ว...