AI เจนรูปมันเก่าไปแล้ว ล่าสุด Google เปิดตัว Lumiere ปัญญาประดิษฐ์สำหรับเจนวิดีโอจากคำสั่งข้อความ (text-to-video) และรูปภาพ (image-to-video) สร้างคลิปได้แบบคมชัด ราบรื่น และสมจริงมากกว่าเดิม!

รู้จัก Lumiere เครื่องมือ AI เจนคลิปวิดีโอ

Lumiere คือ โมเดล AI สำหรับการสร้างวิดีโอตัวล่าสุดของ Google ดีกว่าปัญญาประดิษฐ์ตัวอื่น ๆ ตรงที่มันใช้โครงสร้างสถาปัตยกรรมชนิดพิเศษที่เรียกว่า Space-Time U-Net (STUNet) 

STUNet ทำให้ Lumiere สามารถสร้างการเคลื่อนไหว/การเปลี่ยนแปลงที่เกิดขึ้นในวิดีโอทั้งหมดออกมาได้ในเวลาพร้อม ๆ กันตั้งแต่ต้นจนจบ จึงช่วยให้ส่วนต่าง ๆ ในวิดีโอวิดีโอที่เจนออกมาเข้ากันได้อย่างลงตัว มีการเคลื่อนไหวที่ราบรื่น สมจริง และดูเป็นธรรมชาติมากขึ้น (AI ส่วนใหญ่จะสร้างจากคีย์เฟรมก่อน จากนั้นจึงค่อยเติมเฟรมที่อยู่ระหว่างเฟรมต่าง ๆ เข้าไป วิดีโอที่ออกมาจึงอาจดูไม่ราบรื่นเท่าไหร่)

ทาง Google ได้เปิดเผยความสามารถของ Lumiere เอาไว้ดังนี้

แปลงคำสั่งข้อความเป็นวิดีโอ (Text-to-Video)

อย่างแรกคือ Lumiere สามารถรับคำสั่งแบบข้อความ (Prompt) เพื่อประมวลผลและแปลงออกมาเป็นวิดีโอได้ สำหรับการใช้งานก็ไม่แตกต่างจาก AI เจนรูปเท่าไหร่ เช่น ตัวอย่างในภาพด้านล่าง มีการเขียน Prompt: Aurora Borealis Green Loop Winter Mountain Ridges Northern Lights วิดีโอที่ออกมาก็จะเป็นคลิปสั้น ๆ ของแสงเหนือที่เคลื่อนไหวอย่างเป็นธรรมชาติ

แปลงรูปภาพเป็นคลิปวิดีโอ (Image-to-Video)

การใช้งานความสามารถส่วนนี้ของ Lumiere ผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt ตัวอย่างในภาพด้านล่าง มีการใช้รูปของโมนาลิซา และใส่ Prompt: A woman looking tired and yawning ผลลัพธ์ที่ออกมาก็จะได้คลิปสั้นโมนาลิซานั่งหาว

สร้างวิดีโอจากการดัดแปลงสไตล์ของรูปภาพ (Stylized Generation)

อีกหนึ่งความสามารถที่ค่อนข้างน่าสนใจ คือ Lumiere สามารถสร้างวิดีโอโดยใช้สไตล์อ้างอิงจากรูปภาพเพียงรูปเดียวได้ ในการใช้งานผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt 

ตัวอย่างในภาพด้านล่าง มีการใช้รูปเห็ดที่มีลายเส้นคล้ายภาพที่ถ่ายด้วยกล้องจับความร้อนเป็นรูปต้นแบบ จากนั้นมีการเขียน Prompt: A bear dancing คลิปสั้นที่ได้ออกมาก็คือหมีเต้นที่มีลายเส้นเดียวกับรูปต้นแบบ

ปรับเปลี่ยนวิดีโอเป็นสไตล์อื่นจากคำสั่งข้อความ (Video Stylization)

ความสามารถนี้เหมาะมากสำหรับผู้ใช้งานที่มีวิดีโอต้นแบบ แต่อยากปรับเปลี่ยนให้มีลูกเล่นมากขึ้น ซึ่งการใช้งานผู้ใช้จำเป็นต้องมี วิดีโอ และ Prompt 

ตัวอย่างจากภาพด้านล่าง มีการใช้วิดีโอต้นแบบเป็นคลิปผู้หญิงกำลังวิ่ง จากนั้นได้มีการใส่ Prompt เช่น Made of wooden blocks, Origami folded paper art, Made of colorful toy bricks หรือ Made of flowers และผลลัพธ์ที่ออกมาก็คือคลิปสั้นที่เปลี่ยนแปลงวัตถุในวิดีโอต้นแบบตาม Pormpt

 สร้างวิดีโอเฉพาะจุดในรูปภาพ (Cinemagraphs)

สำหรับคนที่ต้องการแปลงรูปภาพเป็นวิดีโอ แต่ไม่ได้อยากให้มีการเคลื่อนไหวทั้งรูป ความสามารถของ Lumiere ในข้อนี้ก็อาจเป็นประโยชน์ เพราะมันสามารถเลือกการเคลื่อนไหวเฉพาะจุดจากรูปภาพได้ ตัวอย่างในภาพด้านล่าง มีการครอปเลือกเฉพาะผีเสื้อในรูป ผลลัพธ์ที่ได้ออกมาก็คือคลิปที่มีเพียงแค่ผีเสื้อขยับปีกและพื้นหลังนิ่งสงบ

ปรับเปลี่ยนบางส่วนในวิดีโอ (Video Inpainting)

ในวิดีโออาจมีบางส่วนที่เราอยากปรับเปลี่ยน หรืออยากเพิ่มองค์ประกอบอื่น ๆ เข้าไป ความสามารถในส่วน Video Inpainting ก็จะเข้ามาช่วยทำให้มันง่ายขึ้นได้ โดยวิธีการใช้งานฟีเจอร์นี้ ผู้ใช้ก็แค่เลือกจุดที่ต้องการปรับเปลี่ยน หรือเพิ่มองค์ประกอบและใส่ Prompt ลงไป 

ตัวอย่างจากภาพด้านล่าง ต้องการเปลี่ยนชุดให้ผู้หญิง ก็เลือกคลุมที่ชุดและใส่ Prompt: wearing a gold strapless gown, wearing a striped strapless dress ชุดในคลิปก็จะเปลี่ยนไปตามคำสั่ง Prompt

อ้างอิง: lumiere-video, theverge