Computer Use คืออะไร คู่มือระบบอัตโนมัติที่ขับเคลื่อนด้วย AI

ระบบคอมพิวเตอร์แบบดั้งเดิมอาจไม่สามารถทำให้งานที่ซับซ้อนซึ่งเกี่ยวข้องกับหลายแอป ไฟล์ และเวิร์กโฟลว์เป็นระบบอัตโนมัติได้ ต้องอาศัยความพยายามด้วยมืออย่างต่อเนื่อง ระบบอัตโนมัติแบบ computer use เปลี่ยนแปลงสิ่งนี้ด้วยการทำให้ AI agent เข้าใจ โต้ตอบกับ และจัดการสภาพแวดล้อมดิจิทัลได้เหมือนมนุษย์ คู่มือนี้จะอธิบายว่ามันทำงานอย่างไร มีการใช้งานจริงอะไรบ้าง และเครื่องมืออย่าง Kimi Work ช่วยให้ระบบอัตโนมัติ การจัดการไฟล์ และการดำเนินเวิร์กโฟลว์ง่ายขึ้นได้อย่างไร

AI computer use คืออะไร

Computer use ช่วยให้ AI สามารถควบคุมคอมพิวเตอร์ผ่านอินเทอร์เฟซกราฟิก เหมือนกับผู้ใช้ที่เป็นมนุษย์ แทนที่จะพึ่งพา API หรือการผสานรวมแบบกำหนดเอง AI สามารถเข้าใจสิ่งที่ปรากฏบนหน้าจอและดำเนินการต่างๆ เช่น คลิกปุ่ม ป้อนข้อความ เลื่อนหน้า และนำทางในแอปพลิเคชัน

ด้วยการโต้ตอบโดยตรงกับส่วนติดต่อผู้ใช้ computer use ทำให้ AI สามารถทำงานข้ามแอปพลิเคชันเดสก์ท็อปและเว็บไซต์ที่แตกต่างกันได้โดยไม่ต้องมีการผสานรวมเฉพาะซอฟต์แวร์ ซึ่งทำให้ระบบ AI เดียวสามารถทำให้เวิร์กโฟลว์ที่หลากหลายเป็นระบบอัตโนมัติได้โดยใช้อินเทอร์เฟซเดียวกับที่ผู้คนใช้กันทุกวัน

computer-use agent ทำงานอย่างไร

computer-use agent มักเกี่ยวข้องกับความสามารถต่างๆ เช่น การรับรู้ทางสายตา การระบุตำแหน่งองค์ประกอบ การวางแผน และการดำเนินการ ซึ่งบางครั้งจัดการโดยส่วนประกอบแยกกัน และบางครั้งรวมอยู่ในโมเดลมัลติโมดัลเดียว ก่อนอื่น โมเดลด้านการมองเห็นจะวิเคราะห์ภาพหน้าจอและองค์ประกอบของอินเทอร์เฟซเพื่อทำความเข้าใจสิ่งที่เกิดขึ้นบนหน้าจอ จากนั้นส่วนประกอบสำหรับระบุตำแหน่งจะพยายามค้นหาองค์ประกอบ UI แม้ว่าความแม่นยำจะแตกต่างกันไป เช่น ตำแหน่งที่แน่นอนของปุ่ม เมนู และช่องป้อนข้อมูล โดยแปลงข้อมูลภาพให้เป็นเป้าหมายที่สามารถดำเนินการได้

จากนั้น ระบบวางแผนจะแบ่งเป้าหมายของผู้ใช้ออกเป็นลำดับขั้นตอนที่มีเหตุผลและกำหนดแนวทางปฏิบัติที่ดีที่สุด สุดท้าย ตัวดำเนินการจะทำตามขั้นตอนเหล่านั้นด้วยการคลิก พิมพ์ เลื่อน หรือโต้ตอบกับแอปพลิเคชัน พร้อมทั้งติดตามผลตอบรับอย่างต่อเนื่องเพื่อปรับพฤติกรรมและทำงานให้เสร็จสมบูรณ์

Computer use เทียบกับระบบอัตโนมัติแบบดั้งเดิม

ก่อนจะนำเวิร์กโฟลว์ที่ขับเคลื่อนด้วย AI มาใช้ สิ่งสำคัญคือต้องเข้าใจว่า computer use แตกต่างจากระบบอัตโนมัติแบบดั้งเดิมอย่างไร แม้ทั้งสองแนวทางจะมุ่งลดความพยายามที่ต้องทำด้วยมือและเพิ่มประสิทธิภาพ แต่ก็มีวิธีการดำเนินงานและปรับตัวต่อสภาพแวดล้อมที่เปลี่ยนแปลงแตกต่างกันโดยพื้นฐาน การเปรียบเทียบต่อไปนี้จะแสดงความแตกต่างสำคัญ เพื่อช่วยกำหนดแนวทางที่เหมาะสมที่สุดตามความต้องการด้านการดำเนินงานและความซับซ้อนของเวิร์กโฟลว์

กรณีการใช้งานจริงของ Computer Use Agent

Computer Use Agent กำลังช่วยองค์กรต่าง ๆ ทำงานที่แต่เดิมต้องอาศัยการโต้ตอบกับซอฟต์แวร์ด้วยมือให้เป็นอัตโนมัติ ความสามารถในการนำทางส่วนติดต่อผู้ใช้และดำเนินการตามเวิร์กโฟลว์ทำให้ Agent เหล่านี้มีประโยชน์ในงานทั้งด้านธุรกิจและด้านเทคนิคที่หลากหลาย

• การทดสอบซอฟต์แวร์: Computer Use Agent สามารถโต้ตอบกับแอปพลิเคชันได้เหมือนผู้ใช้จริง ทั้งการคลิกปุ่ม กรอกฟอร์ม และไล่ตามเวิร์กโฟลว์ ช่วยให้ค้นพบบั๊กได้เร็วขึ้น ลดภาระการทดสอบด้วยมือ และยกระดับคุณภาพซอฟต์แวร์

• การเก็บข้อมูลและงานวิจัย: Agent เหล่านี้สามารถท่องเว็บไซต์ รวบรวมข้อมูล และจัดข้อมูลให้อยู่ในรูปแบบที่มีโครงสร้างได้โดยอัตโนมัติ ทำให้การวิจัยตลาด การวิเคราะห์คู่แข่ง และการเก็บข้อมูลขนาดใหญ่ทำได้เร็วและมีประสิทธิภาพมากขึ้น

• การทำเวิร์กโฟลว์งานธุรการให้เป็นอัตโนมัติ: Computer Use Agent สามารถจัดการงานที่ทำซ้ำ ๆ เช่น การนัดหมายประชุม อัปเดตสเปรดชีต และประมวลผลเอกสาร การทำงานประจำเหล่านี้ให้เป็นอัตโนมัติช่วยให้ทีมประหยัดเวลาและลดข้อผิดพลาดในการทำงาน

• การสนับสนุนงานพัฒนาและวิศวกรรม: ในสภาพแวดล้อมการพัฒนา Agent เหล่านี้สามารถช่วยดีบัก ตั้งค่าสภาพแวดล้อม และโต้ตอบกับเครื่องมือต่าง ๆ ทำให้วิศวกรใช้เวลากับงานที่ทำด้วยมือน้อยลง และมีเวลาแก้ปัญหาทางเทคนิคมากขึ้น

• การให้บริการลูกค้า: Computer Use Agent สามารถนำทางแพลตฟอร์ม CRM ดึงข้อมูลลูกค้า และช่วยจัดการทิกเก็ตต่าง ๆ ได้ ช่วยให้ทีมซัพพอร์ตตอบสนองได้รวดเร็วขึ้นในขณะที่ยังคงคุณภาพการให้บริการที่สม่ำเสมอ

• การทำกระบวนการทางธุรกิจให้เป็นอัตโนมัติ: องค์กรต่าง ๆ ใช้ Computer Agent เพื่อทำเวิร์กโฟลว์อย่างการประมวลผลใบแจ้งหนี้ การรับพนักงานใหม่ และการสร้างรายงานให้เป็นอัตโนมัติ ซึ่งช่วยเพิ่มประสิทธิภาพในทุกแผนกและลดความจำเป็นในการทำงานซ้ำ ๆ ด้วยมือ

จัดการไฟล์และงานในเครื่องได้โดยอัตโนมัติด้วย Kimi Work

Kimi Work ออกแบบมาเพื่อทำให้การจัดการไฟล์ในเครื่องและงานดิจิทัลของผู้ใช้ง่ายขึ้น ด้วยการเปลี่ยนขั้นตอนการทำงานแบบแมนนวลให้กลายเป็นกระบวนการอัตโนมัติที่ขับเคลื่อนด้วย AI แทนที่จะต้องสลับไปมาระหว่างเครื่องมือหลายตัวหรือทำสิ่งเดิมซ้ำๆ ผู้ใช้สามารถพึ่งพาระบบอัตโนมัติที่ขับเคลื่อนด้วย AI ในการจัดระเบียบไฟล์ ดำเนินการงานต่างๆ และดึงข้อมูลได้อย่างมีประสิทธิภาพ จึงเหมาะเป็นพิเศษสำหรับมืออาชีพที่ต้องจัดการข้อมูลจำนวนมาก รายงานที่เกิดขึ้นซ้ำ หรือขั้นตอนการทำงานหลายขั้นตอนที่ซับซ้อน

ฟีเจอร์หลัก

• งานอัตโนมัติแบบตั้งเวลา: Kimi Work ให้ผู้ใช้ตั้งเวลางานที่เกิดขึ้นซ้ำให้ทำงานโดยอัตโนมัติในเบื้องหลัง ช่วยให้การทำรายงาน การจัดระเบียบไฟล์ และขั้นตอนการทำงานประจำอื่นๆ เกิดขึ้นได้โดยไม่ต้องลงมือทำเอง

• WebBridge สำหรับการท่องเว็บอัตโนมัติ: WebBridge ช่วยให้ Kimi Work สามารถท่องเว็บไซต์ โต้ตอบกับหน้าเว็บ และรวบรวมข้อมูลได้ด้วยตัวเอง เหมาะเป็นพิเศษสำหรับงานวิจัยและการรวบรวมข้อมูลออนไลน์

• ระบบ agent swarm สำหรับงานที่ซับซ้อน: Kimi Work สามารถส่ง AI agent หลายตัวไปทำงานในส่วนต่างๆ ของงานพร้อมกันได้ ช่วยเพิ่มประสิทธิภาพและจัดการขั้นตอนการทำงานที่ซับซ้อนได้ดียิ่งขึ้น

• การเข้าถึงและดึงข้อมูลแบบอัตโนมัติ: Kimi Work สามารถรวบรวมข้อมูลจากไฟล์ ระบบที่เชื่อมต่อ และแหล่งข้อมูลออนไลน์ได้โดยอัตโนมัติ จากนั้นจัดระเบียบข้อมูลให้อยู่ในรูปแบบที่ใช้งานได้ เช่น รายงาน สรุป หรือข้อมูลเชิงลึก

• ปลั๊กอินที่ขยายขีดความสามารถ: ผ่านการเชื่อมต่อปลั๊กอิน Kimi Work สามารถเชื่อมต่อกับเครื่องมือ บริการ และระบบธุรกิจภายนอกได้ ทำให้ผู้ใช้สามารถขยายฟังก์ชันการทำงานได้ตามความต้องการของแต่ละขั้นตอนงาน

• โหมด Goal สำหรับการทำงานต่อเนื่องจนสำเร็จ: โหมด Goal ให้ผู้ใช้กำหนดเป้าหมายแล้วปล่อยให้ Kimi Work จัดการขั้นตอนการดำเนินงานเอง โดยจะวางแผน รวบรวมข้อมูล และทำงานต่อเนื่องจนกว่าจะบรรลุเป้าหมาย

วิธีใช้โหมด Goal ใน Kimi Work

โหมด Goal ใน Kimi Work ช่วยให้ AI ทำงานมุ่งสู่เป้าหมายที่กำหนดไว้ แทนที่จะทำเพียงคำขอเดียวจบ โดยจะวางแผนและดำเนินขั้นตอนต่างๆ ที่จำเป็นเพื่อทำงานให้เสร็จอย่างต่อเนื่อง เหมาะสำหรับการจัดการไฟล์ในเครื่อง การจัดระเบียบโฟลเดอร์ และการทำงานอัตโนมัติแบบหลายขั้นตอนบนเดสก์ท็อป

ขั้นตอนที่ 1: ดาวน์โหลดและติดตั้ง Kimi Work

เข้าไปที่เว็บไซต์ทางการแล้วดาวน์โหลดแอปเดสก์ท็อป Kimi Work ซึ่งรองรับทั้ง Windows และ macOS

ขั้นตอนที่ 2: ใช้โหมด Goal ใน Kimi Work

เปิดพื้นที่ทำงานใหม่แล้วอธิบายผลลัพธ์ที่ต้องการให้ชัดเจน เพื่อผลลัพธ์ที่ดีที่สุด ควรระบุเป้าหมาย ข้อกำหนด ข้อจำกัด และเกณฑ์ความสำเร็จ คุณสามารถเปิดใช้งานโหมด Goal ได้โดยเพิ่มคำสั่ง /goal ลงใน prompt ของคุณ

หากงานของคุณไม่จำเป็นต้องใช้โหมด Goal เพียงแค่ให้ prompt กับ Kimi โดยไม่ต้องพิมพ์ /goal

เทมเพลต prompt:

ตัวอย่าง prompt:

วิธีสร้างงานตั้งเวลาใน Kimi Work

Kimi Work ให้คุณทำขั้นตอนการทำงานที่เกิดขึ้นซ้ำให้เป็นอัตโนมัติได้ ด้วยการตั้งเวลาให้งานทำงานเองในเวลาที่กำหนด ไม่ว่าจะเป็นรายงานประจำวัน การอัปเดตข้อมูลวิจัย หรือการประมวลผลข้อมูลตามปกติ งานตั้งเวลาจะช่วยให้งานเสร็จสมบูรณ์โดยไม่ต้องลงมือทำเอง

ขั้นตอนที่ 1: สร้างงานด้วยตนเองหรือใช้แชท

เปิด Kimi Work แล้วเปิด "งานตั้งเวลา" จากเมนูนำทางด้านซ้าย เพื่อตั้งค่าขั้นตอนการทำงานที่เกิดขึ้นซ้ำ ให้เลือกหนึ่งในตัวเลือกต่อไปนี้:

• สร้างด้วยตนเอง: กำหนดค่ากำหนดการ รายละเอียดงาน และการตั้งค่าการดำเนินการด้วยตัวเอง

• สร้างผ่านแชท: อธิบายขั้นตอนการทำงานด้วยภาษาธรรมชาติ แล้ว Kimi Work จะสร้างงานตั้งเวลาให้โดยอัตโนมัติ

ขั้นตอนที่ 2: อธิบายขั้นตอนการทำงานที่เกิดขึ้นซ้ำ

ป้อน prompt อธิบายขั้นตอนการทำงานที่คุณต้องการให้เป็นอัตโนมัติ โดยระบุวัตถุประสงค์ของงาน กำหนดการทำงาน ไฟล์หรือแหล่งข้อมูลที่จำเป็น และตำแหน่งที่ต้องการบันทึกผลลัพธ์ Kimi Work จะใช้คำแนะนำเหล่านี้ในการสร้างขั้นตอนการทำงานตั้งเวลาที่ทำงานเองโดยอัตโนมัติในเวลาที่กำหนด

ตัวอย่างเช่น คุณสามารถทำงานประจำให้เป็นอัตโนมัติได้ เช่น การสร้างรายงานที่เกิดขึ้นซ้ำ การติดตามการอัปเดตเว็บไซต์ การจัดระเบียบไฟล์ในเครื่อง หรือการรวบรวมและสรุปข้อมูล

ขั้นตอนที่ 3: ตรวจสอบผลลัพธ์ของเวิร์กโฟลว์ที่ทำงานเสร็จแล้ว

เมื่อการทำงานเสร็จสิ้น ให้ตรวจสอบผลลัพธ์ที่ได้ ขึ้นอยู่กับลักษณะงาน ผลลัพธ์อาจเป็นรายงาน สรุปข้อมูล สเปรดชีต ผลการค้นคว้า หรือไฟล์ที่สร้างขึ้นในรูปแบบอื่น ๆ คุณสามารถตรวจดูผลลัพธ์ ปรับแก้ตามความจำเป็น และปรับปรุงเวิร์กโฟลว์ต่อไปสำหรับการใช้งานครั้งถัดไป

บทสรุป

โดยสรุปแล้ว computer use และระบบอัตโนมัติที่ขับเคลื่อนด้วย AI กำลังเปลี่ยนรูปแบบการทำงานดิจิทัล จากการลงมือทำด้วยตนเองไปสู่ระบบอัจฉริยะที่ทำงานได้เองโดยอัตโนมัติ ด้วยเครื่องมืออย่าง Kimi Work งานต่าง ๆ เช่น การท่องเว็บ การจัดตารางเวลา การจัดการข้อมูล และการบริหารเวิร์กโฟลว์ สามารถดำเนินไปได้อย่างราบรื่นในเบื้องหลังโดยไม่ต้องอาศัยการควบคุมจากผู้ใช้ตลอดเวลา การเปลี่ยนแปลงนี้ช่วยลดภาระในการดำเนินงาน อีกทั้งยังเพิ่มความรวดเร็ว ความสม่ำเสมอ และคุณภาพในการตัดสินใจตลอดทั้งเวิร์กโฟลว์