เราพร้อมสนับสนุนการสร้างโมเดลภาษาขนาดใหญ่ที่จำเป็นสำหรับการพัฒนาและ
ปรับจูน
เอ็นจิ้นการแปลด้วย AI และ Generative AI

ในการพัฒนาและปรับแต่งการแปลด้วยเครื่อง (Machine Translation) และ AI สร้างข้อความหลายภาษา ความจำเป็นในการใช้คลังข้อมูลคู่ขนาน (Parallel Corpus) กำลังเพิ่มสูงขึ้นเรื่อยๆ นอกจากนี้ แม้ในกรณีที่นักแปลเริ่มงานแปลในสาขาใหม่ หากมีหน่วยความจำการแปล (Translation Memory) ที่สะสมไว้ภายในบริษัท ประสิทธิภาพในการทำงานแปลก็จะเพิ่มขึ้นอย่างมาก ในทางกลับกัน การรวบรวมคลังข้อมูลคู่ขนานอย่างเป็นระบบด้วยตนเองนั้นไม่ใช่เรื่องง่าย ดังนั้นการจัดหาข้อมูลจากภายนอกเพื่อมุ่งเน้นไปที่การพัฒนาผลลัพธ์ที่ต้องการหรืองานแปลจึงถือเป็นวิธีที่มีประสิทธิภาพ

ประเด็นสำคัญในการเลือกคลังข้อมูลคู่ขนานมี 6 ข้อดังนี้
1) คู่ภาษา
2) สาขา
3) คุณภาพ
4) ปริมาณ
5) ประเภทข้อมูล
6) การมีหรือไม่มีบริบท

"คู่ภาษา" ในข้อ 1) หมายถึงคู่ภาษาที่นักแปลใช้ในการแปล หรือคู่ภาษาที่ใช้ในการฝึกสอนสำหรับการพัฒนาการแปลด้วยเครื่อง ว่าเป็นภาษาญี่ปุ่นกับภาษาอังกฤษ หรือภาษาญี่ปุ่นกับภาษาจีน ในกรณีที่ลงทะเบียนในหน่วยความจำการแปลของเครื่องมือช่วยแปลที่ใช้ ก็เช่นเดียวกัน "คู่ภาษา" ถือเป็นองค์ประกอบที่สำคัญที่สุด ยิ่งไปกว่านั้น หากต้องการสำนวนที่เป็นธรรมชาติ ภาษาใดเป็นภาษาต้นฉบับก็ถือเป็นองค์ประกอบที่สำคัญเช่นกัน ตัวอย่างที่เป็นรูปธรรม แม้จะเรียกว่า "คลังข้อมูลคู่ขนานภาษาญี่ปุ่นและภาษาอังกฤษ" แต่ก็เป็นเรื่องปกติที่จะรู้สึกถึงความแตกต่างในความลื่นไหลของสำนวนภาษาอังกฤษหรือภูมิหลังของการแปล ระหว่างกรณีที่แปลจากภาษาญี่ปุ่นเป็นภาษาอังกฤษ กับกรณีที่แปลจากภาษาอังกฤษเป็นภาษาญี่ปุ่น

"สาขา" ในข้อ 2) หมายถึงสาขาต่างๆ เช่น การท่องเที่ยว การแพทย์ กฎหมาย เศรษฐกิจ วิทยาศาสตร์และเทคโนโลยี เป็นต้น การนำข้อมูลในสาขาที่ต้องการเพิ่มความแม่นยำมาทำการเรียนรู้ของเครื่อง (Machine Learning) จะช่วยเร่งการพัฒนาให้รวดเร็วยิ่งขึ้น ในกรณีที่ต้องการสร้างโมเดลภาษาเพื่อปรับปรุงความแม่นยำของการแปลด้วยเครื่องในสาขาเฉพาะทาง เกณฑ์มาตรฐานที่จะเริ่มเห็นผลคือประมาณ 1 แสนคู่ประโยค และแน่นอนว่าสาขาก็มีความสำคัญเช่นกันเมื่อต้องการสร้างพจนานุกรมคำศัพท์เฉพาะทางจากคลังข้อมูลคำแปลคู่ขนาน ในกรณีของบริษัทเรา สาขาที่เป็นที่ต้องการในญี่ปุ่นนั้น ในยุคที่เน้นการรองรับนักท่องเที่ยวต่างชาติภายใต้นโยบายประเทศแห่งการท่องเที่ยว ก็จะเป็นสาขาการท่องเที่ยว และต่อมาก็มีความต้องการคลังข้อมูลคำแปลคู่ขนานในสาขาการแพทย์เพื่อเสริมความแข็งแกร่งด้านการแพทย์สำหรับชาวต่างชาติที่มาเยือนและพำนักในญี่ปุ่น ยิ่งไปกว่านั้น ความต้องการได้เปลี่ยนไปในช่วงไม่กี่ปีที่ผ่านมาสู่สาขาธุรกิจ ซึ่งรวมถึงเอกสารนำเสนอที่ใช้ในการประกาศหรืออธิบายเนื้อหาทางธุรกิจ ตลอดจนการบรรยายในการประชุมหรือกิจกรรมต่างๆ รวมถึงบันทึกช่วงถาม-ตอบที่ตามมา

"คุณภาพ" ในข้อ 3) กล่าวอีกนัยหนึ่งคือความแม่นยำ ซึ่งขึ้นอยู่กับวิธีการสร้างคลังข้อมูลคำแปลคู่ขนาน ข้อมูลที่แปลโดยมนุษย์จะเป็นที่ต้องการมากกว่า และข้อมูลที่แปลโดยใช้การแปลด้วยเครื่องโดยไม่มีการตรวจสอบหรือแก้ไขโดยมนุษย์ย่อมมีคุณภาพต่ำลงโดยธรรมชาติ นอกจากนี้ แม้จะเป็นข้อมูลคู่ขนานที่แปลโดยมนุษย์ แต่ในบางกรณีประโยคต้นฉบับ 1 ประโยคอาจถูกแปลเป็นประโยคแปลตั้งแต่ 2 ประโยคขึ้นไป ซึ่งหากจำเป็นต้องให้ประโยคต้นฉบับและประโยคแปลสอดคล้องกันแบบ 1 ต่อ 1 ก็จะส่งผลกระทบต่อคุณภาพ ยิ่งไปกว่านั้น หากมีการแปลโดยตัดทอนเนื้อหามากเกินไป ก็ไม่สามารถเรียกได้ว่าเป็นคลังข้อมูลคำแปลคู่ขนานที่มีคุณภาพดี

สำหรับ "ปริมาณ" ในข้อ 4) นั้น หากเป็นวัตถุประสงค์เพื่อนำไปลงทะเบียนในหน่วยความจำการแปล (Translation Memory) หรือพจนานุกรมคำศัพท์ของเครื่องมือช่วยแปลที่ใช้ภายในบริษัท คลังข้อมูลคู่ขนาน (Parallel Corpus) ในสาขาเฉพาะทางที่มีจำนวนหลายหมื่นคู่ก็นับว่าเป็นปริมาณที่เพียงพอและเป็นประโยชน์ต่อผู้แปลแล้ว ในกรณีที่ต้องการพัฒนาเครื่องยนต์แปลภาษาด้วยเครื่อง (Machine Translation Engine) หรือการเรียนรู้ของเครื่อง (Machine Learning) ในสาขาเฉพาะทางนั้น ว่ากันว่าจำนวน 1 แสนคู่จะให้ผลลัพธ์ในระดับหนึ่ง ในทางกลับกัน หากต้องการพัฒนาเครื่องยนต์แปลภาษาด้วยเครื่องแบบทั่วไป ว่ากันว่าจำเป็นต้องใช้จำนวนหลายสิบล้านคู่ ดังนั้น ปริมาณของคลังข้อมูลคู่ขนานที่ต้องการจึงแตกต่างกันอย่างมากตามวัตถุประสงค์การใช้งาน

สำหรับ "ประเภทข้อมูล" ในข้อ 5) นั้น หมายถึงไฟล์ต้นฉบับที่ใช้สร้างคลังข้อมูลคู่ขนานว่าเป็นรายงาน/สมุดปกขาว การแถลงการณ์/การประชุม/การถามตอบ หากต้องการให้เครื่องเรียนรู้ภาษาเขียน ควรใช้รายงาน/สมุดปกขาว และหากต้องการให้เครื่องเรียนรู้ภาษาพูด ควรใช้คลังข้อมูลคู่ขนานที่สร้างจากการแถลงการณ์/การประชุม/การถามตอบจะให้ผลลัพธ์ที่มีประสิทธิภาพมากกว่า เนื่องจากคลังข้อมูลคู่ขนานของบริษัทเรามีการจัดการคุณลักษณะอย่างละเอียด จึงสามารถแยกคลังข้อมูลคู่ขนานตามประเภทข้อมูลได้

สำหรับ "การมีหรือไม่มีบริบท" ในข้อ 6) หมายถึงประโยคหลายประโยคมีความเชื่อมโยงทางความหมายต่อกันหรือไม่ โดยเฉพาะอย่างยิ่ง ตัวอย่างประโยคที่ระบุในพจนานุกรมมีเงื่อนไขเพียงแค่ต้องมีคำหลักที่กำหนดเท่านั้น และไม่มีความเชื่อมโยงกับตัวอย่างประโยคอื่น จึงถือว่า "ไม่มีบริบท" ในทางกลับกัน รายงานประกอบด้วยประโยคหลายประโยคที่บรรยายเกี่ยวกับเหตุการณ์หรือเรื่องราวหนึ่งๆ จึงถือว่า "มีบริบท" ในทำนองเดียวกัน การประชุมหรือการถามตอบก็ถือว่า "มีบริบท" เช่นกัน เนื่องจากผู้พูดหลายคนสลับกันพูด ไม่เพียงแต่สำหรับการแปลด้วยเครื่องเท่านั้น แต่เพื่อให้แชทบอทสร้างคำตอบที่มีความแม่นยำสูงขึ้น การที่คลังข้อมูลคู่ขนานที่ใช้ในการเรียนรู้ของเครื่อง "มีบริบท" จึงเป็นสิ่งที่ต้องการมากขึ้นกว่าแต่ก่อน

บทสรุป
ในการเลือกคลังข้อมูลคำแปล (Parallel Corpus) จำเป็นต้องพิจารณาปัจจัยตั้งแต่ข้อ 1) ถึง 6) ข้างต้นตามวัตถุประสงค์การใช้งาน โดยเฉพาะอย่างยิ่งเมื่อต้องการทำ Machine Learning สำหรับสาขาเฉพาะทาง การพิจารณาเรื่องคุณภาพ ประเภทของข้อมูล และความจำเป็นในการมีบริบทประกอบถือเป็นสิ่งสำคัญ เพื่อให้สามารถใช้คลังข้อมูลคำแปลที่เหมาะสมกับวัตถุประสงค์ได้ โปรดตรวจสอบข้อมูลตัวอย่างฟรีจากบริษัทของเราก่อน