ประเทศแคนาดา ฟังแว้บแรกอาจจะรู้สึกว่าที่นี่ต้องมีของแน่เลย แต่ตอนอ่านบทความนี้ บอกตรงๆ เลยว่าผิดคาดมาก! ประวัติการพัฒนาเทคโนโลยีการแปลในแคนาดาจะเป็นยังไงนั้น เรามาติดตามกันค่ะ
บทความนี้สรุปมาจากบทความหนึ่งในสารานุกรมว่าด้วยเทคโนโลยีการแปล (Encyclopedia of Translation Technology) ผู้เขียนคืออิเลียด แม็คโคลวิทช์ (Elliott Macklovitch) อดีตประธานสมาคม Machine Translation ในสหรัฐอเมริกา
สรุปประเด็น
แคนาดา: 1 ประเทศ 2 ภาษา
Taum-Météo โปรแกรมแปลพยากรณ์อากาศ ก้าวแรกของ MT ในแคนาดา
จากงานแปลพยากรณ์อากาศ สู่การแปลคู่มือเครื่องบิน
ปิดตัวโครงการ TAUM รื้อนิยาม MT ใหม่
เปิดตัว CITI สถาบันวิจัยและพัฒนาเทคโนโลยีงานแปล
โครงการวิจัยของ CITI ในยุค 80
เทคโนโลยีการแปลของแคนาดาในปัจจุบัน (ปี 2012)
แคนาดา: 1 ประเทศ 2 ภาษา
ตามพระราชบัญญัติภาษาราชการปี ค.ศ. 1969 (Official Language Act) แคนาดาเป็นประเทศที่มีภาษาประจำชาติ 2 ภาษา คือ อังกฤษและฝรั่งเศส ดังนั้น เอกสารราชการในประเทศจึงถูกบังคับให้แปลเป็น 2 ภาษา ส่งผลให้งานแปลในประเทศสูงลิ่ว และผู้ใช้บริการแปลรายใหญ่ก็ไม่ใช่ใครอื่นนอกจากรัฐบาลแคนาดานั่นเอง
แม้จำนวนประชากรในประเทศแคนาดาจะคิดเป็นสัดส่วนเพียง 0.05 เปอร์เซ็นต์ของประชากรโลก แต่สัดส่วนงานแปลที่ผลิตกลับสูงถึง 10%* จากการสำรวจข้อมูลในปี 2008-2010 คาดการณ์ว่าแคนาดามีนักแปลในประเทศประมาณ 10,250 คน โดยรัฐบาลกลางมีหน่วยงานจัดสรรงานแปลกลางที่เรียกว่า "สำนักงานแปล" (Translation Bureau) มีนักแปลทำงานเต็มเวลาให้รัฐบาลจำนวนสูงถึง 1,200 คน ทำหน้าที่แปลเอกสารราชการในประเทศ จากภาษาอังกฤษเป็นฝรั่งเศสและจากฝรั่งเศสเป็นอังกฤษโดยเฉพาะ
TAUM-Météo โปรแกรมแปลพยากรณ์อากาศ ก้าวแรกของ MT ในแคนาดา
ก้าวแรกของเทคโนโลยีการแปลในแคนาดา คือ โปรแกรม Taum Météo ซึ่งเป็นโปรแกรมแปลพยากรณ์อากาศจากกรมอุตุฯ ในแคนาดาอัตโนมัติ พัฒนาในปี 1965 มีปริมาณงานแปลสูงถึง 5 ล้านคำต่อปี และประสบความสำเร็จอย่างยิ่ง
เบื้องหลังความสำเร็จของ Taum Météo ไม่ได้อยู่ที่ “ความเก่ง” ของกลไกหลังบ้าน แต่อยู่ที่ลักษณะตามธรรมชาติของคำพยากรณ์อากาศที่มักใช้รูปประโยคหรือคำศัพท์เดิมซ้ำ ๆ หรือที่เรียกว่า "ภาษาเฉพาะกิจ" (Restricted Languuage/sub-language) ทำให้ต้นฉบับไม่ซับซ้อน ตรงไปตรงมา ไม่กำกวม งานแปลที่ได้จาก Taum Météo จะถูกส่งต่อให้นักภาษาศาสตร์เกลาภาษาต่อ ช่วยลดภาระงานแปลของเจ้าพนักงานและลดค่าใช้จ่ายการแปลเอกสารของรัฐบาลมหาศาล
จากงานแปลพยากรณ์อากาศ สู่การแปลคู่มือเครื่องบิน
หลังประสบความสำเร็จกับโครงการ Taum Météo รัฐบาลแคนาดาได้สั่งซื้อเครื่องบินลาดตระเวนชายฝั่งซึ่งจำเป็นต้องแปลคู่มือการใช้งานจากภาษาอังกฤษเป็นภาษาฝรั่งเศสตามข้อบังคับในพระราชบัญญัติว่าด้วยภาษาราชการ จึงเกิดเป็นโครงการ Taum Aviation หรือโครงการแปลคู่มือเอกสารเครื่องบินในปี ค.ศ. 1977
โครงการ Taum Aviation ไม่ง่ายเหมือนโครงการ Taum Météo เนื่องจากเอกสารประเภท “คู่มือ” มีข้อมูลทางเทคนิคและคำศัพท์หลากหลายกว่าคำพยากรณ์อากาศ
คณะทำงานฯ รวมถึงคุณ Elliott Machlovitch ผู้เขียนบทความ ได้เล่าให้ฟังถึงกระบวนการสร้างกลไกหลังบ้านโครงการ Taum Aviation ว่าโครงการนี้เป็นโครงการที่ “ท้าท้าย” ที่สุดตั้งแต่เคยทำมา เพราะเป็นการพัฒนาเครื่องแปลภาษาอัตโนมัติแบบ Rule-based (ป้อนคำสั่ง/เขียนกฎทางภาษากำกับ) อาศัยโมดูลทำงาน 3 อย่างคือ
วิเคราะห์ภาษาต้นฉบับ เพื่อหาภาพแทนด้านวากยสัมพันธุ์ (Syntax) และความหมาย (Semantic)
จับคู่ภาพแทนดังกล่าวกับภาษาปลายทางในระดับคำ (Bilingual Transfer) และ
เรียบเรียงคำในภาษาปลายทางให้อ่านรู้เรื่อง (Monolingual generation phrase) โดยใช้แผนภูมิต้นไม้ การทำ Part of Speech tagging (POS) และกฎการผันต่าง ๆ (inflection)
การพัฒนาเครื่องแปลอัตโนมัติประเภท Rule-based ในโครงการ Taum Aviation ใช้เวลา 4 ปี ใช้ัคลังข้อมูลภาษา (Corpus) ที่มีเนื้อหาเกี่ยวกับคู่มือไฮโดรลิกทั้งหมด 70,000 คำมาพัฒนา ถ้าให้อธิบายง่ายๆ คือการพยายามยัดชุดความรู้ของมนุษย์และวิธีประมวลผลทางภาษาทั้งหมดมาใส่เครื่องนั่นล่ะ
แม้โครงการ Taum Aviation ไม่ได้ออกแบบมาเพื่อแทนที่นักแปล แต่ผลงานแปลโดยรวมถือว่าออกมาคุณภาพดี ปัญหาหลักที่เจอคือ หากต้นฉบับเป็นประโยคความซ้อนยาว ๆ หลายประโยคเรียงต่อกัน เจ้า Engine นี้ จะไม่ผลิตคำแปลออกมาเลย เนื่องจากภาษาต้นฉบับไม่สอดคล้องกับระบบวิเคราะห์ไวยากรณ์ที่เขียนไว้ (อารมณ์ไม่เข้าใจว่าต้นฉบับพูดว่าอะไร เลยแปลไม่ถูก) หากเป็นประโยคที่ไม่อยู่ในหัวข้อไฮโดรลิก เจ้าเครื่องแปลภาษานี้ก็จะไม่ประมวลคำแปลออกมาเลยเช่นกัน (อารมณ์ "เรื่องอะไร ฉันไม่เข้าใจ แปลไม่ได้!")
ปิดตัวโครงการ TAUM รื้อนิยาม MT ใหม่
โครงการ Taum Aviation เผยให้เห็นข้อจำกัดของ MT ประเภท Rule-based ว่ามนุษย์ไม่สามารถป้อนระบบภาษาศาสตร์ คลังปริชาน/ความรู้ และกลไกประมวลผลภาษาตามธรรมชาติของมนุษย์ไปในเครื่องโดยเขียนกฎครอบคลุมวิธีการทำงานของสมองนักแปลได้ครบถ้วนทุกประการ นอกจากนี้ การจะพัฒนากลไกนี้ให้ครอบคลุมโดเมนหรือ "หัวข้อเนื้อหา" อื่น ๆ ต้องอาศัยงบประมาณ ทรัพยากรทางภาษาและแรงงานจำนวนมาก ดังนั้นในปี 1981 โครงการ Taum Aviation จึงถึงปิดตัวเนื่องจากรัฐบาลไม่มีงบประมาณสนับสนุน
Fully automatic, high quality machine translation on unrestricted texts - sometimes abbreviated as FAHQTUT - is in fact impossible Yehoshua Bar-Hillel
การแปลงานอัตโนมัติ ที่ผลิตงานแปลคุณภาพสูงและใช้ได้กับต้นฉบับทุกประเภท เป็นเรื่องที่เป็นไปไม่ได้ โยชัว บาร์ฮิลเลล
ในช่วงทศวรรษ 1980 ถึงต้น 1990 เราจะเห็นว่านิยามของ MT โดยรวมจะต้องมีคุณสมบัติ 3 อย่างคือ
แปลงานได้อัตโนมัติ (Fully Automatic)
ผลิตงานแปลคุณภาพสูง (High Quality)
ใช้แปลต้นฉบับได้ทุกประเภท (General application)
บทเรียนจากโครงการ Taum Aviation ทำให้นักวิจัยและนักพัฒนารู้ว่าเครื่องแปลไม่อาจบรรลุวัตถุประสงค์ทั้ง 3 อย่างได้พร้อมกัน แต่ถ้าให้บรรลุสัก 2 อย่าง ยังมีลุ้นอยู่ (เช่น ในโครงการ Taum Météo ที่ประสบความสำเร็จเพราะแปลต้นฉบับที่มีภาษาเฉพาะทางในวงแคบ ไม่ได้กระจัดกระจายไปทั่ว) ดังนั้นการพัฒนา MT ให้ครอบคลุมทั้ง 3 ข้อนั้นจึงยังเป็นไปไม่ได้ในสมัยนั้น
โยชัว บาร์ฮิลเลล (Yehoshua Bar-Hillel) นักภาษาศาสตร์และนักคณิตศาสตร์ นักวิจัยผู้บุกเบิกเรื่องการแปลอัตโนมัติในยุค 70 คนแรก ตั้งข้อสังเกตว่า "Fully automatic, high quality machine translation on unrestricted texts - sometimes abbreviated as FAHQTUT - is in fact impossible" (การแปลงานอัตโนมัติ ที่ผลิตงานแปลคุณภาพสูงและใช้ได้กับต้นฉบับทุกประเภท เป็นเรื่องที่เป็นไปไม่ได้)
เปิดตัว CITI สถาบันวิจัยและพัฒนาเทคโนโลยีงานแปล
แม้การพัฒนาระบบ MT ให้สมบูรณ์จะดูมีความหวังริบหรี่ แต่ตลาดยัง "คาดหวัง" ให้อุตสาหกรรมแปลงานได้อย่างอัตโนมัติ ผลิตงานแปลคุณภาพสูง และครอบคลุมต้นฉบับทุกประเภทเท่าที่ทำได้
ด้วยเหตุนี้ รัฐบาลกลางแคนาดาจึงเดินหน้าวิจัยพัฒนาสมองกลแปลอัตโนมัติ โดยจัดตั้งโครงการแล็บใหม่ที่ชื่อ CITI นำโดยปิแยร์ อิสซาเบล (Pierre Isabelle) ในช่วงเดียวกันนี้ IBM ได้พัฒนากลไกการแปลอัตโนมัติแบบใหม่โดยใช้หลักสถิติ (Statistical Machine translation) ซึ่งได้รับแรงบันดาลใจมาจากโปรแกรมถอดเสียงอัตโนมัติที่นำคลังข้อมูลเสียงและข้อความเก่าๆ มาใช้ถอดเทปให้แม่นยำขึ้น
ระบบแปลอัตโนมัติแบบคำนวณด้วยวิธีทางสถิติหรือ Statistical-based MT ทำงานโดยอาศัยคลังข้อมูลคำแปลเก่า ๆ หรือ Corpus ซึ่งจับคู่ประโยคในลักษณะทวิประโยคหรือ bitext (ผู้คิดค้นคำนี้ก็คือ Brian Haris อาจารย์ภาคการแปล มหาวิทยาลัยออตโตวา) เมื่อนำคลังข้อมูลนี้มาใช้ เครื่องจะใช้วิธีทางสถิติในการคำนวณความน่าจะเป็นของคำแปลและใช้คลังข้อมูลดังกล่าวเป็นฐานในการเรียนรู้
วิธีนี้ต่างจาก Rule-based ตรงที่มนุษย์ไม่ต้องเข้าไปป้อนกฎต่างๆ เสมือนป้อนคำภีร์ชุดความรู้ทางภาษาให้เครื่อง (ที่ป้อนเท่าไหร่ก็ไม่มีทางครบ) แต่ให้เครื่องเรียนรู้จากทุนข้อมูลทางภาษาที่มีอยู่ในรูปทวิภาษาแทน
โชคดีที่ประเทศแคนาดามีพรบ. ภาษาราชการ ซึ่งกำหนดให้รัฐบาลแคนาดาแปลคำอภิปรายรัฐสภาเป็น 2 ภาษา คือ อังกฤษ และฝรั่งเศส ดังนั้นโครงการนี้จังมีคลังข้อมูลทางภาษาสูงถึงประมาณ 10 ล้านคำและเปิดโอกาสให้ IBM ได้พัฒนาโปรแกรม Alignment เพื่อจับคู่ต้นฉบับกับคำแปลอัตโนมัติไปด้วยในตัว (แต่อ้างอิงจาก Haris การจะทำให้ MT ทำงานได้ดีต้องอาศัย Corpus ขนาดใหญ่ หลายล้านคำ)
การคิดค้น Statistical MT เป็นก้าวใหญ่ของประเทศแคนาดา แต่อาศัยเวลาหลายปีในการพัฒนาเช่นกัน ด้วยเหตุนี้ ทีม CITI จึงคิดค้นโครงการใหม่ในลักษณะ Machine-aided translation หรือเทคโนโลยีช่วยแปลควบคู่ไปพร้อมๆ กัน อีก 4 โครงการ คือ
Translator's Workstation Project
TransSearch
TransCheck, และ
TransType
เรามาดูรายละเอียดแต่ละโครงการกัน
โครงการวิจัยของ CITI ในยุค 80
1. Translation Workstation project โปรแกรมช่วยแปล (CAT tools)
วัตถุประสงค์หลักของโครงการนี้ คือการพัฒนาโปรแกรมที่ผนวกเครื่องมือแปลต่างๆ ไว้ในที่เดียวกันเสร็จสรรพ ฟังแล้วอาจจะรู้สึกว่าง่าย แต่ให้นึกภาพปี 1980 ที่เราทุกคนเพิ่งจะเริ่มมี PC กันครั้งแรก การแชร์ไฟล์ ทรัพยากร เครื่องมือต่างๆ ยังมีข้อจำกัดอยู่ (นึกถึงสมัยแผ่น floppy disk นี่คือยุคก่อน floppy disk จะเกิดอีก)
Translation Workstation Project พัฒนาตามแนวคิดของมาร์ติน เคย์ (Martin Kay) ปี 1980 คือ เป็นโปรแกรมประมวลผลข้อความ (word processing) ที่ผนวกระบบบริหารจัดการศัพท์ (glossary management) ระบบตรวจสอบไวยากรณ์และการสะกดคำ ระบบผันกิริยาภาษาฝรั่งเศส และระบบเทียบเคียงไฟล์ไว้ด้วยกันในที่เดียว นอกจากนี้ โปรแกรมนี้ยังเป็นโปรแกรมแรกๆ ที่ผู้ใช้ได้เห็นเอกสารเต็มจอ สามารถสื่อสารกับโปรแกรม workstation อื่นๆ ผ่านเครือข่ายเดียวกันอีกด้วย
2. TransSearch ระบบ Concordance
ปี 1993 วิลเลียม เกล (William Gale) และ เคเนธ เชิร์ช (Kenneth Church) นักวิจัยจาก AT&T Bell ตีพิมพ์ผลงานวิจัยเผยแพร่อัลกอริทึ่มที่ใช้ในการจัดเรียงต้นฉบับและคำแปลให้อยู่ในรูปคลังข้อมูลคู่ขนานเพื่อเทียบต้นฉบับและคำแปลไว้ด้วยกัน (parallel corpora) เรียกว่า Gale-Church algortihm
ทีม CITI นำโดย ปิแอร์ อิสซาเบล (Pierre Isabelle) จอร์จ ฟอสเตอร์ (George Foster) และ มิเชล ซิมาร์ด (Michel Simard) นำอัลกอริทึมดังกล่าวมาใช้พัฒนาต่อ โดยมองว่าแทนที่จะนำอัลกอริทึ่มนั้นมาจับคู่อย่างเดียว จะดีกว่ามั้ยถ้าผู้ใช้สามารถค้นหาคำแปลเก่า ๆ จากคลังข้อมูลคู่ขนานได้ด้วย หรือที่ต่อมาเราเรียกวิธีค้นหานี้ว่า Concordance นั่นเอง
คลังข้อมูลทางภาษาที่ใช้พัฒนา TransSearch เป็นคลังข้อมูลชุดเดิมที่ใช้พัฒนา MT นั่นคือ คำแปลคำอภิปรายเก่า ๆ ของสภาแคนาดา นักแปลสามารถค้นคำแปลโดยป้อนประโยคต้นฉบับที่ต้องการค้นหา เครื่องจะประมวลผลและเรียกประโยคที่ตรงกับคำค้นทั้งหมดในฐานข้อมูลมาแสดง ประโยชน์ที่นักแปลได้คือ ได้เห็น "แนวทาง" การแปลงานและนำแนวทางดังกล่าวมาใช้แปลประโยคยากๆ บางประโยคได้
ปี 1996 CITI นำระบบ TransSearch ขึ้นสู่อินเตอร์เน็ทเป็นครั้งแรกและได้รับความนิยมสูงมาจนบริษัทเอกชนรายหนึ่งเข้าซื้อและเปิดขายให้นักแปลใช้บริการผ่านระบบสมาชิก (Subscription)
3. TransCheck ระบบ TQA
โครงการ TransCheck พัฒนาขึ้นเพื่อ "ตรวจเช็ค" ข้อผิดพลาดที่อาจพบในคำแปล ระบบการตรวจเช็คด้วย TransCheck นี้คล้ายกับระบบ TQA (Translation Quality Assessment) ในปัจจุบัน เพราะเป็นการตรวจเช็คที่ไม่ได้ประมวลผลคำแปลอย่างเดียว แต่จะประมวลผลคำแปลและต้นฉบับไปพร้อมๆ กันทั้งสองฝั่ง (Bilingual check)
การตรวจด้วย TransCheck ต่างจากการตรวจการสะกดคำปกติตรงที่ TransCheck จะ "เรียง" ต้นฉบับกับฉบับแปลไว้เป็นคู่ๆ หลังจากนั้นจึงเริ่มตรวจสอบรูปแบบทางภาษาที่พบตาม "กฎ" ต่าง ๆ ที่ป้อนเข้าไป เช่น
Deceptive Cognate หรือ False Friends คู่ภาษาที่แปลในแคนาดาส่วนใหญ่เป็นภาษาอังกฤษ-ฝรั่งเศส ดังนั้นทั้งสองภาษาจึงมีคำที่หน้าตาอาจจะดูคล้ายกันหลายคำ แต่ความหมายไปคนละทิศทางเยอะมาก เช่นคำว่า "location" ในภาษาอังกฤษที่แปลว่า "สถานที่/ที่ตั้ง" แต่ในภาษาฝรั่งเศสหมายถึง "เช่า (Rental)" เจ้าตัว TransCheck จะมีลิสคำศัพท์ False Friends ทั้งหมดและตรวจสอบก่อนแจ้งเตือนหากพบ
Numerical Expression ตรวจสอบเลขว่าตรงกันทั้งต้นฉบับและฉบับแปลหรือไม่
ศัพท์ (Terminological Equivalents) ตรวจสอบว่าใช้ศัพท์ที่ตรงกันกับฐานข้อมูลคำศัพท์ที่กำกับไว้หรือไม่
4. TransType ระบบ Auto-Suggest ยุค 80
โครงการ TransType พัฒนาขึ้นเพื่อลดเวลา/ภาระในการพิมพ์งานของนักแปล ถ้าให้สรุปง่าย ๆ มันก็คือระบบ Auto-Suggest หรือ "เสนอ" คำแปลหลังนักแปลเคาะแป้นพิมพ์ไม่กี่คำ
TransType ทำงานโดยนำระบบ SMT (Statistical Machine Translation) ที่ฝังไว้หลังบ้านเรียนรู้และประมวลผลความน่าจะเป็น เมื่อมีต้นฉบับใหม่ที่ต้องแปล TransType จะดึงประโยคต้นฉบับไปประมวลผลหลังบ้านแล้วเทียบเคียงกับคลังข้อมูลทางภาษาหลังบ้านว่ามีคำแปลที่น่าจะพอใช้ได้มั้ย ถ้ามี ระบบจะคัดเลือกและนำเสนอคำแปลที่น่าจะตรงกับต้นฉบับมากที่สุด ทุกครั้งที่ผู้ใช้เคาะแป้นพิมพ์ใหม่ ระบบจะ "เสนอ" คำแปลใหม่ ทำให้คำแปลเป็นแบบทันทีทันใดเปลี่ยนแปลงไปตลอดจนกว่าผู้ใช้จะพอใจกับคำแปลที่นำมาใช้ได้
โครงการ TransType ได้รับทุนวิจัยจาก European Commission หลังจากนักวิจัยกลุ่ม CITI ย้ายมาอยู่ในสังกัดมหาวิทยาลัย Montréal และปูทางสู่การวิจัยโครงการ TransType2 ซึ่งเป็นโครงการร่วมมือระหว่างรัฐบาลแคนาดาและสเปน ทั้งนี้โครงการ TransType2 ดำเนินมาจนถึงปี 2005
เทคโนโลยีการแปลของแคนาดาในปัจจุบัน (ปี 2012)
ผลการสำรวจของสมาคมนักแปลอเมริกา (America Translators Association) และ AnneMarie Taravella (2011) จากศูนย์วิจัยเทคโนโลยีการแปล (Language Technologies Research Centre) เผยให้เห็นว่า นักแปลในประเทศแคนาคาใช้เทคโนโลยีการแปลดังนี้
Word Processor หรือโปรแกรมประมวลผลคำ (ร้อยละ 98)
โปรแกรมทางภาษาแบบ passive (ไม่มีการโต้ตอบ) เช่น Termium (คลังศัพท์), Le Grand Dictionnaire Terminologique (คลังศัพท์), Antidote (โปรแกรมตรวจแก้ภาษา), Linguee (พจนานุกรมออนไลน์) (ร้อยละ 97)
โปรแกรมทางภาษาแบบ active (มีการโต้ตอบ) เช่น MultiCorpora (คลังข้อความทางภาษา), Terminotix และ Logiterm (คลังศัพท์), Tradooit (โปรแกรม concordance), Synchro Term (โปรแกรมสกัดศัพท์), Alignfactory (โปรแกรมเรียงต้นฉบับและฉบับแปลในรูปทวิภาษา) (ร้อยละ 54)
ด้านการแปลอัตโนมัติหรือ Machine Translation บริษัท Pricewaterhouse ได้สำรวจตลาดแคนาดาและพบว่า ปี 2012 ยังไม่มีผู้ใช้งาน Machine Translation มากเท่าที่ควรเนื่องจากอัตราความถูกต้องของ MT อยู่ที่ 75-85% เท่านั้น (ดูขัดกับความเป็นจริงในปัจจุบันมาก!) ทั้งนี้ สภาวิจัยแห่งชาติแคนาดาได้พัฒนาโปรแกรมแปลภาษาอังกฤษ-ฝรั่งเศสอัตโนมัติชื่อ Portage ด้วย
เทคโนโลยีที่น่าสนใจในแคนาดาอีกอันคือ "โปรแกรมถอดเทป" หรือ Automatic Speech Recognition (ASR) คุณ Elliot ผู้เขียนบทความนี้ได้ทำการสำรวจนักแปลจากสำนักงานแปลกลางของรัฐบาลแคนาดา (Translation Bureau) พบว่านักแปลส่วนใหญ่นิยมแปลด้วยเสียง โปรแกรมที่ใช้อันดับต้นก็คือ Dragon Naturally Speaking
อ้างอิง
แบบสำรวจ "Translation Bureau Benchmarking and Comparative analysis: Final Report) ของ PricewaterhouseCoopers ปี 2012) เข้าถึงได้จาก https://www.yumpu.com/en/document/read/37535744/rapport-report-benchmarking-eng
บทความฉบับเต็ม Translation Technology in Canada" โดย Elliott Macklovitch ตีพิมพ์ใน Encyclopedia of Translation Technology หน้า 267