โครงการ อัลกอริทึมเรียนรู้สำหรับโดเมนหลายกลุ่มและโดเมนมีสัญญาณรบกวน : รายงานวิจัยฉบับสมบูรณ์

บุญเสริม กิจศิริกุล

Please use this identifier to cite or link to this item: https://cuir.car.chula.ac.th/handle/123456789/83801

Title:	โครงการ อัลกอริทึมเรียนรู้สำหรับโดเมนหลายกลุ่มและโดเมนมีสัญญาณรบกวน : รายงานวิจัยฉบับสมบูรณ์
Other Titles:	Learning Algorithms for Multiclass and Noisy Domains
Authors:	บุญเสริม กิจศิริกุล
Other author:	จุฬาลงกรณ์มหาวิทยาลัย. คณะวิศวกรรมศาสตร์
Subjects:	อัลกอริทึม ซัพพอร์ตเวกเตอร์แมชชีน
Issue Date:	2549
Publisher:	คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย
Abstract:	ในงานวิจัยนี้เราเสนอวิธีการสำหรับ (1) ปรับปรุงซัพพอร์ตเวกเตอร์แมชชีนสำหรับจัดการกับปัญหาข้อมูลหลายกลุ่ม และ (2) ทำให้การโปรแกรมตรรกะเชิงอุปนัย (ไอแอลพี) จัดการกับข้อมูลมีสัญญาณรบกวน เอสวีเอ็มถูกพัฒนาขึ้นเพื่อปัญหาการจำแนกประเภทข้อมูลที่มีสองกลุ่มได้อย่างมีประสิทธิภาพในการใช้งานจริง วิธีการดั้งเดิมสำหรับแก้ปัญหาของข้อมูลหลายกลุ่มทำได้โดยการนำฟังก์ชันตัดสินใจแบบสองกลุ่มมารวมกัน กราฟไม่มีวงแบบมีทิศทางสำหรับการตัดสินใจ (ดีดีเอจี) เป็นวิธีการที่รู้จักกันดีสำหรับเอสวีเอ็มแบบหลายกลุ่มซึ่งมีข้อดีในเรื่องของการใช้งานที่รวดเร็วและให้ความถูกต้องในการจำแนกประเภทที่ใกล้เคียงกับวิธีการอื่น ๆ เราได้ปรับปรุงดีดีเอจี โดยนำเสนอกราฟไม่มีวงมีทิศทางแบบปรับได้ (เอดีเอจี) ซึ่งมีโครงสร้างที่ปรับแก้มาจากดีดีเอจีและมีจำนวนระดับตัดสินใจที่น้อยลง เอดีเอจีให้ความถูกต้องสูงกว่าดีดีเอจีในขณะที่ยังคงเวลาในการคำนวณต่ำ นอกจากนั้นเราได้นำเสนอเวอร์ชันปรับปรุงของเอดีเอจีที่เรียกว่า กราฟไม่มีวงมีทิศทางและปรับได้แบบจัดเรียงใหม่ (อาร์เอดีเอจี) เพื่อให้หาเอดีเอจีที่ดีสุดจากเอดีเอจีที่เป็นไปได้ทั้งหมดโดยใช้อัลกอริทึมจัดเรียงใหม่ร่วมกับการจับคู่สมบูรณ์น้ำหนักน้อยสุด ผลการทดลองกับชุดข้อมูลหลายชุดแสดงให้เห็นว่าวิธีการของเราให้ความถูกต้องที่สูงกว่าวิธีการดั้งเดิม ไอแอลพีเป็นเทคนิคที่มีประสิทธิภาพสำหรับการทำเหมืองข้อมูลเชิงสัมพันธ์ แต่เมื่อประยุกต์ใช้ไอแอลพีในโดเมนมีสัญญาณรบกวน กฎที่ได้จากไอแอลพีมักประสบปัญหาเรื่องการปรับเหมาะเกินไป เรานำเสนอวิธีการสำหรับทำให้ไอแอลพีสามารถจัดการกับปัญหานี้ เริ่มจากการนำเสนอวิธีการเรียนรู้ข่ายงานเบส์ลำดับที่หนึ่งซึ่งสามารถจัดการกับข้อมูลมีสัญญาณรบกวนได้อย่างมีประสิทธิภาพ เนื่องจากต้นทุนในการคำนวณที่สูงสำหรับ การเรียนข่ายงานเบส์ลำดับที่หนึ่งโดยตรง ทำให้เราปรับใช้ระบบไอแอลพีร่วมกับตัวเรียนรู้ข่ายงานเบส์เพื่อสร้างข่ายงานเบส์ลำดับที่หนึ่ง เราเสนออัลกอรึทึมดึงลักษณะสำคัญเพื่อสร้างลักษณะสำคัญสำหรับกฎไอแอลพีและใช้ลักษณะสำคัญเหล่านี้เป็นโครงสร้างหลักของข่ายงานเบส์ลำดับที่หนึ่ง ผลการทดลองแสดงให้เห็นว่าข่ายงานเบส์ลำดับที่หนึ่งทำงานได้ดีกว่าระบบไอแอลพีดั้งเดิม เรายังได้นำเสนอวิธีการเรียนรู้แบบผสมเพื่อทำให้นิวรอลเน็ตเวิร์กสามารถจัดการกับโปรแกรมตรรกะลำดับที่หนึ่งได้โดยตรง วิธีการนี้เรียกว่านิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่ง วิธีการนี้ใช้นิวรอลเน็ตเวิร์กป้อนไปข้างหน้าแบบมาตรฐานและได้ผสมผสานการเรียนรู้เชิงอุปนัยจากตัวอย่างและความรู้ภูมิหลังร่วมด้วย เรานำเสนอวิธีการสำหรับกำหนดการแทนค่าตัวแปรที่เหมาะสมในการเรียนรู้นิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่งโดยใช้การเรียนรู้แบบหลายตัวอย่างย่อย ผลการทดลองกับปัญหาการเรียนรู้แบบตรรกะลำดับที่หนึ่งทั้งหมดสองปัญหาแสดงให้เห็นว่าวิธีการที่นำเสนอทำงานได้ดีกว่า PROGOL ซึ่งเป็นระบบไอแอลพีที่ทันสมัย
Other Abstract:	In this research, we propose methods for (1) extending Support Vector Machines (SVMs) for dealing with multiclass problems, and (2) enabling Inductive Logic Programming (ILP) for dealing with noisy data. SVMs were primarily designed for twoclass classification problems with their outstanding performance in real world applications. Previous methods for solving the multiclass problem of SVMs are typically to consider the problem as the combination of two-class decision functions. The Decision Directed Acyclic Graph (DDAG) is a well-known method for multiclass SVMs that has advantage of fast evaluation time and provides classification accuracy comparable to other methods. Motivated by DDAG, we propose the Adaptive DAG (ADAG): a modified structure of DDAG that has a lower number of decision levels. ADAG improves the accuracy of DDAG while it maintains low computational requirement. Next, we propose an enhancement version of ADAG, called Reordering Adaptive Directed Acyclic Graph (RADAG), to find one best ADAG from all possible ADAGs by using the reordering algorithm with minimum-weight perfect matching. Experiment results on several datasets denote that our methods give higher accuracies than those of the previous methods. ILP is an efficient technique for relational data mining, but when ILP is applied in noisy domains, the rules induced by ILP often struggle with the overfitting problem. We propose methods for enabling ILP to deal with this problem. We first propose a method for learning first-order Bayesian network (FOBN) which can handle noisy data powerfully. Due to a high computation cost for directly learning FOBN, we adapt an ILP system and a Bayesian network learner to construct FOBN. We propose a feature extraction algorithm to generate features from ILP rules, and use these features as the main structure of the FOBN. The experimental results show that FOBN performs better than a traditional ILP system. We also propose a novel hybrid learning method to enable neural networks to handle first-order logic programs directly. The proposed method, called First-Order Logical Neural Network (FOLNN), employs the standard feedforward neural network and integrates inductive learning from examples and background knowledge. We propose a method for determining the appropriate variable substitution in FOLNN learning by using multiple-instance learning. The experimental results on two first-order learning problems show that the proposed method performs better than PROGOL, the state-of-the-art ILP system.
URI:	https://cuir.car.chula.ac.th/handle/123456789/83801
Type:	Technical Report
Appears in Collections:	Eng - Research Reports

Files in This Item:

File	Description	Size	Format
Boonserm Ki_Res_2549.pdf	รายงานการวิจัยฉบับเต็ม (Fulltext)	160.59 MB	Adobe PDF	View/Open

Show full item record