TJtheChemist

เมื่อวันจันทร์กับเมื่อวานไม่ได้รีวิวเปเปอร์ วันนี้เลยต้องมารีวิวหน่อย

เอาเข้าจริงไม่รู้ว่าจะรีวิวอะไร ก็เลยหยิบงานที่จะต่อยอดของป.เอกซะหน่อย

A Reinforcement Learning Approach for Protein-Ligand Binding Pose Prediction

เกริ่นนำ:
ในการพัฒนายาด้วยคอมพิวเตอร์ หนึ่งในวิธีที่ใช้หาว่า ยาตัวนี้มีประสิทธิภาพไหม คือ การคำนวณการเข้าจับของโมเลกุลยา อีกชื่อหนึ่งคือ Molecular Docking โดยจะทำการคำนวณพลังงานกับโครงสร้างที่เหมาะสมในขณะที่จับกับเป้าหมาย ซึ่งโดยมากมักจะเป็นโปรตีน
แต่สิ่งที่เป็นปัญหาหนึ่งของเวลาคำนวณแบบนี้คือ ตำแหน่งที่จับและ โครงสร้างที่สามารถหมุนไปมาได้ของยา การคำนวณเพื่อค้นหาตำแหน่งและรูปร่างที่เหมาะสมจะกินเวลานานมาก ทำให้ต้องใช้วิธีการสุ่มเพื่อหาคำตอบที่ดีที่สุด
แล้วเปเปอร์นี้ทำอย่างไร คำตอบคือ ใช้ Reinforcement Learning เข้ามาช่วยคำนวณหาตำแหน่งที่ดีที่สุด โดยอัลกอริทึมที่ใช้ คือ Asynchronous Advantage Actor-Critic (A3C) ซึ่งทำหน้าที่ในการเลือกหา Action และพิจารณาว่า Action ที่เลือกมานั้น เหมาะสมหรือไม่ โดยนักวิจัยได้ทำการทดลองกับลิแกนด์ที่เป็น ทองแดง กับ ซัลเฟตไอออน โดยผลที่ได้คือ ลิแกนด์สามารถค้นหา ตำแหน่งที่ดีที่สุดได้

รีวิว:
เปเปอร์นี้คือตอบโจทย์วิทยานิพนธ์ของผมมากว่าจะทำเรื่องอะไรดีโดยผมมีโจทย์คือ ใช้ Reinforcement Learning ในเคมีคอมพิวเตอร์ ซึ่งมันก็มีเปเปอร์ก่อนหน้านี้ที่ใช้ Reinforcement Learning ในการหาพื้นผิวพลังงานศักย์ของโมเลกุล (เอาจริง ๆ เดี๋ยวจะรีวิวเปเปอร์นั้นด้วย) ซึ่งเกี่ยวข้องกับวิธีการพัฒนายา แต่เปเปอร์นี้ ใช้โมเลกุลแค่สองตัว ซึ่งก็เป็นแบบง่าย ๆ แต่หากจะเป็นโมเลกุลของจริง ที่เป็นตัวยาเลย จะเพิ่มความซับซ้อนของโมเดลที่ใช้ และต้องมาคำนึงถึงการทำซ้ำได้ด้วย คือหมายความว่าไม่ว่าตำแหน่งเริ่มต้นเป็นอย่างไร ตำแหน่งสุดท้ายต้องเหมือนเดิม ไม่มีการเปลี่ยนแปลงไปจากโครงสร้างมาตรฐาน และยังต้องคำนึงถึงเวลานำโมเดลไปใช้อีกด้วยว่า จะต้องไม่มีค่าที่ต้องอ้างอิงจากโครงสร้างปลายทาง ซึ่งไม่มีใครรู้เลยว่าหน้าตาโครงสร้างปลายทางเป็นอย่างไร

ใครอยากอ่านเปเปอร์นี้ สามารถเข้าไปดูได้ฟรีที่

A reinforcement learning approach for protein–ligand binding pose prediction - BMC Bioinformatics Protein ligand docking is an indispensable tool for computational prediction of protein functions and screening drug candidates. Despite significant progress over the past two decades, it is still a challenging problem, characterized by the still limited understanding of the energetics between prote...

เปเปอร์แรกที่จะมารีวิว ก็เป็นเปเปอร์นี้เลย

Planning Chemical Synthesis with Deep Neural Network and Symbolic AI

เป็นเปเปอร์ที่พาผมเข้าสู่วงการ AI in Chemistry ซึ่งอันที่จริง ผมได้เจอเปเปอร์นี้ตอนที่ยังเป็นเวอร์ชั่น preprint

โดยตัวเปเปอร์นี้จะพูดถึงการออกแบบแผนการสังเคราะห์สารอินทรีย์ หากใครที่เคยเรียนเคมีอินทรีย์สังเคราะห์ จะรู้กันดีว่า กว่าจะได้แผนการสังเคราะห์สารที่ดี ต้องใช้ประสบการณ์และเชาว์ปัญญาเอาเรื่อง เพราะการสังเคราะห์สารขึ้นมาสักตัว จะต้องคำนึงถึงตำแหน่งที่สารจะเข้าทำปฏิกิริยาเคมี ชนิดปฏิกิริยาที่ใช้ รวมไปถึงสเตอริโอเคมีด้วย
ทีนี้ในสมัยก่อน ก็เคยมีคนคิดว่า ถ้าใช้คอมพิวเตอร์เข้ามาช่วยออกแบบแผนการสังเคราะห์สาร ก็จะเป็นประโยชน์มาก แต่มันก็ไม่ง่าย ด้วยเหตุผลที่ว่า การคำนวณหาตำแหน่งที่ดีสำหรับการเกิดปฏิกิริยาเคมีของสารอินทรีย์นั้น ไม่สามารถคำนวณได้ง่าย ๆ
แล้วเปเปอร์นี้แก้ปัญหานี้ได้อย่างไร อย่างที่ผมเคยกล่าวไว้ว่า ผมเจอเปเปอร์นี้ตั้งแต่ตอนที่มันเป็น preprint version โดยเวอร์ชั่นแรกของเปเปอร์นี้คือ Towards "AlphaChem" : Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies ซึ่งก็คุ้น ๆ กับคำว่า AlphaChem เพราะมันไปพ้องกับคำว่า AlphaGo นั่นเอง (เผื่อใครไม่รู้ว่า AlphaGo เป็นอะไร คือ AI ที่เล่นหมากล้อมชนะ Lee Sedol โดยทีม Deep mind เป็นคนคิดขึ้นมา) และหลักการของเปเปอร์นี้ก็ดันคล้ายกับหลักการทำงานของ AlphaGo ด้วย คือได้แรงบันดาลใจจาก AlphaGo สู่ AlphaChem นั่นเอง
หลักการของเปเปอร์นี้คือ จะให้ Neural Network ทำการเรียนรู้ปฏิกิริยาเคมี จากสารผลิตภัณฑ์ของปฏิกิริยาเคมีนั้น ๆ เพื่อให้ Neural Network ทำนายว่า จะใช้ปฏิกิริยาเคมีนี้ กับสารกลุ่มไหนดี และก็ทำการคำนวณสร้างสารตั้งต้น จากปฏิกิริยาที่ได้ทำนายไว้ และใช้ Neural Network อีกอัน ช่วยคำนวณว่า สารที่คำนวณออกมาได้นั้น มีความถูกต้องไหม เพราะการคำนวณเพื่อสร้างสารตั้งต้นนั้น อาจจะให้ผลลัพธ์มากกว่า 1 สาร จึงต้องใช้ Neural Network อีกตัว เพื่อคำนวณหาความเป็นไปได้ของสารที่สร้างขึ้นมา แต่ทว่า การคำนวณเพื่อหาแผนการสังเคราะห์สาร ไม่ได้จบแค่หนึ่งปฏิกิริยา มันมีจำนวนปฏิกิริยาเคมีมากกว่านั้น โดยบางครั้ง Neural Network คำนวณปฏิกิริยาเคมีที่เป็นไปได้มากกว่าหนึ่งปฏิกิริยา จึงมีการใช้ Monte-Carlo Tree Search เพื่อคำนวณหาเส้นทางที่ดีที่สุดในการสังเคราะห์สารอินทรีย์ แล้วตัวแผรการสังเคราะห์สารที่คำนวณออกมาได้นั้นน่าเชื่อถือไหม นักวิจัย ก็ได้ทำการทดสอบโดยการให้นักเคมีทำการเลือกว่า แผนการสังเคราะห์ไหนเป็นแผนการสังเคราะห์สารที่คำนวณออกมาจากงานนี้ อันไหนเป็นแผนการสังเคราะห์สารที่มาจากบทความวิจัย ซึ่งนักเคมีก็เลือกแผนการสังเคราะห์ที่คำนวณได้จากงานนี้พอ ๆ กันหรือมากกว่าด้วยซ้ำ

รีวิว:

ตอนแรกที่ผมเห็นเปเปอร์นี้ ผมรู้สึกว่า มันว้าวมาก ทำได้ไง และบวกกับกระแสที่ AI แก้ปัญหาหมากล้อมได้ด้วยอีกนี่ ยิ่งทำให้อยากรู้ว่า งานนี้ทำยังไง และอยากจะลอง Repeat งานนี้ด้วยตัวเอง จนนำมาสู่วิทยานิพนธ์ป.โท ของผมนี่แหละครับ แต่ด้วยเงื่อนไขที่ต่างกันพอสมควร คือของเขาใช้ ปฏิกิริยาเคมีจาก Reaxys แต่ของผมใช้ ปฏิกิริยาเคมีจาก US Patent และจำนวน Neural Network ที่ใช้จากสามตัว เหลือแค่สองตัวเท่านั้น เลยทำให้ได้ผลลัพธ์ที่ต่างกันพอสมควร เนื่องมาจากการจะขอข้อมูลเพื่อมาทำวิจัย มันต้องจ่ายเงินอ่ะ แล้วทางมหาวิทยาลัยไม่ได้ทำการจ่ายเงินเพื่องานนี้ (ใครมันจะไปจ่ายเงินเพื่องานเล็ก ๆ งานเดียวกัน?) ก็เลยต้องหาข้อมูลที่ฟรีแทน 555

ส่วนใครที่อยากลองอ่าน Abstract ก็เข้าไปที่ลิงค์นี้ได้ แต่หากใครอยากอ่านเปเปอร์นี้ฉบับเต็ม ก็ต้องทำใจนิดนึงเพราะเปเปอร์เก่านิด ๆ (ตีพิมพ์ตอน 2018 ซึ่งมหาวิทยาลัยก็ตามวารสารนี้ถึง 5 ปีย้อนหลัง) อาจจะต้องหาช่องทางในการอ่านเอาเองนะครับ...

Planning chemical syntheses with deep neural networks and symbolic AI - Nature Deep neural networks and Monte Carlo tree search can plan chemical syntheses by training models on a huge database of published reactions; their predicted synthetic routes cannot be distinguished from those a human chemist would design.

For anyone who follow this page.

I will create the Video about computational chemistry. So, stay tune.