การกำหนดค่าการทำงานของ MySQL กับ CPU หลาย Core

[manoi]

ปัจจุบันนี้หาก รพ. จะซื้อเครื่อง Server ตัวใหม่ ผมแนะนำเลยว่า ควรจะมี 4 Core ขึ้นไป (และน่าจะเป็น 64 bit อยู่แล้ว)  ในทางทฤษฏี เมื่อเครื่อง Server มี Core มากขึ้น (หมายถึงระบบมองเห็นจำนวน CPU ที่มากขึ้น) ตัว MySQL ก็ควรจะทำงานได้มีประสิทธิภาพมากขึ้น  แต่ในการใช้งานจริงกลับไม่เป็นเช่นนั้น เนื่องจาก ณ ปัจจุบัน Innodb Storage engine ของ MySQL จะมีปัญหาในเรื่องประสิทธิภาพการทำงานกับเครื่อง Server ที่มี CPU มากกว่า 1 ตัว เนื่องมาจากการออกแบบระบบแต่เดิมไม่ได้ออกแบบเผื่อเอาไว้ แต่ก็มีทางออกครับ  หาก รพ.มีเครื่อง Server ที่ CPU มี 2 Core ขึ้นไป และกำหนดให้ตารางที่ใช้งานมี Engine เป็น innodb แล้ว (กดปุ่ม high performance ในระบบ CheckDB ของ HOSxP) และคิดว่าระบบยังทำงานได้ไม่ดีพอ  ลองเพิ่มหรือแก้ไข Option นี้ในแฟ้ม my.cnf  ครับ  (สำหรับ mysql 5.0.5x ขึ้นไป หรือ mysql 5.1.25 ขึ้นไป)

innodb_thread_concurrency = 0

(จากการติดตามตัว Patch แก้ไขปัญหานี้จะอยู่ใน MySQL 5.1.28 ครับ)

ถัดมา เนื่องจากปัจจุบันตารางในระบบ HOSxP มีมากกว่า 1,200 ตาราง และหากเปิดตัวเลือก table_cache=xxxx ใน MySQL  อาจจะมีปัญหากับ Resource ของ Linux ที่ค่ามาตรฐานจะยอมให้เปิดแฟ้มพร้อมๆ กันได้ไม่เกิด 1024 แฟ้ม  ดังนั้นเมื่อใช้งานระบบไปสักพักอาจจะพบกับปัญหา mysql error 145  ซึ่งทางแก้ปัญหานี้ให้ใช้คำสั่ง ulimit ที่เครื่อง Server เพื่อเพิ่มจำนวนแฟ้มที่สามารถเปิดใช้งานพร้อมกันได้ครับ ด้วยคำสั่งนี้


ulimit -n 30000

และเพื่อให้มีผลเริ่มต้นทุกครั้งที่เปิดเครื่องใหม่ อาจจะใส่คำสั่งนี้ไว้ในแฟ้ม /etc/rc.d/rc.local  (บรรทัดสุดท้าย) ก็ได้ครับ

หมายเหตุ เพื่อความรวดเร็วในการนำค่าไปใช้ ผมรวบรวมให้แล้วครับ ตามนี้

max_connections=1000

innodb_file_per_table
innodb_thread_concurrency = 0
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 50
innodb_flush_method=O_DIRECT
innodb_doublewrite=0
innodb_support_xa = 0
innodb_open_files = 2000
innodb_locks_unsafe_for_binlog=1

join_buffer_size = 2M
concurrent_insert = 2

max_heap_table_size = 512M

[doramon]

ขอบคุณครับ

[Khuad]

.....ขอบคุณครับ..... .....

[มดตานอย ครับ..]

สุดยอด...มีอะไรที่คิดและปรับแต่ง  server อีกมาก......ขอบพระคุณครับ

[manoi]

อีก 2 ตัวที่ไม่ค่อยมีคนสนใจแต่ทำให้ MySQL ทำงานเร็วขึ้นครับ

ตัวแรก

innodb_flush_log_at_trx_commit=2

จะทำให้ MySQL เขียน Log ทุก 1 วินาที แทนที่จะทุก Transaction

ตัวถัดมา

max_heap_table_size = 128M

ช่วยให้บาง Query ทำงานได้เร็วขึ้นครับ

[thannawe]

เป็นความรู้ที่ดีมากครับ ขอบคุณมากครับ 

[skypec]

ขอบคุณครับ อาจจะแก้ด้วยตนเองไม่ได้ละ กลัวมีปัญหาอีก ถ้ามีไฟล์ให้ก็ดีนะครับ 

[Khuad]

... ขอบคุณ  อ.mn  อีกครั้งครับ ....  .....

[manoi]

อีกตัวครับ
innodb_flush_method=O_DIRECT
จะปิดการทำงานของระบบ double buffering ของ MySQL ครับ (ทำให้ระบบโดยรวมเร็วขึ้น)

ตามด้วย

innodb_doublewrite=0

จะทำให้ innodb เขียนข้อมูลใน table space แค่ครั้งเดียว แทนที่จะเขียนสองครั้ง

[อู๋kokha50]

อีกตัวครับ
innodb_flush_method=O_DIRECT
จะปิดการทำงานของระบบ double buffering ของ MySQL ครับ (ทำให้ระบบโดยรวมเร็วขึ้น)

ตามด้วย

innodb_doublewrite=0

จะทำให้ innodb เขียนข้อมูลใน table space แค่ครั้งเดียว แทนที่จะเขียนสองครั้ง

ถาม อ.ชัยพร ว่า หากทำเป็น innodb แล้ว
จะสามารถเพิ่ม

innodb_flush_method=O_DIRECT

innodb_doublewrite=0

ได้เลยหรือป่าวครับ

แล้วจะแทรกไว้ บรรทัดไหน ครับ

[อู๋kokha50]

ถาม อ.ชัยพร ว่า หากทำเป็น innodb แล้ว
จะสามารถเพิ่ม

innodb_flush_method=O_DIRECT

innodb_doublewrite=0

ได้เลยหรือป่าวครับ

แล้วจะแทรกไว้ บรรทัดไหน ครับ

ตอบเองครับ
ทดสอบแล้วครับ เพิ่มได้เลย ไม่มีปัญหากับ innodb

กราฟเช้าวันนี้ช่วง ชั่วโมงทอง 08.00-09.00 น.

[manoi]

มีใครลอง XtraDB หรือยังครับ

http://www.mysqlperformanceblog.com/2008/12/16/announcing-percona-xtradb-storage-engine-a-drop-in-replacement-for-standard-innodb/

เห็นเค้าบอกว่าประสิทธิภาพ จะดีกว่า InnoDB ของ MySQL ในเครื่อง Server ที่มี 4 Core ขึ้นไป

[เข้ม]

สอบถาม อ. ชัยพร ครับ
ค่าปกติในการ transaction_isolation ควรเป็นค่าใดครับ (READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE)
ใน my.cnf ผมใช้เป็น

transaction_isolation = REPEATABLE-READ

ขอคำแนะนำด้วยครับ

[เข้ม]

มีใครลอง XtraDB หรือยังครับ

http://www.mysqlperformanceblog.com/2008/12/16/announcing-percona-xtradb-storage-engine-a-drop-in-replacement-for-standard-innodb/

เห็นเค้าบอกว่าประสิทธิภาพ จะดีกว่า InnoDB ของ MySQL ในเครื่อง Server ที่มี 4 Core ขึ้นไป

สอบถาม อ. ชัยพร ครับ
หลังจากที่ติดตั้ง Plugins percona xtradb แล้ว ใน my.cnf เข้าแนะนำว่าต้องปรับเป็น

default_storage_engine=InnoDB
innodb_file_per_table=1
innodb_file_format=barracuda
innodb_strict_mode=1

ตามนี้หรือป่าวครับ จะมีผลต่อ hos หรือป่าวครับ

จาก http://www.innodb.com/doc/innodb_plugin-1.0/innodb-plugin-installation.html

ผมสังเกตว่าเขาใช้แตกต่างกันใน my.cnf ระหว่าง
default_storage_engine=InnoDB   ขีดล่าง
default-storage-engine=InnoDB  ขีดกลาง

หรือว่าใช้ได้เหมือนกัน ขอคำแนะนำจากท่านอื่น ๆด้วยครับ

[เข้ม]

มีใครลอง XtraDB หรือยังครับ

http://www.mysqlperformanceblog.com/2008/12/16/announcing-percona-xtradb-storage-engine-a-drop-in-replacement-for-standard-innodb/

เห็นเค้าบอกว่าประสิทธิภาพ จะดีกว่า InnoDB ของ MySQL ในเครื่อง Server ที่มี 4 Core ขึ้นไป

อ. เห็นเป็นอย่างไรบ้างครับ


ผมกำลังจะทดสอบกับ slave
จะทดสอบแบบ ที่ติดตั้ง mysql ไปแล้ว โดยคำแนะนำตามนี้

-------------------------------------------------------------------------------------
8.2.1. Installing the Binary InnoDB Plugin Dynamically on Unix or Linux

For Unix and Linux systems, use the following procedure to dynamically install the InnoDB Plugin:

   1. Download, extract and install the suitable MySQL executable for your server platform and operating system from the MySQL website. Be sure to use a 32-bit or 64-bit version as appropriate for your hardware and operating system.
   2. Make sure the MySQL server is not running. You do a “slow” shutdown by issuing the following command before performing the shutdown:

      SET GLOBAL innodb_fast_shutdown=0;

   3. Download and extract the files for the InnoDB Plugin from the InnoDB Plugin download page, which indicates the names of corresponding InnoDB Plugin and MySQL archive files. At this time, the InnoDB Plugin has not been compiled or tested with the Intel C Compiler (icc), so you should use a version of MySQL compiled with the GNU Compiler Collection (gcc).
   4. Copy the file ha_innodb.so to the folder where MySQL looks for plugins, which is generally the lib/plugin subdirectory of the directory specified by basedir where the MySQL server is installed.
   5. Start the MySQL server while it is configured to skip loading InnoDB and to make MyISAM the default storage engine. This can be done by editing the option file my.cnf to contain these two lines:

      skip_innodb
      default_storage_engine=MyISAM

      Alternatively, you can use the equivalent options on the MySQL command line:

      mysqld --skip-innodb --default-storage-engine=MyISAM …

   6. Install the InnoDB Plugin and the new InnoDB Information Schema tables, all of which are implemented in ha_innodb.so. You should use the following commands:

      INSTALL PLUGIN INNODB SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_TRX SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_LOCKS SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_LOCK_WAITS SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_CMP SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_CMP_RESET SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_CMPMEM SONAME 'ha_innodb.so';
      INSTALL PLUGIN INNODB_CMPMEM_RESET SONAME 'ha_innodb.so';

      Note that the above commands are provided with the InnoDB Plugin in an SQL script (install_innodb_plugins.sql). See the MySQL Manual section on INSTALL PLUGIN Syntax for information on how these commands work.
---------------------------------------------------------------------------------------
โดยผมเริ่มตั้งแต่ข้อ 4
ผมตรวจสอบ show plugin; แล้ว เป็นดังนี้
mysql> show plugin;
+------------+--------+----------------+---------+---------+
| Name       | Status | Type           | Library | License |
+------------+--------+----------------+---------+---------+
| binlog         | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| ARCHIVE    | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| CSV           | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| MEMORY    | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| InnoDB     | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| MyISAM     | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
| MRG_MYISAM | ACTIVE | STORAGE ENGINE | NULL    | GPL     |
+------------+--------+----------------+---------+---------+

เจ๊ง ..หรือ เจ๋ง จะมาบอกครับ
ขอให้ผมโชคดีครับ 

[manoi]

น่าจะใช้ได้แล้วนะครับ ลอง Restore ข้อมูลดูหรือยังครับ

[atit]

รอรายงานผลครับ

[manoi]

เพิ่ม Configuration อีก 2 ตัวครับ


join_buffer_size = 2M

กับ

concurrent_insert = 2

[เข้ม]

my.cnf ที่ใช้อยู่ปัจจุบัน

[client]
#password   = [your_password]
port      = 3306
socket   = /tmp/mysql.sock

[mysqld]

port      = 3306
socket   = /tmp/mysql.sock
default-storage-engine = INNODB
default_table_type = INNODB

back_log = 50
#skip-networking
max_connections = 1500
max_connect_errors = 10
table_cache = 2048
#external-locking
max_allowed_packet = 256M
binlog_cache_size = 1M
max_heap_table_size = 256M
sort_buffer_size = 1M
join_buffer_size = 8M

thread_cache_size = 8
thread_concurrency = 8
query_cache_size = 2G

default-character-set=tis620
#skip-name-resolve
skip-character-set-client-handshake
init_connect = 'SET NAMES tis620'

#query_cache_limit = 2M

ft_min_word_len = 4
#memlock
thread_stack = 192K

transaction_isolation = REPEATABLE-READ
tmp_table_size = 64M
log-bin=mysql-bin
log_bin_trust_function_creators = 1
binlog_format=mixed
#log_slave_updates
#log
#log_warnings
slow_query_log
long_query_time = 2
log_long_format
#tmpdir = /tmp


# ***  Replication related settings

server-id = 1
#server-id = 2
#master-host = <hostname>
#master-user = <username>
#master-password = <password>
#master-port = <port>
#read_only

#*** MyISAM Specific options

key_buffer_size = 2G
read_buffer_size = 1M
read_rnd_buffer_size = 1M
bulk_insert_buffer_size = 64M
myisam_sort_buffer_size = 1G
myisam_max_sort_file_size = 10G
myisam_max_extra_sort_file_size = 10G
myisam_repair_threads = 1
myisam_recover


# *** INNODB Specific options ***

#skip-innodb
innodb_additional_mem_pool_size = 32M
innodb_file_per_table
innodb_buffer_pool_size = 10G
innodb_data_file_path = ibdata1:10M:autoextend
innodb_data_home_dir = /usr/local/var
innodb_file_io_threads = 4
#innodb_force_recovery=1
innodb_thread_concurrency = 16
#innodb_thread_concurrency = 0
innodb_flush_log_at_trx_commit = 2
innodb_fast_shutdown = 0
innodb_log_buffer_size = 8M
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
innodb_log_group_home_dir = /usr/local/var
innodb_max_dirty_pages_pct = 90
innodb_doublewrite = 0
innodb_flush_method=O_DSYNC
innodb_lock_wait_timeout = 120


[mysqldump]
quick
max_allowed_packet = 256M

[mysql]
no-auto-rehash
#safe-updates

[isamchk]
key_buffer = 512M
sort_buffer_size = 512M
read_buffer = 8M
write_buffer = 8M

[myisamchk]
key_buffer = 512M
sort_buffer_size = 512M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
open-files-limit = 8192

มีปัญหาเหมือนกัน ... ซึ่งการปรับน่าจะยังไม่ลงตัวเท่าใดนัก ทดลองใช้มาเกือบอาทิตย์แล้ว
จะเป็นตอนเข้าใช้ สายฟ้า ตอนกดให้ run, execute บางครั้งก็เร็วปรู๊ดปร๊าด บางครั้งก็รอประมาณ 15 วินาทีกว่าจะแสดงสิ่งที่ query ได้ ขนาดใช้แค่ select * from xxxx limit 2 ยังนานเลยครับ
มีอีกอย่างครับ ช่วงทีมีคนใช้งานเยอะ จะเข้า HOSxP ได้เร็วมาก แต่เวลาคนใช้น้อย กลับเข้า HOSxP ได้ช้า ..
มันแปลกดี....ซึ่งผมไม่เข้าใจ และไม่รู้จริง ๆ ว่าเกิดจากอะไร จะว่าเป็นที่ Network? หรือป่าว

รบกวนดู workload ให้ด้วยครับ ว่าปกติหรือป่าว
รูปแรก ผมเปรียบเทียบ workload วันอาทิตย์ - วันจันทร์ - วันอังคาร   
รูปสอง ของวันอังคารวันเดียว ซึ่งลักษณะกราฟ เป็นแบบที่เห็นครับ ไม่ทราบว่าเป็นที่อะไรครับ
แต่ดูในรูปแรก ก็ไม่เห็นนะครับ อาจจะเป็นเพราะการปรับ display interval ก็เป็นได้ จึงทำให้ไม่เห็นรายละเอียดเหมือนรูปสอง

[เข้ม]

รอรายงานผลครับ

ทดลองแล้ว ไม่ได้เรื่องครับ ...ไม่ใช่ของเขาไม่ได้เรื่องนะครับ
แต่เป็นที่ผม อาจทำไม่เป็นครับ ติดตรงที่เกิด error ตามที่เว็บได้แนะนำไว้ แต่ก็แก้ตามนั้นแล้วก็ไม่หาย

http://www.innodb.com/doc/innodb_plugin-1.0/innodb-plugin-installation.html

..เอาไว้ลองใหม่ครับ 

http://www.mysqlperformanceblog.com/mysql-patches/#comment-459249

ผมถามเขาว่า มันจะใช้ได้ดีกับ MySQL 5.1.30 GA ที่รันบน FreeBSD หรือป่าว
เขาบอกว่าอาจจะมีบ้างที่จะไม่เข้ากัน ซึ่งเขาก็ไม่ได้ทดสอบ patch

คงต้องลองดูอ่ะครับ

[atit]

รอรายงานผลครับ

ทดลองแล้ว ไม่ได้เรื่องครับ ...ไม่ใช่ของเขาไม่ได้เรื่องนะครับ
แต่เป็นที่ผม อาจทำไม่เป็นครับ ติดตรงที่เกิด error ตามที่เว็บได้แนะนำไว้ แต่ก็แก้ตามนั้นแล้วก็ไม่หาย

http://www.innodb.com/doc/innodb_plugin-1.0/innodb-plugin-installation.html

..เอาไว้ลองใหม่ครับ 

http://www.mysqlperformanceblog.com/mysql-patches/#comment-459249

ผมถามเขาว่า มันจะใช้ได้ดีกับ MySQL 5.1.30 GA ที่รันบน FreeBSD หรือป่าว
เขาบอกว่าอาจจะมีบ้างที่จะไม่เข้ากัน ซึ่งเขาก็ไม่ได้ทดสอบ patch

คงต้องลองดูอ่ะครับ

ขอบคุณที่รายงานครับ

[manoi]

ลืมเปิด skip-name-resolve หรือเปล่าครับ

[doramon]

ทดสอบดูครับ
มีเครื่อง สอง เครื่องจะสนุก หรือครับ

ทำระบบ  เครื่อง  server ทำงานพร้อมกัน 5 เครื่อง เครืื่องไหนเสียก็เสียไปทุกคนก็ทำงาำนต่อไปได้ครับ


เสียดาย รพ ผมมีสองเครื่อง  รพ ใหญ่ๆๆ ใครสนใจบ้าง

16G เครื่อง 5 ตัว



 

[SrWooD]

ทดสอบดูครับ
มีเครื่อง สอง เครื่องจะสนุก หรือครับ
ทำระบบ  เครื่อง  server ทำงานพร้อมกัน 5 เครื่อง เครืื่องไหนเสียก็เสียไปทุกคนก็ทำงาำนต่อไปได้ครับ
เสียดาย รพ ผมมีสองเครื่อง  รพ ใหญ่ๆๆ ใครสนใจบ้าง
16G เครื่อง 5 ตัว

ต้องอย่างต่ำ 5 เครื่องหรือครับ อ.อ๊อด

คงต้องเก็บตังค์ซื้อก่อนครับ

 

[เข้ม]

ลืมเปิด skip-name-resolve หรือเปล่าครับ

อ. ครับ ถ้าผมเปิด skip-name-resolve ใน hostname.err จะขึ้นว่า warning แต่ถ้าผมไม่เปิด ก็จะไม่ขึ้นมาเตือนครับ
ผมเข้าใจเองนะครับ ...ว่า เนื่องจาก network ของผมไม่มี DNS Server ถ้าผมปิด ก็น่าจะดีกว่า

แต่หลังจากที่อ. ตอบกระทู้นี้แล้วผมได้ เปิด skip-name-resolve แล้วเข้าไปดูใน hostname.err ก็ยังมี warning อยู่
ผมเลยไปลบ record ที่ม mysql สร้างตอน ติดตั้ง install_database ที่ hostname เป็นชื่อเครื่องออก เหลือไว้แต่
ที่เป็น localhost กับ ที่เป็น ip%

และก็ได้ drop database ที่ชื่อ test ออก ซึ่งผมว่าอันนี้ ไม่น่าเกี่ยวกัน แต่ก็ลบไปเลย ไม่รู้จะเอาไว้ทำไม 

แล้วทดสอบใหม่  ก็...หายครับ อ. ไม่มี warning เดี๋ยวผมจะลองกับ master ดูครับ

อ้อ .. เรื่องปัญหาที่ผมพบว่ามันช้า ๆ เมื่อก่อนไม่เป็นนะครับ และผมก็ปิด skip-name-resolve ตั้งแต่เริ่มใช้เลย

ขอบคุณ อ. ชัยพรครับ

[manoi]

เพิ่มอีก 2 ตัวสุดท้ายครับ

innodb_support_xa = 0
innodb_locks_unsafe_for_binlog = 1

[doramon]

ขอบคุณมากครับ

[มนตรี บอยรักยุ้ยคนเดียว]

ผมได้ทดลอง my.cnf ใหม่แล้วได้ผลเป็นที่น่าพอใจ

[yord]

ว้าวๆๆ 16G 5 เครื่องเลยเหรอครับ กระเป๋า รพ.แห้งแน่ๆ

[เข้ม]

ผมได้ทดลอง my.cnf ใหม่แล้วได้ผลเป็นที่น่าพอใจ

เช่นกันครับ ... เมื่อคืน..ปรับ my.cnf ของ master ได้ผลดังรูป (ผู้ป่วยประมาณ 950 คน)
ปัญหาต่าง ๆ ที่เคยโพสไว้ก่อนหน้านี้ ..รูดปื๊ด... รูดปื๊ด
คงต้องรอดูสัก 2-3 วัน จะเป็นอย่างไรบ้าง
ขอบคุณ อ.ชัยพร ครับ (ถึงแม้ว่าที่อ.ให้มาเราจะรู้บ้าง...ไม่รู้บ้าง..ว่าเอาไว้ทำอะไร แต่เราก็ทำตามครับ ...
เพราะ อ. น่าจะทดสอบมาบ้างแล้ว ...แล้วค่อยไปหาอ่านทีหลัง... )

[udomchok]

อ่ะ...โห...ติดดินเลยเนี่ย อยากได้แบบนี้มั่งจัง

[atit]

ผมได้ทดลอง my.cnf ใหม่แล้วได้ผลเป็นที่น่าพอใจ

เช่นกันครับ ... เมื่อคืน..ปรับ my.cnf ของ master ได้ผลดังรูป (ผู้ป่วยประมาณ 950 คน)
ปัญหาต่าง ๆ ที่เคยโพสไว้ก่อนหน้านี้ ..รูดปื๊ด... รูดปื๊ด
คงต้องรอดูสัก 2-3 วัน จะเป็นอย่างไรบ้าง
ขอบคุณ อ.ชัยพร ครับ (ถึงแม้ว่าที่อ.ให้มาเราจะรู้บ้าง...ไม่รู้บ้าง..ว่าเอาไว้ทำอะไร แต่เราก็ทำตามครับ ...
เพราะ อ. น่าจะทดสอบมาบ้างแล้ว ...แล้วค่อยไปหาอ่านทีหลัง... )

ขอยืมคุณตั๊กมาช่วย ทำให้บ้างได้ใหมครับ 555

[มนตรี บอยรักยุ้ยคนเดียว]

ผมทดสอบแล้ว
ขอตัวช่วยโพสต์กราฟตัวใหม่สุดๆโครตนิ่งเลย
แล้วเดี๋ยวจะเอาขึ้นเวปแจกครับ อิอิ

[thannawe]

เห็นเค้าเล่นก็อยากเล่นมั่ง คับ
 
ขอบคุณสำหรับความรู้ครับ แล้วจะลองทดสอบบ้างครับ