Initial Import!

[yord]

ผมทำการ Initial Import! จาก Master ไป Slave เสร็จแล้ว เปรียบเทียบข้อมูลกัน 2 เครื่องไม่เท่ากันครับ
เท่าที่ตรวจสอบผ่านๆ ดู ก็จะมีตารางใหญ่ๆ เช่น ksklog, opitemrece ที่ต่างกันเป็น G เลยครับ ไม่ทราบท่านอื่นเป็นอย่างนี้บ้างหรือเปล่าครับ

[yord]

อีกอย่างครับ
ไฟล์พวกนี้ไว้ทำอะไรครับ ทำไมถึงมากจัง(อันนี้ผมทดสอบกับ Mysql XtraDB5.1.30 ครับ)

[nummon]

อีกอย่างครับ
ไฟล์พวกนี้ไว้ทำอะไรครับ ทำไมถึงมากจัง(อันนี้ผมทดสอบกับ Mysql XtraDB5.1.30 ครับ)

เป็น Binary log ครับ ใช้ในกรณี ตั้ง replication slave โดย tool ของ mysql เอง

[yord]

ขอบคุณมากครับ
ลบไม่ได้อย่างแน่นอนใช่ไหมครับ

[nummon]

ถ้าไม่ได้ทำ replication slave โดย mysql น่าจะลบได้ครับ
ต้องรอถาม อ.ชัยพรว่า replication ของ hosxp ใช้ file นี้ไหมด้วย

ถ้าลบได้ และ ไม่ใช้ replication slave โดย mysql

ใช้ คำสั่ง
PURGE BINARY LOGS TO 'mysql-bin.010';
ตัวเลขหลังเปลี่ยนเท่าที่มี

แล้ว ปิด Binary log ใน config my.cnf
#log-bin="....." 

[udomchok]

ผมทำการ Initial Import! จาก Master ไป Slave เสร็จแล้ว เปรียบเทียบข้อมูลกัน 2 เครื่องไม่เท่ากันครับ
เท่าที่ตรวจสอบผ่านๆ ดู ก็จะมีตารางใหญ่ๆ เช่น ksklog, opitemrece ที่ต่างกันเป็น G เลยครับ ไม่ทราบท่านอื่นเป็นอย่างนี้บ้างหรือเปล่าครับ

เฮ้...มีคนใช้ HeidiSQL ด้วย
แหม..มองไม่เห็นครับ ว่าเดิม size เท่าไร พอทำ initial import แล้ว เหลือเท่าไร แฟ้มสำคัญ ๆ ไม่น่าจะต่างกันมากครับ

[yord]

จากการแนะนำของอ.แหละครับ (ขออภัยถ้าจำผิดนะครับ)
ขนาดของ Database Master ขนาด 33.6 G ส่วน Database slave หลัง Initial แล้ว ได้ขนาด 30.5 G
ตารางที่ตรวจสอบ จะเป็นกับตาราง opitemrece,ksklog เป็นต้นครับ
มีขนาดห่างกัน เป็น G เลยครับ

[Khuad]

... น่าจะเป็นที่การกำหนด my.cnf  ตรง  max_allowed_packet   ไว้น้อยเกินไปครับ   
    ท่าน yord ต้องลองไปปรับเพิ่มค่าของ max_allowed_packet  ที่ [mysqldump]  ดูครับ ....

    ผมก็เคยเจอครับ ที่พอ Initial Import แล้วตาราง ksklog มีขนาดลดลง(ข้อมูลมาไม่ครบ)  เลยลองใหม่ แล้วนั่งเฝ้ามองเวลาที่กำลัง Initial Import เลย  พอถึงตาราง  ksklog ทำไปได้สักพักจะฟ้องเลยว่า ตั้งค่าของ max_allowed_packet ไว้ไม่พอ แล้วก็จะข้ามไปตารางต่อไปเรื่อยๆ จนเสร็จ   
    พอไปเพิ่มค่าของ max_allowed_packet  แล้วลองทำใหม่ก็ไม่มีปัญหา  ผ่านสบายครับ ... ...

[yord]

ขอบคุณมากครับ อ.ขวด(ขออนุญาติพิมพ์ภาษาไทยเลยนะครับ)

[เข้ม]

ถ้าไม่ได้ทำ replication slave โดย mysql น่าจะลบได้ครับ
ต้องรอถาม อ.ชัยพรว่า replication ของ hosxp ใช้ file นี้ไหมด้วย

ถ้าลบได้ และ ไม่ใช้ replication slave โดย mysql

ใช้ คำสั่ง
PURGE BINARY LOGS TO 'mysql-bin.010';
ตัวเลขหลังเปลี่ยนเท่าที่มี

แล้ว ปิด Binary log ใน config my.cnf
#log-bin="....." 

ถ้าลบแล้วอย่าลืมแก้ไขไฟล์ mysql-bin.index ด้วย
ผมเคยทดลองดูแล้ว เวลาลบ mysql-bin.xxxxxx ขึ้นอยู่กับว่าจะลบทั้งหมดหรือบางส่วน
ถ้าลบบางส่วนเช่น mysql-bin.xxxxx1 - mysql-bin.xxxx10 ก็เข้าไปแก้ไข mysql-bin.index ลบชื่อไฟล์ที่เราลบออกไปด้วย

ถ้าจำไม่ผิด mysql-bin.xxxxxx จะช่วยเราได้ตอน database crash ตอนที่ mysql จะ recovery
ข้อมูลตอนมีอาการ hang แล้ว restart ขึ้นมาใหม่
ถ้าไงรอ อ. ตอบอีกทีครับ

[yord]

ขอบคุณครับ อ.เข้ม

แล้วตรง  max_allowed_packet ขึ้นอยู่กับแรมหรือเปล่าครับ
ผมลองเข้าไปดูมันเท่ากับ 16M ผมลองเปลี่ยนเป็น 64M แล้วจะลอง Initial ใหม่ครับว่าได้หรือเปล่าครับ

[yord]

สงสัยต่ออีกนิดครับ
ว่ามันเกี่ยวกับอะไรครับ
ว่าตอนที่เราเข้าโปรแกรม HOSxP ในตอนแรกทำไมมันจะค้างไปประมาณ 1 นาที ถึงจะเข้าโปรแกรมเสร็จน่ะครับ

[Khuad]

แล้วตรง  max_allowed_packet ขึ้นอยู่กับแรมหรือเปล่าครับ

... ไม่แน่ใจเหมือนกัน       ...

ผมลองเข้าไปดูมันเท่ากับ 16M ผมลองเปลี่ยนเป็น 64M แล้วจะลอง Initial ใหม่ครับว่าได้หรือเปล่าครับ

... ที่ผมเจอ ผมตั้งไว้ 64M  เปลี่ยนเป็น 128M ก็ยังไม่ได้   ต้องเป็นเป็น 256M  ถึงผ่านแบบไม่มีปัญหา   ของผม RAM 2G ครับ ใช้ XtraDB5.1.30 เหมือนกัน กับ CentOS 4.7 ครับ ... ....

[Khuad]

สงสัยต่ออีกนิดครับ
ว่ามันเกี่ยวกับอะไรครับ
ว่าตอนที่เราเข้าโปรแกรม HOSxP ในตอนแรกทำไมมันจะค้างไปประมาณ 1 นาที ถึงจะเข้าโปรแกรมเสร็จน่ะครับ

... เป็นมานานแล้วหรือเพิ่งเป็นครับ 
     
    หลังทำ Initial Import แล้ว    ลองสั่ง  Drop Trigger  ดูด้วยนะครับ ...  ...

[yord]

เพิ่งเป็นครับ อ.ขวด(กับข้อมูลที่เพิ่งนำเข้าครับ)

[armds]

สงสัยต่ออีกนิดครับ
ว่ามันเกี่ยวกับอะไรครับ
ว่าตอนที่เราเข้าโปรแกรม HOSxP ในตอนแรกทำไมมันจะค้างไปประมาณ 1 นาที ถึงจะเข้าโปรแกรมเสร็จน่ะครับ

เพิ่ม
query_cache_size= 256M   

ดูนะครับ  (ผมก็เคย  มาก่อนครับ)

[Sandman]

แล้วตรง  max_allowed_packet ขึ้นอยู่กับแรมหรือเปล่าครับ

... ไม่แน่ใจเหมือนกัน       ...

ผมลองเข้าไปดูมันเท่ากับ 16M ผมลองเปลี่ยนเป็น 64M แล้วจะลอง Initial ใหม่ครับว่าได้หรือเปล่าครับ

... ที่ผมเจอ ผมตั้งไว้ 64M  เปลี่ยนเป็น 128M ก็ยังไม่ได้   ต้องเป็นเป็น 256M  ถึงผ่านแบบไม่มีปัญหา   ของผม RAM 2G ครับ ใช้ XtraDB5.1.30 เหมือนกัน กับ CentOS 4.7 ครับ ... ....

ต้องตั้ง max_allowed_packet ที่ master และ slave ให้เท่ากันหรือเปล่าครับ

[udomchok]

กระทู้ที่เกี่ยวข้อง
http://hosxp.net/index.php?option=com_smf&Itemid=28&topic=9849.0
http://hosxp.net/index.php?option=com_smf&Itemid=28&topic=7824.msg41441

[yord]

สงสัยต่ออีกนิดครับ
ว่ามันเกี่ยวกับอะไรครับ
ว่าตอนที่เราเข้าโปรแกรม HOSxP ในตอนแรกทำไมมันจะค้างไปประมาณ 1 นาที ถึงจะเข้าโปรแกรมเสร็จน่ะครับ

เพิ่ม
query_cache_size= 256M  

ดูนะครับ  (ผมก็เคย  มาก่อนครับ)

ยังเป็นเหมือนเดิมครับท่าน

[yord]

 

[Khuad]

... ท่าน  yord  ลองเปลี่ยน my.cnf ไปใช้เหมือนใน server จริง ตามที่ผมแนะนำในอีกกระทู้หรือยังครับ  เผื่อจะได้ทราบว่าที่ช้าเนี่ยมาจากการ config MySQL หรือเปล่า   
   
    แล้วก็ลอง Drop Trigger ดู  รวมทั้ง ดูว่าเปิดใช้งาน function GetSerialNumber อยู่หรือเปล่า หรือลองสั่ง Upgrade Structure ดูใหม่อีกสักครั้งครับ ...  ...

[Sandman]

ผมตั้ง max_allowed_packet  = 1024 แล้ว ยังมาไม่หมดเลยครับ

     *** mysql 5.1.30   32bit
            centos 5.0       32bit
            server hp ml110    32bit
            memory   4 GB

[niwat]

ของผมก็เป็นเหมือนกันครับ

ผมแก้โดยเข้า emergency  แล้ว restore ข้อมูลเก่าที่ backupไว้ก่อน แล้วค่อยสั่ง replication
ครับ.....

[nuttavut]

หลังจากทำ Initial ควร Check Slave ก่อน แล้วค่อยรัน Replicate Agent

[niwat]

ครับ ผม จา...ลองดูครับ

[มนตรี บอยรักยุ้ยคนเดียว]

หลังจากทำ Initial ควร Check Slave ก่อน แล้วค่อยรัน Replicate Agent

ผมก็ทำแบบ พี่ nuttavut

[jackkawave]

Initial Import!   หลายๆ ครั้งจะเป้นอะไรไหมครับ 

เท่าที่จำได้ผม ได้ทำ Initial Import!  ประมาณ 3 ครั้งแล้วครับ

[howtodo]

... น่าจะเป็นที่การกำหนด my.cnf  ตรง  max_allowed_packet   ไว้น้อยเกินไปครับ   
    ท่าน yord ต้องลองไปปรับเพิ่มค่าของ max_allowed_packet  ที่ [mysqldump]  ดูครับ ....

    ผมก็เคยเจอครับ ที่พอ Initial Import แล้วตาราง ksklog มีขนาดลดลง(ข้อมูลมาไม่ครบ)  เลยลองใหม่ แล้วนั่งเฝ้ามองเวลาที่กำลัง Initial Import เลย  พอถึงตาราง  ksklog ทำไปได้สักพักจะฟ้องเลยว่า ตั้งค่าของ max_allowed_packet ไว้ไม่พอ แล้วก็จะข้ามไปตารางต่อไปเรื่อยๆ จนเสร็จ   
    พอไปเพิ่มค่าของ max_allowed_packet  แล้วลองทำใหม่ก็ไม่มีปัญหา  ผ่านสบายครับ ... ...

Initial Import
ค้างที่ ksklog นานมากกำลังรออยู่เป็นชั่วโมง

[yord]

ของผมจะค้างที่ ksklog, opitemrece นานมากๆ โดยเฉพาะ opitemrece น่ะนานมากประมาณ 4-5 ชม.ได้ครับ ครั้งก่อนที่ทำ Initial Import เวลาโดยรวม คือ 8 ชั่วโมงครับ

[thannawe]

ประมาณ 6-8 ชม. ผมเครีย ksklog ออก

[yord]

คร้าบ

[howtodo]

ของผมจะค้างที่ ksklog, opitemrece นานมากๆ โดยเฉพาะ opitemrece น่ะนานมากประมาณ 4-5 ชม.ได้ครับ ครั้งก่อนที่ทำ Initial Import เวลาโดยรวม คือ 8 ชั่วโมงครับ

ทำตอนกลางคืนจะโดนเรียกมาหรือเปล่า  กลัวจัง  ขีเกียจขับรถมา 30 km ไปกลับ 60  Km ได้ค่าน้ำมัน 200 อิอิ

[yord]

ผมทำตอนกลางคืน ครับ ไม่ได้กลับบ้าน อิอิอิ

[yord]

แต่ล่าสุด เมื่อคืนทำแล้ว ยังไม่สำเร็จครับ

[yord]

ไม่ทราบว่า อ.ท่านใด มีวิธีที่จะนำเฉพาะตารางบางตาราง นำเข้าไปยัง slave (จาำก master to slave) ครับ

[udomchok]

เครื่องหลัก : ใช้สายฟ้า แล้ว select ตารางที่ต้องการ กดปุ่ม save ครับ (ได้ file เป็น .cds)
แล้วก็เอาไปใส่เครื่องที่ต้องการ
เครื่องรอง : ใช้สายฟ้า select ตารางที่ต้องการ แก้ไข select * เป็น delete กด exec
select ตารางที่ต้องการอีกครั้ง กดปุ่ท open เลือกตารางที่ save มาจากเครื่องหลัก (file .cds) กดปุ่ม append เท่านี้แหละครับ

[yord]

ขอบคุณครับ อ. ผมลืมซะสนิทเลยว่าทำแบบนี้ก็ได้ หุหุหุ

[เข้ม]

อย่าลืมดูฟิล์ดในตารางที่นำเข้า ที่เกี่ยวข้องกับตาราง serial ด้วยนะครับ 

[udomchok]

อย่าลืมดูฟิล์ดในตารางที่นำเข้า ที่เกี่ยวข้องกับตาราง serial ด้วยนะครับ 

ถูกต้องครับ

[yord]

อ.ครับ ตาราง opitemrece ของผมมีขนาด 10G ครับ เวลาเข้าในที่สายฟ้า แล้ว run ข้อมูลทั้งหมด นานมากครับ จนทำให้แฮ้งค์ไปเลยครับ ถ้าจะเป็นการ Initial Import เฉพาะตารางเข้า slave มีวิธีหรือเปล่าครับ อ.

[udomchok]

อ.ครับ ตาราง opitemrece ของผมมีขนาด 10G ครับ เวลาเข้าในที่สายฟ้า แล้ว run ข้อมูลทั้งหมด นานมากครับ จนทำให้แฮ้งค์ไปเลยครับ ถ้าจะเป็นการ Initial Import เฉพาะตารางเข้า slave มีวิธีหรือเปล่าครับ อ.

โอวววววววววว.....ถ้าใหญ่ขนาดนั้น แค่ select ตารางมาเพื่อ save ก็ยากแล้วครับ
คงต้อง initial ใหม่ครับ

[yord]

อ.ครับ ผมทำ Initial Import หลายครั้งแล้วครับ  แต่ไม่เท่ากันสักที ครับ

[yord]

ถ้าไม่ได้ทำ replication slave โดย mysql น่าจะลบได้ครับ
ต้องรอถาม อ.ชัยพรว่า replication ของ hosxp ใช้ file นี้ไหมด้วย

ถ้าลบได้ และ ไม่ใช้ replication slave โดย mysql

ใช้ คำสั่ง
PURGE BINARY LOGS TO 'mysql-bin.010';
ตัวเลขหลังเปลี่ยนเท่าที่มี

แล้ว ปิด Binary log ใน config my.cnf
#log-bin="....." 



ถ้าลบแล้วอย่าลืมแก้ไขไฟล์ mysql-bin.index ด้วย
ผมเคยทดลองดูแล้ว เวลาลบ mysql-bin.xxxxxx ขึ้นอยู่กับว่าจะลบทั้งหมดหรือบางส่วน
ถ้าลบบางส่วนเช่น mysql-bin.xxxxx1 - mysql-bin.xxxx10 ก็เข้าไปแก้ไข mysql-bin.index ลบชื่อไฟล์ที่เราลบออกไปด้วย

ถ้าจำไม่ผิด mysql-bin.xxxxxx จะช่วยเราได้ตอน database crash ตอนที่ mysql จะ recovery
ข้อมูลตอนมีอาการ hang แล้ว restart ขึ้นมาใหม่
ถ้าไงรอ อ. ตอบอีกทีครับ
อ.ครับ ตกลงว่า ลบได้หรือเปล่าครับ เจ้าตัว mysql-bin.xxxxx เนี่ยครับ

[yord]

 

[nummon]

ถ้าไม่ได้ทำ replication slave โดย mysql น่าจะลบได้ครับ

ขอแก้ไขครับ ถึงทำ replication slave ก็ลบได้ครับ
ปัจจุบันที่ รพ.ทำ slave ไว้ 3 ตัว
ถ้า show slave status ว่า slave อ่าน master log(mysql-bin.......) ถึงไฟล์ไหนแล้ว
ผมก็จะลบ โดยใช้คำสั่ง purge ถึงหรือใกล้เคียงจุดนั้นครับ

หมายเหตุ คำสั่ง purge แก้ไขไฟล์  mysql-bin.index ให้เองครับ
(ดีกว่าลบโดยใช้ file manager หรือ del ครับ)

[yord]

เหอๆ คืนนี้ลองทำ Initial Import อีกครั้ง โดยปรับ max_allow_packet = 1024M ทั้ง Master and Slave ดูซิว่า ฐานข้อมูลจะมาเท่ากันหรือไม่ หิๆๆ

[Sandman]

ผมเคยปรับ max_allow_packet = 1024M ทั้ง Master and Slave แล้วครับท่าน yord ผลที่ได้ก็เหมือนเดิมครับ คือ ตารางใหญ่ ๆ ยังมาไม่หมด

[yord]

นั่นสิครับ ตอนนี้มาถึงตาราง opitemrece ยังติดอยู่ที่ 2.3Gb ครับ ของ Master 11Gb ครับ ยังไม่ทราบว่าจะได้หรือเปล่า ถ้าเหมือนท่าน stp ว่าล่ะก็    ไม่ทราบว่าจะทำไงต่อดีครับ 

[yord]

สุดท้ายก็ยังได้ไม่ครบอย่างที่ท่าน stp ว่าแหละครับ 11G มาแค่ 6G เองครับ ทำไงต่อดีครับ อ. ยังไม่ได้ใช้ slave มาเป็นเดือนแล้วครับ มีวิธีที่นำเข้าเฉพาะตารางหรือเปล่าครับ

[manoi]

แนะนำให้ใช้ xtrabackup แทนการ Initial import ครับ รับรองข้อมูลตรงกับ เป่ะ เลยครับ