BMS-HOSxP Community

HOSxP => MySQL => ข้อความที่เริ่มโดย: Vegeta ที่ ตุลาคม 12, 2010, 10:58:24 AM

หัวข้อ: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: Vegeta ที่ ตุลาคม 12, 2010, 10:58:24 AM
ของผมขึ้นระบบปี 48 ตอนนี้ ขนาดฐานข้อมูล ประมาณ 42 GB
เวลาสำรองข้อมูลหรือย้าย Server ลำบากมากเลยครับ
ต้องสำรองกันข้ามวัน ซึ่งมีผลกระทบต่อการบริการ
มีวิธีหรือ tool ตัวใหนที่สำรองข้อมูลได้เร็วขึ้นมั้ยครับ

ปกติผมใช้ Initial Import ในเมนู Replication
 ;D ;D ;D
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: chk ที่ ตุลาคม 12, 2010, 11:01:48 AM
 ::) แนะนำตัวด้วยนะขอรับ  ::)

 ::)  ลองทำ slave server อีกตัวซิขอรับ เพื่อแก้ปัญหาเครื่องชำรุด  ::)
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: เกื้อกูล ครับ.. ที่ ตุลาคม 12, 2010, 11:05:49 AM
ลองย้าย opitemrece_arc  และ log เก่า ๆ ประมาณปี 48-51 บ้างหรือยังครับ  ย้ายไปหรือสำเนาเป็น 7z แล้วจึงค่อยลบออก จาก server จริง แค่นี้ก็มีสำเนาให้ตรวจสอบย้อนหลังเวลาเกิดปัญหาแล้วครับ..น่าจะลองดู
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: banhonghospital ที่ ตุลาคม 12, 2010, 13:24:42 PM
คิดแล้วเหนื่อยใจเมียนกัน ครับ ท่านพี่ทั้งหลาย
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: doramon ที่ ตุลาคม 12, 2010, 14:31:12 PM
แนะนำตัวด้วยนะขอรับ
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: manoi ที่ ตุลาคม 12, 2010, 14:34:21 PM
จริงๆ แล้วเราสามารถแก้ปัญหานี้ได้โดยการ โอนข้อมูลที่ไม่ได้ใช้ออกไปไว้ในเครื่อง archive server ต่างหากครับ แล้วให้คงข้อมูลหลักไว้ในเครื่อง Server master เฉพาะข้อมูลที่อยู่ในช่วงที่ต้องใช้งานจริงๆ ( 1 - 3 ปี ย้อนหลัง)  ถ้าต้องการประวัติเก่า ก็ connect ไปใช้งานจาก archive server นี้ครับ
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: แอดวิน รพ.สหัสขันธ์ ที่ ตุลาคม 12, 2010, 14:54:10 PM
มันโตขึ้นทุกวัน :D
[root@localhost ~]# df -h /var/lib/mysql
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      222G  9.7G    201G   5% /
ส่วนนี่ มันล้นไป swap น่าจะซัก 1.8 G เข้าแล้วครับ
V
V
IBM X3400 Xeon ram
Mem:   2048916k total,  1830028k used,   218888k free,     3044k buffers
Swap:  4095992k total,  1803928k used,  2292064k free,   116336k cached
ถ้าสมมุติว่ามันใช้ Swap หมดแล้ว ระบบ Hos จะเป็นอย่างไหร่ครับท่านผู้รู้ทั้งหลาย :D
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: manoi ที่ ตุลาคม 12, 2010, 14:55:16 PM
ram 2G นี่ผมคิดว่าน้อยไปนะครับ
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: เกื้อกูล ครับ.. ที่ ตุลาคม 12, 2010, 15:20:31 PM
จริงๆ แล้วเราสามารถแก้ปัญหานี้ได้โดยการ โอนข้อมูลที่ไม่ได้ใช้ออกไปไว้ในเครื่อง archive server ต่างหากครับ แล้วให้คงข้อมูลหลักไว้ในเครื่อง Server master เฉพาะข้อมูลที่อยู่ในช่วงที่ต้องใช้งานจริงๆ ( 1 - 3 ปี ย้อนหลัง)  ถ้าต้องการประวัติเก่า ก็ connect ไปใช้งานจาก archive server นี้ครับ

แสดงว่าเราต้องเสีย replicate server ไป 1 ตัว เพื่อเก็บข้อมูลเก่า..หรือว่าปล่อย sync ข้อมูลใหม่ต่อไปเรื่อย ๆ ท้ายสุดก็จะวิ่งไม่ไหวหรือเปล่าครับ ..หรือว่าไม่
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: แอดวิน รพ.สหัสขันธ์ ที่ ตุลาคม 12, 2010, 15:24:24 PM
อ้างถึง
ram 2G นี่ผมคิดว่าน้อยไปนะครับ
  ;D โอ้ว อาจารย์มาคอมเมนต์เองเลย เจริญละครับผมทีนี้  ;D

ผมไม่รู้จริง ๆ ครับ ว่าทฤษฎี ต้องใช้เท่าไหร่จึงจะเหมาะสม หรือ วิ่งปรื้ดๆ  เลย
ครับ อาจารย์

มีท่านนึงเคยแนะไว้อย่างน้อย ต้องครึ่งหนึ่ง ของฐานข้อมูล
ถ้าแบบนี้ แล้ว RAM DDR 1 DDR 2 DDR 3  โดยที่ มีขนาด จุที่ 2 G เท่ากัน มันส่งผลต่างกันตรงไหนหรือครับ
หรือว่า มัน ท่อข้อมูลมันเพิ่มขึ้น จาก 1 ช่อง เป็น 3 ช่องเท่านั้น
หรือว่า Bus ที่มันประมวลผล ได้เร็วต่างกันเท่านั้นครับ งงจริง ๆ กับ ความจุ แต่ไปแปรผันกับ ฐานข้อมูล :D
ขอความกระจ่างทีครับ
SERVER ตัวนี้เพิ่มได้ 96 G ถ้าเป็นแบบนี้ ก็แสดงว่า
 ฐานข้อมูลรองรับได้ เพียง 192 G เท่านั้นสิครับ :D (สมมุติเฉยๆ นะครับ เพราะว่าอาจารย์ได้แนะนำไว้แล้ว)
ถามต่อนะครับ

 archive server  มันคืออะไรครับ ใช่ slave Server หรือเปล่า
มันมีคุณสมบัติยังไง ครับ ถามเผื่ออนาคต
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: dotAtainer ที่ ตุลาคม 12, 2010, 15:27:34 PM
 ;D ;D ;D ;D ท่านพี่ผมมาเวอร์ชั่นอะไรล่ะเนี่ย  ;D ;D ;D  memory 2GB ยังต้องเพิ่มครับไม่งั้นลากกันไปไม่ไหว

มันโตขึ้นทุกวัน :D
[root@localhost ~]# df -h /var/lib/mysql
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      222G  9.7G    201G   5% /
ส่วนนี่ มันล้นไป swap น่าจะซัก 1.8 G เข้าแล้วครับ
V
V
IBM X3400 Xeon ram
Mem:   2048916k total,  1830028k used,   218888k free,     3044k buffers
Swap:  4095992k total,  1803928k used,  2292064k free,   116336k cached
ถ้าสมมุติว่ามันใช้ Swap หมดแล้ว ระบบ Hos จะเป็นอย่างไหร่ครับท่านผู้รู้ทั้งหลาย :D

หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: เข้ม ที่ ตุลาคม 12, 2010, 15:36:14 PM
มันโตขึ้นทุกวัน :D
[root@localhost ~]# df -h /var/lib/mysql
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      222G  9.7G    201G   5% /
ส่วนนี่ มันล้นไป swap น่าจะซัก 1.8 G เข้าแล้วครับ
V
V
IBM X3400 Xeon ram
Mem:   2048916k total,  1830028k used,   218888k free,     3044k buffers
Swap:  4095992k total,  1803928k used,  2292064k free,   116336k cached
ถ้าสมมุติว่ามันใช้ Swap หมดแล้ว ระบบ Hos จะเป็นอย่างไหร่ครับท่านผู้รู้ทั้งหลาย :D


น่าจะเข้าใจอะไรผิด ... นะครับ

พื้นที่ที่ใช้ทำ swap น่าจะคล้าย ๆ กับ Virtual Memory นะครับ
ถ้าระบบเรียกใช้ Ram จนหมด หรือ ไม่พอ ระบบจะไปใช้บริการของ swap  
ถ้า swap หมดแล้วก็ hang ครับ ...  ;D ;D
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: manoi ที่ ตุลาคม 12, 2010, 15:43:16 PM
คือ โดย concept Database server ไม่ควรจะมีการใช้งาน Swap memory ครับ (อาจจะมีได้บ้างเล็กน้อย)  ถ้ามีการใช้งาน swap memory แสดงว่า หน่วยความจำไม่พอ หรือ Tune mysql ไม่ถูกต้องครับ

ถัดมาเรื่องหน่วยความจำของเครื่อง Server ควรจะมีเท่าไหร่นั้น ขึ้นอยู่กับว่า working set ของข้อมูลมีขนาดเท่าไหร่ครับ ถ้า Working set ของข้อมูลมีเยอะ แต่ Server มีหน่วยความจำน้อย ประสิทธิภาพของระบบก็จะไม่ดีครับ  นั่นหมายความว่าถ้าเราเก็บข้อมูลเพิ่มขึ้นไปเรื่อยๆ โดยไม่เอาข้อมูลที่ไม่ได้ใช้ออกไปเสียบ้าง เราก็ต้องเพิ่ม Ram เครื่อง server เป็นระยะๆ ด้วยเช่นกันครับ เพื่อให้หน่วยความจำมันเหมาะสมกับ Working set ของข้อมูล  (โดย Ideal แล้ว ถ้าหน่วยความจำ >= Working set จะได้ประสิทธิภาพที่ดีที่สุดครับ)
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: แอดวิน รพ.สหัสขันธ์ ที่ ตุลาคม 12, 2010, 15:53:05 PM
อ้างถึง
พื้นที่ที่ใช้ทำ swap น่าจะคล้าย ๆ กับ Virtual Memory นะครับ
มันก็ความหมายเดียวกันเลยนี่ครับ  ;D
swap = แบ่งมาจาก HDD = ศัพท์ ของ Linux
Virtual Memory = แบ่งมาจาก HDD = มันเป็นศัพท์ Windows

อ้างถึง
ถ้าระบบเรียกใช้ Ram จนหมด หรือ ไม่พอ ระบบจะไปใช้บริการของ swap 
ถ้า swap หมดแล้วก็ hang ครับ ...

อิอิ ผมก็ว่างั้น
ผมว่าอยากให้อาจารย์น่าเขียนคลิปกันไว้เอ้ย สคริป :D ว่าให้ Server สามารถแบ่ง เมมโมรี่มาช่วยกันบ้าง
ไม่ใช่จะเอาอย่างเดียว :D :D
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: dotAtainer ที่ ตุลาคม 12, 2010, 16:12:23 PM
 ;D ;D ;D การใช้งาน memory มันขึ้นอยู่กับ workload ของ user ที่เข้ามาใช้งาน server นะครับท่านพี่ไม่เกี่ยวโดยตรงกับ hosxp หรอกนะ คลิปเอ้ยสคลิปนั่นก็ไม่เกี่ยวครับ อีกอย่างไม่ใช่คีย์งานรักษานะครับยังมีดึงรายงาน ประมวลผล 12 , 18 แฟ้ม และอื่นเท่าที่ต้องการใช้ทุกอย่างมีผลต่อ memory ทั้งนั้นนะครับ อีกอย่างถ้าจะให้ใช้ swapdisk ล่ะก็มันช้ากว่าแรมเป็นร้อยเท่าเลยไม่เหมาะครับเอาไว้ฉุกเฉินจริงๆค่อยเรียกมาใช้บ้างเท่านั้น

อ้างถึง
พื้นที่ที่ใช้ทำ swap น่าจะคล้าย ๆ กับ Virtual Memory นะครับ
มันก็ความหมายเดียวกันเลยนี่ครับ  ;D
swap = แบ่งมาจาก HDD = ศัพท์ ของ Linux
Virtual Memory = แบ่งมาจาก HDD = มันเป็นศัพท์ Windows

อ้างถึง
ถ้าระบบเรียกใช้ Ram จนหมด หรือ ไม่พอ ระบบจะไปใช้บริการของ swap 
ถ้า swap หมดแล้วก็ hang ครับ ...

อิอิ ผมก็ว่างั้น
ผมว่าอยากให้อาจารย์น่าเขียนคลิปกันไว้เอ้ย สคริป :D ว่าให้ Server สามารถแบ่ง เมมโมรี่มาช่วยกันบ้าง
ไม่ใช่จะเอาอย่างเดียว :D :D
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: มนตรี บอยรักยุ้ยคนเดียว ที่ ตุลาคม 12, 2010, 20:56:18 PM
ram 2G นี่ผมคิดว่าน้อยไปนะครับ

ผมว่าอย่างต่ำน่าจะ 6-8 G สำหรับ Master
Slave ก็ 2 G ก็ได้
หัวข้อ: Re: ฐานข้อมูลเติบโตกันขนาดใหนแล้วครับ
เริ่มหัวข้อโดย: dotAtainer ที่ ตุลาคม 13, 2010, 12:36:02 PM
ถูกแล้วครับผมว่าก็น่าจะประมาณนั้น server ถึงจะไม่ต้องทำงานเกินตัว

ram 2G นี่ผมคิดว่าน้อยไปนะครับ

ผมว่าอย่างต่ำน่าจะ 6-8 G สำหรับ Master
Slave ก็ 2 G ก็ได้