Forgot Password ??

PHP , ASP , ASP.NET, VB.NET, C#, Java , jQuery , Android , iOS , Windows Phone

	Registered : 109,038

HOME > PHP > PHP Forum > ขอคำแนะนำครับ เรื่องการ วนลูบ เพื่อบันทึกข้อมูลจำนวนมาก ในครั้งเดียว

ขอคำแนะนำครับ เรื่องการ วนลูบ เพื่อบันทึกข้อมูลจำนวนมาก ในครั้งเดียว

เริ่มหัวข้อใหม่

Likito

โพสกระทู้ ( 335 )
บทความ ( 0 )

ผมเขียนโปรแกรม ด้วย php ทำการอ่านไฟล์ ที่อัพโหลดขึ้นไป ผ่านเว็บ ครับ
ไฟล์ นั้นเป็นไฟล์ .txt ขนาดไม่ใหญ่ ไม่เกิน 1mb
โดยที่ ในไฟล์ .txt ที่ว่าจะเป็นข้อมูลการเปิดเมินครับ
ซึ่งได้มาจาก ใบประเมินที่ใช้เครื่องตรวจ
มันจะออกมาเป็นตัวเลข 1ใบ ต่อ 1แถว

ในกณีที่ว่า การตรวจ1ครั้ง จะมีจำนวนมาก หลายพันใบ ซึ่ง หมายถึงว่า ในนั้นจะมีข้อมูลหลายพันแถว

ผมได้เขียนโปรแกรม เพื่อ อ่านข้อมูลทีละแถว แล้ว บันทึกลง database (MySQL) จากนั้นถึงเอาข้อมูลมา ออก report เป็น PDF อีกที
ซึ่งในส่วนนี้ ทำได้หมดแล้วครับ เสร็จเรียบร้อยตรงตามต้องการ

แต่มาพบปัญหาตรงที่ ข้อมูลที่ นำมาใช้ ทดสอบ ระบบ ผมลองแค่ 50แถว
โปรแกรม มันสามารถ อ่านและบันทึกลง database ได้ปกติครับ

แต่เมื่อลองข้อมูลที่มากขึ้น ผมลองมากขึ้นจากเดิม 1เท่า คือ 100แถว
ผลปรากฎว่า error ไปเลยครับ

จะมีวิธีแก้ปัญหาอย่างไรได้บ้างครับ
ถ้าต้องการทำผ่านเว็บด้วย php เพราะส่วนตัวนั้นถนัด php และตอนนี้สามารถออก report ได้ตามต้องการแล้วด้วย

ซึ่งไม่สามารถที่จะแก้วิธีการนำเข้าข้อมูลได้ครับ (จำนวนใบประเมินที่เค้าส่งมาตรวจ)
คือเค้าจะตรวจทีเดียว ทีละหลายๆพันใบ แล้วจะได้ ผลสรุปมาเป็นไฟล์ 1 ไฟล์ เท่านั้น

ตอนนี้ผมออกแบบ database ที่เก็บผลประเมินแบบนี้ครับ
มี tb_data กับ tb_data_detail
ซึ่งใน tb_data จะเก็บพวกรายละเอียดหลักๆของใบประเมิน
ส่วน tb_data_detail จะเก็บคะแนนจากใบประเมินครับ โดยที่ 1ใบประเมิน = 20ข้อ

ดังนั้นจะหมายถึง tb_data 1 record จะมีข้อมูล ใน tb_data_detail อีก 20 record ด้วย

จากตัวอย่างข้างบน ที่ผมทดสอบ 50แถวใน ไฟล์ .txt มันจะได้
tb_data 50 record กับ tb_data_detail 1000 record

การ insert ข้อมูล ผม ให้มัน loop 2ชั้น คือ

while(){

Insert tb_data

while(){ //loop 20 รอบ

Insert tb_data_detail

}

}

ผมควรเปลี่ยนการออกแบบฐานข้อมูล โดยที่ข้อมูลใน tb_data_detail นำไปยัด อยู่ใน tb_data ดีกว่าไหมครับ สำหรับข้อมูลจำนวนเยอะมากขนาดนี้ แบบว่า ไปสร้าง field เพิ่มใน tb_data อีก 20 field เพื่อเก็บ ผลประเมิน จำนวน 20ข้อ อะครับ

Tag : PHP, MySQL

Date : 2010-08-30 15:09:55

By : kalawa

View : 1060

Reply : 5

No. 1

OxyGenyoyo

โพสกระทู้ ( 599 )
บทความ ( 0 )

Quote:
แต่เมื่อลองข้อมูลที่มากขึ้น ผมลองมากขึ้นจากเดิม 1เท่า คือ 100แถว
ผลปรากฎว่า error ไปเลยครับ

error แจ้งมาว่าอย่างไรครับ

แล้วปัญหาที่เสียเวลาเนี้ยเสียเวลาตอน insert ใส่ DB หรือว่าเสียเวลาอ่านข้อมูลจัดเก็บหรือว่าเสียเวลาตอนที่ออกรายงานเป็น PDF ครับ

Date : 2010-08-30 16:27:51

By : oxygenyoyo

No. 2

C h u |3 i @ ASMT

โพสกระทู้ ( 223 )
บทความ ( 0 )

รอฟังด้วยครับ

Date : 2010-08-30 16:32:25

By : chubichane

No. 3

Likito

โพสกระทู้ ( 335 )
บทความ ( 0 )

ปัญหา ที่เกิดคือ ตอนกำลัง insert ข้อมูลครับ insert ลงไปได้แล้วประมาณ 1300 กว่าๆ ก็ error

error ที่ขึ้นคือ HTTP 500 ครับ

ใช้ web server เป็น IIS ครับ

เมื่อกี้ลอง รันบน Appserv ไม่มีปัญหาครับ
>< 3000 record สบายไวเลย
อาจเป็นเพราะ สเปคเครื่องแรงกว่า เครื่องที่ทำงาน T____T ด้วย

ประวัติการแก้ไข
2010-08-30 17:59:41

Date : 2010-08-30 17:50:23

By : kalawa

No. 4

Likito

โพสกระทู้ ( 335 )
บทความ ( 0 )

ขอเพิ่มเติมครับ ผมลองไปแก้ ในไฟล์ php.ini เรื่อง

max_execution_time = 0

เพราะตอนรันที่บ้านด้วย appserv มันขึ้นเรื่อง execution time error มากกว่า 30วิ เลยแก้ เป็น 0 คือ ไม่ limit
แล้วสรุปว่าสามารถ รันได้สมบูรณ์ ในข้อมูลจำนวนมหาศาล แต่ใช้เวลานานมากๆ

แต่เมื่อกลับมาลองใน server ที่จะใช้งานจริง เป็น IIS เจอปัญหาแบบนี้ครับ ขึ้น error แบบนี้

CGI Timeout
The specified CGI application exceeded the allowed time for processing. The server has deleted the process.

จะพอแก้ได้อย่างไรบ้างครับ

Date : 2010-08-31 09:33:48

By : kalawa

No. 5

OxyGenyoyo

โพสกระทู้ ( 599 )
บทความ ( 0 )

อันนี้ผมไม่ทราบเลยวิธี config หรือแก้ไขอย่างนี้

แต่ผมคิดว่าน่าจะมีวิธีที่ดีกว่ามารันทีเป็นพันๆ

คืออาจจะแบ่งได้ทีละ พัน อะไรทำนองนี้อ่ะครับ

ไม่งั้นถ้าเป็น หมื่นแถวอ่ะครับ = =?

Date : 2010-08-31 10:04:29

By : oxygenyoyo

ค้นหาข้อมูล

แสดงความคิดเห็น

Re : ขอคำแนะนำครับ เรื่องการ วนลูบ เพื่อบันทึกข้อมูลจำนวนมาก ในครั้งเดียว

รายละเอียด

เพื่อความเรียบร้อยของข้อความ ควรจัดรูปแบบให้พอดีกับขนาดของหน้าจอ เพื่อง่ายต่อการอ่านและสบายตา และตรวจสอบภาษาไทยให้ถูกต้อง

อัพโหลดแทรกรูปภาพ

Notice

เพื่อความปลอดภัยของเว็บบอร์ด ไม่อนุญาติให้แทรก แท็ก [img]....[/img] โดยการอัพโหลดไฟล์รูปจากที่อื่น เช่นเว็บไซต์ ฟรีอัพโหลดต่าง ๆ
อัพโหลดแทรกรูปภาพ ให้ใช้บริการอัพโหลดไฟล์ของไทยครีเอท และตัดรูปภาพให้พอดีกับสกรีน เพื่อความโหลดเร็วและไฟล์ไม่ถูกลบทิ้ง

เพื่อความปลอดภัยและการตรวจสอบ กระทู้ที่แทรกไฟล์อัพโหลดไฟล์จากที่อื่น อาจจะถูกลบทิ้ง

โดย

อีเมล์

บวกค่าให้ถูก