PHP數據導出超時、内存不足的解決

字號+ 編輯: 国内TP粉 修訂: 种花家 來源: ThinkPHP 2023-09-11 我要說兩句(1)

當PHP導出數據量過大的時候,經常會遇到超時和内存溢出的解決。

實際工作中,我們經常導出報表的需求,當導出數據量過大的時候,經常會遇到超時和内存溢出的問題。


解決方案一

超時可用: set_time_limit(0) 解決。
内存溢出可用: ini_set('memory_limit', '自定義内存')。

解決方案二

優化程序,利用數據庫或文档來緩存中間結果。

解決方案三

利用Ajax分多次請求,寫入文档,下載文档,效果如上圖(效果圖爲gif,無法上傳,請用下面鏈接查看)。

(方案三)爲大家提供一個Demo

設計思路

1. 我們將其拆成100次請求,請求成功,進度條前進1%。
2. 每次請求都需要寫入文档,然後對文档進行追加寫入。
3. 當文档寫入完畢後,顯示下載按鈕 ,點擊下載即可。

功能點

1. 兩種進度條樣式。
2. Jquery Ajax。
3. 數據寫入CSV。
4. 下載文档。

頁面樣式:Bootstrap。

代碼如下:

<?php
    /**
     * 導出CSV文档
     * @param array  $data                  數據
     * @param array  $header_data 首行數據
     * @param string $file_name         文档名稱
     * @param int      $type                    類別
     * @return string
     */
    function _export_csv($data = [], $header_data = [], $file_name = '', $type = 0)
    {
        $fp = fopen($file_name, 'a+');
        if (($type != 1) && !empty($header_data)) {
            foreach ($header_data as $key => $value) {
                $header_data[$key] = iconv('utf-8', 'gbk', $value);
            }
            fputcsv($fp, $header_data);
        }
        $num = 0;
        //每隔$limit行,刷新一下輸出buffer,不要太大,也不要太小
        $limit = 100000;
        //逐行取出數據,不浪費内存
        $count = count($data);
        if ($count > 0) {
            for ($i = 0; $i < $count; $i++) {
                $num++;
                //刷新一下輸出buffer,防止由於數據過多造成問題
                if ($limit == $num) {
                    ob_flush();
                    flush();
                    $num = 0;
                }
                $row = $data[$i];
                foreach ($row as $key => $value) {
                    $row[$key] = iconv('utf-8', 'gbk', $value);
                }
                fputcsv($fp, $row);
            }
        }
        fclose($fp);
    }
    /**
     * 下載文档
     * @param string $file_url 文档地址
     * @return string
     */
    function _download_file ($file_url = '')
    {
        if (!isset($file_url) || trim($file_url)=='') {
            die('File URL is empty.');
        }
        if (!file_exists($file_url)) {
            die('File does not exist.');
        }
        $file_name = 'down_'.date('YmdHis', time());
        $file_type = fopen($file_url,'r'); //打開文档
        //輸入文档標簽
        header("Content-type: application/octet-stream");
        header("Accept-Ranges: bytes");
        header("Accept-Length: ".filesize($file_url));
        header("Content-Disposition: attachment; filename=".$file_name);
        //輸出文档内容
        echo fread($file_type, filesize($file_url));
        fclose($file_type);
    }
    //以後是邏輯代碼,大家可以根據自己的需求進行編寫。
        $path = '文档的絕對地址'; //path 是存放文档的絕對地址。
    if (isset($_POST['start'])) {
          //每一個單獨的請求,要保证文档名是唯一的,因爲後面要繼續進行追加。
              $file_name = 'demo.csv';
        //獲取數據,根據自己的業務邏輯,去數據庫獲取數據。
        $data        = [];
        $header_data = ['執行時間', '隨機數']; //首行數據,表頭
        //模擬數據如下:
        for ($i=0; $i<=100; $i++) {
            $data[$i]['time'] = date('Y-m-d H:i:s', time());
            $data[$i]['num']  = mt_rand(1000,9999);
        }
        $type = ($_POST['start'] != '0') ? 1 : 0 ;
        //開始將數據寫入到文档中
        _export_csv($data, $header_data, $path.$file_name, $type);
        //假設第100次 寫入完畢,那麽就可以進行下載文档啦。
        //可以先獲取需要導出的總量,然後根據實際情況進行拆分數據,每次獲取成功,進度條會顯示進度。
        if ($_POST['start'] == 100) {
            die(json_encode(['code' => 'ok', 'file_path' => '/index.php?op=down&f='.$file_name]));
        } else {
            die(json_encode(['code' => 'no']));
        }
    }
    //簡單的導出邏輯,可根據實際情況,進行開發。
    if (($_GET['op'] == 'down') && !empty($_GET['f'])) {
            _download_file($path.$_GET['f']);
            exit;
    }
?>

html頁面部分:

<!DOCTYPE html>
<html lang="zh-CN">
    <head>
      <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <meta name="description" content="Demo">
        <meta name="keywords" content="">
        <!-- 新 Bootstrap 核心 CSS 文档 -->
        <link rel="stylesheet" href="//cdn.bootcss.com/bootstrap/3.3.5/css/bootstrap.min.css">
        <!-- jQuery -->
        <script src="//cdn.bootcss.com/jquery/1.11.3/jquery.min.js"></script>
        <!-- Title -->
        <title>Demo</title>
    </head>
    <body>
        <div class="container">
            <div class="row">
                <div class="col-lg-12" style="margin-top:20px">
                    <a id="export_file" href="javascript:void(0);" class="btn btn-primary btn-lg active" role="button">導出CSV文档</a>
                    <a id="download_file" style="display:none;" href="javascript:void(0);" class="btn btn-default btn-lg active" role="button">下載文档</a>
                </div>
            </div>
            <div id="process_one" class="row" style="display:none">
                <div class="col-lg-12" style="margin-top:20px">
                    <div class="progress">
                      <div id="progress-bar-one" class="progress-bar progress-bar-striped active" role="progressbar" aria-valuemin="0" aria-valuemax="100" style="width: 0%">
                      </div>
                    </div>
                </div>
            </div>
            <div id="process_two" class="row" style="display:none">
                <div class="col-lg-12" style="margin-top:20px">
                    <div class="progress">
                      <div id="progress-bar-two" class="progress-bar" role="progressbar" aria-valuemin="0" aria-valuemax="100" style="width: 0%;">
                        60%
                      </div>
                    </div>
                </div>
            </div>
        </div>
    <script>
        $(document).ready(function () {
            //導出CSV文档
            $("#export_file").click(function(){
                _get_data(0);
            });
            //獲取數據的方法
            function _get_data(start)
            {
                $.ajax({
                                type: "POST",
                        url : 'index.php',
                        data: {
                            'start' : start
                        },
                        async: true,
                        dataType: "json",
                        beforeSend: function () {
                            $("#download_file").css('display', 'none');
                            $("#process_one").show();
                            $("#process_two").show();
                            },
                        success: function (result) {
                            if (result.code == 'ok') {
                                $("#download_file").show();
                                $("#download_file").attr("href", result.file_path);
                                $("#process_one").css('display', 'none');
                                $("#process_two").css('display', 'none');
                            } else {
                                start ++;
                                _get_data(start);
                                $("#progress-bar-one").css("width", start+'%');
                                $("#progress-bar-two").css("width", start+'%');
                                $("#progress-bar-two").html(start+'%');
                            }
                        },
                        error: function() {
                            alert("Server Error~");
                        }
                    });
            }
        });
    </script>
    </body>
</html>

閲完此文,您的感想如何?
  • 有用

    2

  • 沒用

    0

  • 開心

    0

  • 憤怒

    0

  • 可憐

    0

1.如文章侵犯了您的版權,請發郵件通知本站,該文章將在24小時内刪除;
2.本站標注原創的文章,轉發時煩請注明來源;
3.交流群: 2702237 13835667

相關課文
  • mac開發接入微信公衆號接口返回報錯 cURL error 56: SSLRead() return error -9806

  • PHP的換行符是什麽

  • pecl安裝程序時報錯Array and string offset access syntax with curly braces is no longer supported

  • 由於商家傳入的H5交易參數有誤,該筆交易暫時無法完成,請聯繫商家解決

我要說說
網上賓友點評
1 樓 IP 103.216.***.5 的嘉賓 说道 : 很久前
能评论吗