惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

爱范儿
爱范儿
Microsoft Azure Blog
Microsoft Azure Blog
G
Google Developers Blog
宝玉的分享
宝玉的分享
V
V2EX
MongoDB | Blog
MongoDB | Blog
S
SegmentFault 最新的问题
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Microsoft Security Blog
Microsoft Security Blog
博客园 - 聂微东
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
IT之家
IT之家
Martin Fowler
Martin Fowler
大猫的无限游戏
大猫的无限游戏
Recent Announcements
Recent Announcements
人人都是产品经理
人人都是产品经理
博客园 - 司徒正美
美团技术团队
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
Hugging Face - Blog
Hugging Face - Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
罗磊的独立博客
B
Blog RSS Feed

博客园 - 温柔的风

宝塔面板定时任务目录清理日志-定时检测阈值清理 Mysql8 允许远程登录 【uni-app】申请高德地图key,封装map.js,实现H5、iOS、Android通过getlocation获取地图定位信息(摘) centos安装atop工具,检测服务器情况 mysql 8.0查看正在执行的事务锁 webman 安装gateway实现socket https站点websocket连接失败问题 layui table 表格过滤tableFilter 谷歌浏览器无法播放音频mp3怎么办? uniapp下实现心跳检测服务端并且结合生命周期自动再次连接绑定客户端 git push Git远端意外挂断 php对接阿里通义AI模型,简单实现浏览器端以sse方式输出 Layer.js最大化最小化监听 Linux磁盘阈值及内存阈值检测脚本 fastadmin控制列显示与隐藏 基于uniapp的全局监听websocket连接及接收服务端消息 fastadmin自定义主题并随切换变更iframe颜色 Macbook M1下安装Kibana Macbook M1下安装elasticsearch Fastadmin表格的列头对齐以及内容对齐设定方式
fastadmin-PHP-导出少量数据PhpOffice以及百万级别数据csv压缩
温柔的风 · 2024-11-19 · via 博客园 - 温柔的风

在进行数据导出的时候,少量的数据可以使用phpexcel,但大量的数据用phpexcel就很消耗资源了。

在使用fastadmin做数据导出的时候,相关的代码请参考:https://blog.csdn.net/bingyu709/article/details/141949034

我自己这边因为数据量会很大,所以代码层做了一个数量的划分,少于50000走phpexcel导出,大于50000走csv,并且打包zip。

并且我的逻辑是导出成功后把文件防止项目指定目录下,并没有做一个直接下来,如果想直接从浏览器下载请自己网上找其他代码参考,我所参考的帖子是直接下载的,大家可以试试看。

public function export() {
        if ($this->request->isPost()) {



            $filter             = $this->request->request("filter", '');
            $filter_arr         = (array)json_decode($filter, true);

            $ids                = $this->request->request('ids','');

            $scene_id                   = CService::MANAGE_ALL_CUSTOMER;
            if (!empty($filter_arr) && isset($filter_arr['scene_id']))  {
                $scene_id       = intval($filter_arr['scene_id']);
            }

            $scene_where        = $this->getFilterAllSceneWhere($scene_id);

            list($where, $sort, $order, $offset, $limit) = $this->buildAllParams();

            if (!empty($ids) && $ids != '' && $ids != 'all') {
                $ids_arr        = explode(',',$ids);
                $where['id']    = ['in', $ids_arr];
            }

            $where              = array_merge($scene_where,$where);


            $count              = CModel::model()->where($where)->count();


            if ($count > 0) {

                if ($count > 50000) {

                    set_time_limit(0);
                    ini_set('memory_limit', '128M');

                    $xlsTitle = [   '字段1', '字段2', '字段3'
                                ];

                    // buffer计数器
                    $cnt = 0;



                    $fileName           = '客户导出'.date('YmdHis').rand(10000000,88888888);//文件名称
                    $pro_path           = ExportService::EXPORT_CUSTOMER_FILE_PATH; // 项目目录
                    $fileName           = $pro_path . $fileName;

                    $zip_file_name      = $fileName.'.zip';

                    // 输出Excel文件头,可把user.csv换成你要的文件名
                    header('Content-Type: application/vnd.ms-excel;charset=utf-8');
                    header('Content-Disposition: attachment;filename="' . $zip_file_name . '"');
                    header('Cache-Control: max-age=0');

                    $fileNameArr = [];

                    $every_step_limit       = 10000;
                    $loop_number_count      = intval(ceil($count / $every_step_limit));


                    for ($i = 0; $i < $loop_number_count; $i ++) {


                        $fp = fopen($fileName . '_' . ($i+1) . '.csv', 'w'); //生成临时文件
                        fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));/*防止乱码  */

                        // chmod('attack_ip_info_' . $i . '.csv',777);//修改可执行权限
                        $fileNameArr[] = $fileName . '_' . ($i+1) . '.csv'; // 将数据通过fputcsv写到文件句柄
                        fputcsv($fp, $xlsTitle);
                        /******************** 调整位置开始 ***************************/

                        $limit          = $i * $every_step_limit;
                        $limit_list     = ExportService::service()->getExportList($where, $limit, $every_step_limit);
                        $list           = ExportService::service()->formatExportData($limit_list, $this->auth_global_search_organise_id);
                        if (!empty($list)) {
                            foreach ($list as $item) {
                                $cnt++;
                                if ($limit == $cnt) {
                                    // 刷新一下输出buffer,防止由于数据过多造成问题
                                    ob_flush();
                                    flush();
                                    $cnt = 0;
                                }
                                fputcsv($fp, $item);
                            }
                            unset($list);
                        }
                        fclose($fp); // 每生成一个文件关闭
                    }



                    try {
                        // 进行多个文件压缩
                        $zip = new \ZipArchive();

                        $zip->open($zip_file_name, $zip::CREATE); // 打开压缩包
                        foreach ($fileNameArr as $file) {
                            $zip->addFile($file, basename($file)); // 向压缩包中添加文件
                        }
                        $zip->close();  // 关闭压缩包
                        foreach ($fileNameArr as $file) {
                            unlink($file); // 删除csv临时文件
                        }

                        if (file_exists($zip_file_name)) {
                           
                            $this->success('操作成功');
                        } else {
                            $this->error('操作失败');
                        }
                    } catch (ValidateException|PDOException|Exception $e) {
                        $this->error('操作失败');
                    }
                } else {
                    set_time_limit(0);

                    $spreadsheet    = new Spreadsheet();
                    $sheet          = $spreadsheet->getActiveSheet();

                    $sheet->getStyle('A:S')->getAlignment()
                        ->setVertical(\PhpOffice\PhpSpreadsheet\Style\Alignment::VERTICAL_CENTER) //设置垂直居中
                        ->setHorizontal(\PhpOffice\PhpSpreadsheet\Style\Alignment::HORIZONTAL_CENTER) //设置水平居中
                        ->setWrapText(true); //设置自动换行

                    $titleStyleArray     = [
                        'font'      => [
                            'name'  => 'SimHei', // 中文字体,"黑体"的类似字体
                            'bold'  => true,
                            'size'  => 12,
                        ]
                    ];
                    $sheet->getStyle('A1:Z1')->applyFromArray($titleStyleArray);

                    $lineStyleArray     = [
                        'font'      => [
                            'name'  => 'SimHei', // 中文字体,"黑体"的类似字体
                        ]
                    ];

                    //设置表头
                    $sheet->setCellValue('A1', '字段1');
                    $sheet->setCellValue('B1', '字段2');
                    $sheet->setCellValue('C1', '字段3');
            .......
$sheet->getColumnDimension('A')->setWidth(15); $sheet->getColumnDimension('B')->setWidth(15); $sheet->getColumnDimension('C')->setWidth(15);
            .......
//$sheet->getDefaultRowDimension()->setRowHeight(60); //设置行高 $res_list = ExportService::service()->getExportCustomerList($where); $list = ExportService::service()->formatExportCustomerData($res_list, $this->auth_global_search_organise_id); if (!empty($list)) { //输出表格 foreach($list as $keys => $value) { $keys = $keys + 2; $sheet->setCellValue('A'.$keys,$value['field1'] ?? '')->getStyle('A')->applyFromArray($lineStyleArray); $sheet->setCellValue('B'.$keys,$value['field2'] ?? '')->getStyle('B')->applyFromArray($lineStyleArray); $sheet->setCellValue('C'.$keys,$value['field3'] ?? '')->getStyle('C')->applyFromArray($lineStyleArray);
                 .........
} } // 保存Excel文件到服务器的指定路径 $pro_path = ExportService::EXPORT_CUSTOMER_FILE_PATH; // 项目目录 $file_name = '导出'.date('YmdHis').rand(10000000,88888888).'.xlsx'; $file_path = $pro_path . $file_name; // if (!file_exists($file_path)) { // fopen($file_path, 'w'); // } try { $writer = \PhpOffice\PhpSpreadsheet\IOFactory::createWriter($spreadsheet, 'Xlsx'); $writer->save($file_path); if (file_exists($file_path)) { $this->success('操作成功'); } else { $this->error('操作失败'); } } catch (ValidateException|PDOException|Exception $e) { $this->error('操作失败'); } } } } }