百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

php使用AWS操作MinIO Server,实现文件的上传(分片上传)下载

yuyutoo 2024-11-20 23:56 2 浏览 0 评论

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。 它是与 Amazon S3 云存储服务兼容的 API。 使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

具体中文文档地址 MinIO Quickstart Guide| Minio中文文档

1、安装minIO Server

这里minIO的服务我们采用docker的方式进行安装

docker run -p 9000:9000 -p 9001:9001 --name minio1 -e "MINIO_ROOT_USER=admin" -e "MINIO_ROOT_PASSWORD=admin123456" -v /Users/robing/data:/data minio/minio server /data --console-address ":9001"

注意 /Users/robing/data 是我自己电脑的目录,大家可以根据自己的环境设定,也可以不指定

运行之后可以访问 http://127.0.0.1:9001 进行登录 用刚刚设定的密码 admin / admin123456


就可以拿到

  • Access Key: ZO0AHGDD9RS0IZPYJ05A
  • Secret Key: HYaryObjstEeIRrVVIDUqrwZ5V72tTJ+WwFpKpd4



2、PHP项目下载 aws/aws-sdk-php包

composer require aws/aws-sdk-php

3、上传

1)普通上传

$client = new S3Client([
        'version' => 'latest', // 用于锁定API版本
        'region' => '', //
        'use_path_style_endpoint' => true,
        'signature_version' => 'v4', // 签名版本(minio目前使用v4版本)
        'endpoint' => 'http://127.0.0.1:9000',
        'credentials' => ['key' => 'ZO0AHGDD9RS0IZPYJ05A', 'secret' => 'HYaryObjstEeIRrVVIDUqrwZ5V72tTJ+WwFpKpd4']]);
}

$storeKey = '2021/08/29/test.zip'; // 可以自行设定
$fileData = '123123'; // 文件上传内容
$params = ['Bucket' => 'robing', 'Key' => $storeKey, 'Body' => $fileData];
$res = $client->putObject();

2) 分片上传

$uploadResult = $client->createMultipartUpload(['Bucket' => ’robing', 'Key' => $storeKey]);
$UploadId  =  $uploadResult['UploadId']; // 分片上传需要指定对应的上传ID
$params = [
         'Bucket' => 'robing',
         'Key' => $storeKey, 
         'Body' => $fileData, // 分片内容
         'PartNumber' =>  1, // 当前上传分片数
         'UploadId' => $metaData['UploadId'],
];
$res = $client->uploadPart($params);
$ETag = $res['ETag']; // 这个分片tag需要进行存储,合成分片的时候需要所有的ETag
// 比如我这里用redis 进行存储
$redis[文件唯一标识]['ETagList'][] = ['PartNumber' => 具体分片数(1,2,3,4) , 'ETag' => $ETag];
// 当最后一个分片的时候需要进行合成分片
// 最后一个分片 进行分片合成
$res = $client->completeMultipartUpload([
     'Bucket' => 'robing',
     'Key' => $storeKey,
     'MultipartUpload' => [
          'Parts' => $redis[文件唯一标识]['ETagList']
     ],
     'UploadId' => $redis[文件唯一标识]['UploadId'],
]);

4、下载文件

$command = $client->getCommand('GetObject', [
    'Bucket' => 'robing',
    'Key'    => $storeKey // 上面我们上传实用的 $storeKey
]);
$request = $this->getClient()->createPresignedRequest($command, sprintf("+%d seconds", 600));
$url =  (string)$request->getUri();

以上为简单的实现,具体的详细参数可以查看文档

这里备注一个特别注意的问题,就是minio最小分片数为5M,在上传分片的时候如果不足5M会有问题,所以在切割分片的时候,要保证每个分片都是5M以上 ,5M以下的不需要分片,可直接进行上传。

有问题可以下方留言谈论!

相关推荐

TCP协议原理,有这一篇就够了

先亮出这篇文章的思维导图:TCP作为传输层的协议,是一个软件工程师素养的体现,也是面试中经常被问到的知识点。在此,我将TCP核心的一些问题梳理了一下,希望能帮到各位。001.能不能说一说TC...

Win10专业版无线网络老是掉线的问题

有一位电脑基地的用户,使用...

学习计算机网络需要掌握以下几方面基础知识

计算机基础知识操作系统:了解常见操作系统(如Windows、Linux)的基本操作和网络配置,例如如何设置IP地址、子网掩码、网关和DNS服务器等,以及如何通过命令行工具(如ping、tr...

网络工程师的圣经!世界级网工手绘268张图让TCP/IP直接通俗易懂

要把知识通俗地讲明白,真的不容易。——读者说TCP/IP从字面意义上讲,有人可能会认为TCP/IP是指TCP和IP两种协议。实际生活当中有时候也确实就是这两种协议。然而在很多情况下,它只是...

三分钟了解通信知识TCP与IP协议(含“通信技术”资料分享)

TCP/IPTCP/IP分层模型①应用层...

网闸与防火墙:网络安全设备的差异与应用

在网络安全领域,网闸(安全隔离网闸,GAP)和防火墙(Firewall)是两类重要的防护设备。尽管它们都服务于网络安全防护,但在设计理念、技术原理、安全效能及适用场景等方面存在显著差异,以下从五个维度...

S7-300的TCP/IP通信

一、首先在项目中创建2个S7-300的站点;二、硬件组态中,设置合适的TCP/IP地址,在同一网段内;...

西门子S7-1500 PLC的 MODBUS TCP通信

MODBUSTCP使MODBUS_RTU协议运行于以太网,MODBUSTCP使用TCP/IP和以太网在站点间传送MODBUS报文,MODBUSTCP结合了以太网物理网络和网络标准TC...

系统规划与管理师新版备考必备:第7章考点思维导图解析

备考系统规划与管理师的小伙伴们,福利又来啦!今天为大家带来《系统规划与管理师(第2版)》第7章考点的思维导图,助你高效梳理重点,让备考更有方向!...

TCP/IP、Http、Socket 有何区别与联系?

HTTP协议对应于应用层,Socket则是对TCP/IP协议的封装和应用(程序员层面上)。HTTP是应用层协议,主要解决如何包装数据。而我们平时说的最多的Socket是什么呢?实际上...

西门子PLC串口协议与以太网通信协议对比

西门子plc品牌众多,通信协议的类型就更多了,具体可分为串口协议和以太网通信协议两大类。...

网络编程懒人入门(十三):一泡尿的时间,快速搞懂TCP和UDP的区别

本文引用了作者Fundebug的“一文搞懂TCP与UDP的区别”一文的内容,感谢无私分享。1、引言...

程序员必备的学习笔记《TCP/IP详解(一)》

为什么会有TCP/IP协议在世界上各地,各种各样的电脑运行着各自不同的操作系统为大家服务,这些电脑在表达同一种信息的时候所使用的方法是千差万别。就好像圣经中上帝打乱了各地人的口音,让他们无法合作一样...

一文读懂TCP/IP协议工作原理和工作流程

简述本文主要介绍TCP/IP协议工作原理和工作流程。含义TCP/IP协议,英文全称TransmissionControlProtocol/InternetProtocol,包含了一系列构成互联网...

如何在 Windows 10 和 Windows 11 上重置 TCP/IP 堆栈

传输控制协议/Internet协议,通常称为TCP/IP,是您的WindowsPC如何与Internet上的其他设备进行通信的关键部分。但是当事情出错时会发生什么?你如何解决它?幸运的...

取消回复欢迎 发表评论: