imported>Yumeto：使用DisamAssist清理消歧義連結：Go（改連結至Go語言）。

2026-03-02T15:22:40Z

新页面

{{noteTA|G1=IT}}
{{Infobox file format
| name = Hierarchical Data Format
| icon = HDF logo (2017).svg
| iconcaption = HDF Group的logo
| icon_size = 200px
| screenshot =
| caption =
|_noextcode = on
| extension = <code>.hdf</code>, <code>.h4</code>, <code>.hdf4</code>, <code>.he2</code>, <code>.h5</code>, <code>.hdf5</code>, <code>.he5</code>
| mime =
| type code =
| uniform type =
| magic = \211HDF\r\n\032\n
| owner = The HDF Group
| released =
| latest release version = {{LSR/wikidata}}
| latest release date =
| genre = [[科学数据格式]]
| container for =
| free = Yes
| contained by =
| extended from =
| extended to =
| standard =
| url = {{Official URL}}
}}

'''层级数据格式'''（Hierarchical Data Format：'''HDF'''）是设计用来存储和组织大量数据的一组文件格式（'''HDF4'''，'''HDF5'''）。它最初开发于美国[[国家超级电脑应用中心|国家超级计算应用中心]]，现在由非营利社团HDF Group支持，其任务是确保HDF5技术的持续开发和存储在HDF中数据的持续可访问性。

伴随着这个目标，HDF库和相关工具可在自由的类BSD许可证下获得用于一般使用。HDF被很多商业和非商业软件平台所支持，包括[[Java]]、[[MATLAB]]、[[Scilab]]、[[GNU Octave|Octave]]、[[Mathematica]]、[[IDL (编程语言)|IDL]]、[[Python]]、[[R语言|R]]、[[Fortran]]和[[Julia (编程语言)|Julia]]。可免费获得的HDF发行中包括了库，命令行实用程序，测试套件源代码，Java接口，和基于Java的HDF查看器（HDFView）<ref>{{Cite web |url=http://www.hdfgroup.org/products/java/release/download.html |title=Java-based HDF Viewer (HDFView) |accessdate=2019-06-05 |archive-date=2016-08-11 |archive-url=https://web.archive.org/web/20160811072053/http://www.hdfgroup.org/products/java/release/download.html |dead-url=no }}</ref>。

当前版本是HDF5，在设计和API上与主要的遗留版本HDF4有显著区别。

==历史==

在1987年由美国[[国家超级电脑应用中心|国家超级计算应用中心]]（NCSA）的图形基础任务攻坚组（GFTF），着手建立一种架构无关的软件库和文件格式，致力于满足NCSA在当时使用的多种不同计算平台之间，移送科学数据的需要。额外的目标还包括：有效的存储和访问大对象的能力，在一个容器内存储不同类型的众多对象的能力，增长格式来容纳新类型的对象和对象元数据的能力，用C和Fortran二者的程序访问存储数据的能力。最初称为AEHOO（全包容层级面向对象格式），新软件和文件格式，最终叫做层级数据格式（HDF）。HDF的设计组合了来自很多不同格式的想法，包括[[TIFF]]、[[CGM]]、[[FITS]]和[[Macintosh]] {{le|PICT|PICT}}格式。这个计划在1990年和1992年，收到了美国[[国家科学基金会]]（NSF）的至关重要的拨款。大约1990年代早期[[美国国家航空航天局]]（NASA），研究了用在{{le|地球观测系统|Earth Observing System}}（EOS）计划中的15种不同文件格式。<ref name="history">{{cite web|url=https://support.hdfgroup.org/about/history.html|title=HDF Group History|accessdate=2019-06-08|archive-date=2019-06-08|archive-url=https://web.archive.org/web/20190608155635/https://support.hdfgroup.org/about/history.html|dead-url=no}}</ref>在两年评述过程之后，HDF被选择为EOS数据和信息系统的标准格式<ref>{{cite web|url=https://www.hdfeos.org/|title=HDF-EOS Tools and information Center|access-date=2023-10-09|archive-date=2023-10-21|archive-url=https://web.archive.org/web/20231021103329/https://hdfeos.org/|dead-url=no}}</ref>。

1996年[[美国能源部]]的[[勞倫斯利佛摩國家實驗室|劳伦斯利弗摩尔]]、[[洛斯阿拉莫斯国家实验室|洛斯阿拉莫斯]]和[[桑迪亚国家实验室|桑迪亚]][[美国能源部国家实验室|国家实验室]]与NCSA，抽调人员成立了数据建模和格式（DMF）小组，研究满足高级模拟和计算规划（ASC）需要的[[并行运算|并行]][[I/O]]能力的文件格式。在NASA的额外支持下，三实验室与NCSA，联合开发了第一版的HDF5并于1998年发行。<ref name="history" />在2007年NASA{{le|地球观测系统|Earth Observing System}}推荐使用HDF-EOS5<ref>{{cite web|url=https://www.earthdata.nasa.gov/esdis/esco/standards-and-practices/hdf-eos5|title=HDF-EOS5 Data Model, File Format and Library|access-date=2023-10-09|archive-date=2023-11-10|archive-url=https://web.archive.org/web/20231110111757/https://www.earthdata.nasa.gov/esdis/esco/standards-and-practices/hdf-eos5|dead-url=no}}</ref>。

==HDF4==

HDF4是这个格式的较老版本，它支持可增殖的不同数据模型，包括了多维[[阵列编程|阵列]]、光栅图像和表格。每种都定义了特定的聚集数据类型，并提供一个[[应用程序接口|API]]用来读取、写入、组织数据和元数据。HDF开发者和用户可以增加新数据模型。

HDF是自描述的，允许应用程序解释文件的结构和内容而不需要外部信息。一个HDF文件可以持有混合的有关联的对象，它们可以作为一个群组或作为个别对象来访问。用户可以建立自己的叫做“vgroups”的群组结构。

HDF4格式有很多限制<ref>{{Cite web |url=http://www.hdfgroup.org/h5h4-diff.html |title=How is HDF5 different from HDF4? |accessdate=2019-06-05 |archive-date=2009-03-30 |archive-url=https://web.archive.org/web/20090330052722/http://www.hdfgroup.org/h5h4-diff.html |dead-url=yes }}</ref><ref>{{Cite web |url=http://www.hdfgroup.org/HDF-FAQ.html#6b |title=Are there limitations to HDF4 files? |access-date=2019-06-05 |archive-url=https://web.archive.org/web/20160419122423/http://www.hdfgroup.org/HDF-FAQ.html#6b |archive-date=2016-04-19 |dead-url=yes }}</ref>。它缺乏清晰的对象模型，这导致持难于持续支持和改进。支持多种不同的接口风格（图像、表格、[[阵列编程|阵列]]）导致了复杂的API。对元数据的支持依赖于使用的是哪个接口；SD（科学数据集）对象支持任意命名属性，而其他类型只支持预定义的元数据。可能最重要的问题，是使用32-bit位有符号整数寻址，限制了HDF4文件大小极大为2GB，这在很多现代科学应用中是不可接受的。它仍被HDF Group活跃支持着，可见于其支持页面<ref>[https://portal.hdfgroup.org/display/HDF4/HDF4 支持页面] {{Wayback|url=https://portal.hdfgroup.org/display/HDF4/HDF4 |date=20201030020411 }}</ref>。

==HDF5==
[[Image:HDF-Structure-Example.gif|thumb|400px|right|HDF结构举例]]
HDF5格式被设计解决HDF4库的某些限制，并致力于满足现代系统和应用的当前和预期要求。

HDF5简化了文件结构，只包含两种主要的对象类型：
*数据集，它是同质类型的多维[[阵列编程|阵列]]；
*群组，它是持有数据集和其他群组的容器结构。
这真正产生了层级的、类似文件系统的数据格式。事实上，在HDF5文件中的资源可以使用类似[[POSIX]]语法的“/路径/至/资源”来访问。元数据以用户定义形式存储，命名特性附加到群组和数据集之上。表示图形和表格的更复杂存储API，可以接着使用数据集、群组和特性来建造起来。

除了这些在文件格式上的进步，HDF5包括了改进的类型系统，和表示在数据集区域上选择的数据空间对象。API是面向对象的，有关于数据集、群组、特性、类型、数据空间和属性列表。

最新版的[[NetCDF]]版本4基于了HDF5。

由于它使用了[[B树]]来索引表格对象，HDF5有效工作于[[时间序列]]数据，比如股价序列，网络监控数据，和3D气象数据。大批量的数据直接进入[[阵列编程|阵列]]（表格对象），它可以比[[SQL]]数据库的行存储更快访问，而非阵列的数据可获得[[B树]]访问。HDF5数据存储机制比SQL{{le|星模式|Star schema}}更简单和快速。

=== 批评 ===

对HDF5的批评来源于它的单体设计和冗长规定。
*HDF5不强制使用[[UTF-8]]，所以客户应用可能在多数位置上都预期ASCII码。
*在文件中的数据集数据不能释放，除非使用外部工具（h5repack）生成文件复本<ref>{{cite web|last1=Rossant|first1=Cyrille|title=Moving away from HDF5|url=http://cyrille.rossant.net/moving-away-hdf5/|website=cyrille.rossant.net|accessdate=21 April 2016|archive-date=2016-01-08|archive-url=https://web.archive.org/web/20160108031248/http://cyrille.rossant.net/moving-away-hdf5/|dead-url=no}}</ref>。

==接口==

===官方支持的API===
{{Div col|2}}
* [[C语言|C]]
* [[C++]]
* [[通用语言架构|CLI]] - [[.Net]]
* [[Fortran]]，[[Fortran 90]]
* HDF5 Lite (H5LT) – 轻量级C接口
* HDF5 Image (H5IM) – 图像和光栅的C接口
* HDF5 Table (H5TB) – 表格的C接口
* HDF5 Packet Table (H5PT) – 处理“包”数据的C和[[C++]]接口，高速访问
* HDF5 Dimension Scale (H5DS) – 允许向HDF5增加维度缩放
*[[Java]]
{{div col end}}

===第三方绑定===
{{Div col|2}}
* [[CGNS]]，使用HDF5作为主存储。
* [[Common Lisp]]，通过hdf5-cffi库访问<ref>[https://github.com/HDFGroup/hdf5-cffi hdf5-cffi] {{Wayback|url=https://github.com/HDFGroup/hdf5-cffi |date=20200904221657 }}</ref>。
* [[D语言]]，提供到C API的绑定<ref>[https://github.com/Laeeth/d_hdf5 到C API的绑定] {{Wayback|url=https://github.com/Laeeth/d_hdf5 |date=20201105095457 }}</ref>，有着高层h5py风格的包装器正在开发。
* Dymola<ref>[https://www.3ds.com/products-services/catia/products/dymola Dymola] {{Wayback|url=https://www.3ds.com/products-services/catia/products/dymola |date=20201208103357 }}</ref>，使用叫做科学数据格式（SDF）的实现支持HDF5导出，自从Dymola 2016 FD01发行。
* [[Erlang]]、[[Elixir]]和{{le|LFE语言|LFE (programming language)|LFE}}语言，可以使用BEAM语言绑定<ref>[https://github.com/RomanShestakov/erlhdf5 BEAM语言绑定] {{Wayback|url=https://github.com/RomanShestakov/erlhdf5 |date=20201201193511 }}</ref>。
* [[GNU数据语言]]，支持访问HDF5和HDF4。
* [[Go語言|Go]]语言，通过gonum<ref>[https://github.com/gonum gonum] {{Wayback|url=https://github.com/gonum |date=20201112025227 }}</ref>的hdf5包<ref>[https://github.com/gonum/hdf5 hdf5] {{Wayback|url=https://github.com/gonum/hdf5 |date=20201208200922 }}</ref>。
* HDFql<ref>[https://www.hdfql.com HDFql]{{Wayback|url=https://www.hdfql.com/ |date=20190916005018 }}</ref>，使用户能用C、C++、Java、Python、C#、Fortran和R语言通过高层语言（类似SQL）管理HDF5文件。
* Huygens软件<ref>[https://svi.nl/HomePage Huygens软件] {{Wayback|url=https://svi.nl/HomePage |date=20201230053244 }}</ref>，自从版本3.5使用HDF5作为主存储。
* [[IDL (编程语言)|IDL]]，提供访问HDF5的API。
* IGOR Pro<ref>[https://www.wavemetrics.com/products/igorpro IGOR Pro] {{Wayback|url=https://www.wavemetrics.com/products/igorpro |date=20201130011637 }}</ref>，提供对HDF5文件的完全支持<ref>[https://www.wavemetrics.com/products/igorpro/dataaccess/hdf5 Igor Pro includes extensive support for reading and writing HDF5 files through an included HDF5 package] {{Wayback|url=https://www.wavemetrics.com/products/igorpro/dataaccess/hdf5 |date=20200813064249 }}.</ref>。
* JHDF5库<ref>[https://wiki-bsse.ethz.ch/display/JHDF5 JHDF5库] {{Wayback|url=https://wiki-bsse.ethz.ch/display/JHDF5 |date=20201201093220 }}</ref>，是一个可替代的[[Java]]绑定，采用了与官方HDF5 Java绑定不同的方式，一些用户觉得更简单。
* jHDF库<ref>[https://jhdf.io jHDF库]{{Wayback|url=https://jhdf.io/ |date=20191017031717 }}</ref>，一个纯[[Java]]实现，提供了对HDF5文件的只读访问。
* [[JSON]]，通过hdf5-json<ref>[http://hdf5-json.readthedocs.org hdf5-json]{{Wayback|url=http://hdf5-json.readthedocs.org/ |date=20191017031717 }}</ref>。
* [[Julia (编程语言)|Julia]]语言，通过HDF5包<ref>[https://github.com/julialang/HDF5.jl HDF5] {{Wayback|url=https://github.com/julialang/HDF5.jl |date=20160107114355 }}</ref>提供HDF5支持。
* [[LabVIEW]]，可以通过第三方库获得HDF支持，比如h5labview<ref>[https://h5labview.sourceforge.net/ h5labview] {{Wayback|url=https://h5labview.sourceforge.net/ |date=20200718182733 }}</ref>和lvhdf5<ref>[http://www.upvi.net/main/index.php/products/lvhdf5 lvhdf5] {{Wayback|url=http://www.upvi.net/main/index.php/products/lvhdf5 |date=20180406224329 }}</ref>。
* [[Lua]]，通过lua-hdf5<ref>[https://colberg.org/lua-hdf5 lua-hdf5]{{Wayback|url=https://colberg.org/lua-hdf5 |date=20150626111126 }}</ref>库。
* [[MATLAB]]、[[Scilab]]或[[GNU Octave|Octave]]，在新近发行中使用HDF5作为主存储格式。
* [[Mathematica]] HDF导入和导出<ref>[https://reference.wolfram.com/mathematica/ref/format/HDF.html HDF Import and Export] {{Wayback|url=https://reference.wolfram.com/mathematica/ref/format/HDF.html |date=20130823080919 }}Mathematica documentation</ref>，提供HDF和HDF5数据的直接分析。
* [[Perl]]语言，通过PDL::IO::HDF5访问<ref>{{Cite web |url=https://metacpan.org/release/PDL-IO-HDF5 |title=PDL::IO::HDF5 |accessdate=2019-06-05 |archive-date=2019-06-05 |archive-url=https://web.archive.org/web/20190605163957/https://metacpan.org/release/PDL-IO-HDF5 |dead-url=no }}</ref>。
* [[Python]]语言，对于HDF5，可通过支持抽象高层访问和低层访问二者的h5py<ref>[https://www.h5py.org h5py] {{Wayback|url=https://www.h5py.org/ |date=20201127104908 }}</ref>，或通过具有高级索引和类似数据库查询能力的高层接口的PyTables<ref>[https://pytables.github.io/index.html PyTables] {{Wayback|url=https://pytables.github.io/index.html |date=20150329013311 }}</ref>。对于HDF4，可通过Python-HDF4<ref>[https://pypi.python.org/pypi/python-hdf4 Python-HDF4] {{Wayback|url=https://pypi.python.org/pypi/python-hdf4 |date=20170322203204 }}</ref>和/或PyHDF<ref>[https://hdfeos.org/software/pyhdf.php PyHDF] {{Wayback|url=https://hdfeos.org/software/pyhdf.php |date=20201028191933 }}</ref>。流行的数据操纵包[[pandas]]可以通过{{Proper name|PyTables}}导入和导出HDF5。
* [[R语言]]，通过rhdf5<ref>[https://bioconductor.org/packages/release/bioc/html/rhdf5.html rhdf5]{{Wayback|url=https://bioconductor.org/packages/release/bioc/html/rhdf5.html |date=20160203051845 }}</ref>和hdf5r<ref>[https://CRAN.R-project.org/package=hdf5r hdf5r]{{Wayback|url=https://cran.r-project.org/package=hdf5r |date=20191017031719 }}</ref>包提供支持。
* [[Rust (编程语言)|Rust]]语言，通过第三方库获得HDF支持，比如hdf库<ref>[https://crates.io/crates/hdf5 hdf5] {{Wayback|url=https://crates.io/crates/hdf5 |date=20190605163955 }}</ref>。
{{div col end}}

==工具==
{{Div col|2}}
* Apache Spark HDF5 Connector<ref>[https://web.archive.org/web/20180813071207/http://www.hdfgroup.org/downloads/spark-connector/ Apache Spark HDF5 Connector]</ref>，用于Apache Spark的HDF5连接器
* Apache Drill HDF5 Plugin<ref>[https://github.com/apache/drill/tree/master/contrib/format-hdf5 Apache Drill HDF5 Plugin]</ref>，用于Apache Drill的HDF5插件，允许在HDF5文件集上执行SQL查询
* HDF Product Designer<ref>[https://wiki.earthdata.nasa.gov/display/HPD/HDF+Product+Designer/ HDF Product Designer] {{Wayback|url=https://wiki.earthdata.nasa.gov/display/HPD/HDF+Product+Designer/ |date=20190605165124 }}</ref>，可互操作的HDF5数据产品建立GUI工具
* [[HDF Explorer]]<ref>[http://www.space-research.org/ HDF Explorer]{{Wayback|url=http://www.space-research.org/ |date=20090326023108 }}</ref>，可读取HDF、HDF5和netCDF的数据可视化程序
* HDFView<ref>[https://www.hdfgroup.org/hdf-java-html/hdfview/ HDFView] {{Wayback|url=https://www.hdfgroup.org/hdf-java-html/hdfview/ |date=20131008050545 }}</ref>，基于[[Java]]的HDF文件的浏览器和编辑器
* ViTables<ref>[https://www.vitables.org/ ViTables] {{Wayback|url=https://www.vitables.org/ |date=20210104005148 }}</ref>，用Python写的HDF5和PyTables文件的浏览器和编辑器
* Panoply<ref>{{Cite web |url=https://www.giss.nasa.gov/tools/panoply/ |title=Panoply |access-date=2023-08-11 |archive-date=2023-11-09 |archive-url=https://web.archive.org/web/20231109062109/https://www.giss.nasa.gov/tools/panoply/ |dead-url=no }}</ref>，基于[[Java]]的netCDF、HDF和GRIB数据查看器
{{div col end}}

==参见==
*[[通用数据格式]] (CDF)
*[[FITS]]，用于天文学的数据格式
*[[GRIB]] (GRIdded Binary)，用于气象学的数据格式
*[[NetCDF]]，Netcdf Java库使用纯Java读取HDF5、HDF4、HDF-EOS和其他格式
*[[Protocol Buffers]]，Google的数据交换格式

==引用==
{{reflist|2}}

==外部链接==
*{{Official website}}
*[https://www.hdfgroup.org/solutions/hdf5/ What is HDF5?] {{Wayback|url=https://www.hdfgroup.org/solutions/hdf5/ |date=20210118110412 }}
*[http://hdfeos.org/ HDF-EOS Tools and Information Center] {{Wayback|url=http://hdfeos.org/ |date=20201105151319 }}
*[http://www.opennavsurf.org/ Open Navigation Surface] {{Wayback|url=http://www.opennavsurf.org/ |date=20201209231650 }}
*[http://www.nsmc.org.cn/NSMC_EN/CMACast/docs/HDF5.0_chinese.pdf HDF5使用简介]{{Dead link}}

[[Category:C函式库]]
[[Category:文件格式]]
[[Category:地球科学数据格式]]
[[Category:氣象數據和網絡]]

HDF - 版本历史

imported>Yumeto：​使用DisamAssist清理消歧義連結：Go（改連結至Go語言）。

imported>Yumeto：使用DisamAssist清理消歧義連結：Go（改連結至Go語言）。